Air-Lingjing README

The project's README from github.com/seanlxh/Air-Lingjing. As one markdown file: README.md.

🌐 LingJing Embodied Intelligence

An open simulation stack for LLM-driven embodied agents in large 3D environments.

English 简体中文

LingJing combines a FastAPI/LangGraph backend, runnable embodied-agent cases, and a Cesium-powered Unreal Engine 5.5 plugin in one repository. The backend handles task orchestration, LLM/VLM calls, Gym-style environment loops, engine communication, and data recording. The Unreal plugin provides the 3D world integration, heterogeneous equipment actors, cameras, UI, image capture, and telemetry.

Large Unreal assets are distributed separately through Hugging Face. This repository contains source code, configuration templates, tests, and compact example data only.

🗺️ Platform Overview

LingJing platform overview

LingJing connects heterogeneous simulators, geospatial assets, model services, and embodied agents through a shared urban physics environment. Each simulation step closes the perceive-think-act-communicate loop and records outputs for evaluation and visualization. Open the high-resolution PDF.

🧩 Runtime Framework

LingJing agent and simulation framework

The runtime separates agent policy, shared infrastructure, adjudication, command routing, evaluation, and simulation engines. This keeps policies independent from engine-specific protocols while preserving per-agent observations, message history, acknowledgements, and replayable trajectories. Open the high-resolution PDF.

✨ Highlights

Repository Layout

LingJing-Embodied-Intelligence/
├── backend/
│   ├── app/                 # FastAPI application and runtime modules
│   ├── examples/            # Runnable cases and UE reference client
│   ├── tests/               # API, environment, and realtime tests
│   ├── scripts/             # Deployment and maintenance helpers
│   └── .env.example         # Safe configuration template
├── unreal/
│   └── EmbodyIntelligence/  # Unreal Engine 5.5 runtime plugin
├── docs/                    # README figures and high-resolution PDFs
├── ASSETS.md                # Hugging Face asset instructions
└── README.zh-CN.md          # Chinese documentation

🚀 Backend Quick Start

Requirements: Python 3.10 or newer.

cd backend
python -m venv .venv
source .venv/bin/activate
pip install -r requirements-dev.txt
cp .env.example .env

Set your own provider values in .env:

AI_BASE_URL=https://api.example.com/v1
AI_API_KEY=replace-with-your-api-key
AI_CHAT_MODEL=replace-with-your-chat-model
AI_ANALYSIS_MODEL=replace-with-your-vision-model
AI_API_STYLE=openai
INTERNAL_AI_TOKEN=replace-with-a-long-random-token

Start the service:

uvicorn app.main:app --reload --host 0.0.0.0 --port 9909

Verify it:

curl http://127.0.0.1:9909/health

Run the end-to-end mock demo without Unreal Engine or an API key:

python examples/scenario_demo.py

🧠 Runnable Cases

Directory Scenario
examples/full_case/ Multi-drone urban delivery and centralized baseline
examples/fire_rescue/ UAV reconnaissance with UGV firefighting
examples/singledrone_fire/ Closed-loop visual fire search
examples/singledog/ Robot-dog visual navigation
examples/deliverytask/ Heterogeneous delivery and route inspection
examples/bridge/ Bridge inspection from top-down and front views
examples/multicars/ Multi-vehicle dispatch and route-cost analysis
examples/uavdog/ UAV-assisted robot-dog navigation
examples/multiagentstasks/ Mixed equipment scenario dispatch
examples/ue_client/ Python reference implementation of an engine client

See backend/examples/README.md for commands and runtime requirements.

🏙️ Unreal Engine Setup

Requirements:

Install the plugin at:

<HostProject>/Plugins/EmbodyIntelligence/

Download the asset repository:

Coming soon / 即将上传

Install the downloaded asset package in its two mount locations:

<HostProject>/Plugins/EmbodyIntelligence/Content/  # PluginContent
<HostProject>/Content/                            # HostContent

Program assets use the /EmbodyIntelligence/... plugin mount, while scene assets use the /Game/ArtRes/... host-project mount. See ASSETS.md and unreal/EmbodyIntelligence/README.md.

The plugin defaults to:

ws://127.0.0.1:9909/ws/LJ-ENGINE/image

For a remote backend, update WEBSOCKET_URL in Source/ue5project/Core/DataManager.cpp before building.

🧪 Validation

cd backend
python -m pytest -q
python -m ruff check app examples tests

The Unreal plugin must be compiled in Unreal Engine 5.5.4 with Cesium enabled. Generated Binaries/, Intermediate/, logs, databases, uploads, and result folders are intentionally excluded from Git.

Security

GitHub Metadata

Suggested description:

Open embodied-intelligence simulation stack with a FastAPI/LangGraph multi-agent backend, reproducible urban task cases, and a Cesium-powered Unreal Engine 5.5 plugin.

Suggested topics: embodied-ai, multi-agent, unreal-engine, ue5, cesium, simulation, robotics, langgraph, fastapi, digital-twin.

License

No license is selected in this release package. Add a LICENSE file only after confirming the redistribution terms for the source code and all Unreal/Hugging Face assets.

Air-Lingjing (seanlxh/Air-Lingjing)

Searching Database…

194 ·GitHub
Air-Lingjing
Что это такое?LingJing — открытый стек симуляции для embodied-агентов, управляемых LLM, в больших 3D-средах: бэкенд на FastAPI/LangGraph плюс плагин для Unreal Engine 5.5 на основе Cesium, с готовыми примерами, которые можно запустить.
Это одно приложение или из чего оно состоит?Две части в одном репозитории: бэкенд, который отвечает за оркестрацию задач, вызовы LLM/VLM, циклы окружения в стиле Gym, связь с движком и запись данных, и плагин для Unreal, который даёт 3D-мир, акторов, камеры и телеметрию. Тяжёлые ассеты поставляются отдельно через Hugging Face.
Как его запустить?Бэкенду нужен Python 3.10+: укажите значения для своего провайдера в .env, запустите сервис и проверьте его в Swagger UI. Для полного 3D-стека нужно ещё установить плагин в Unreal Engine 5.5.4 с Cesium и подходящий пакет ассетов с Hugging Face.
Нужен ли API-ключ или Unreal Engine, чтобы попробовать?Для начала ни то, ни другое: сквозное mock-демо работает без Unreal Engine и без API-ключа. Для реальных моделей провайдеры совместимы с OpenAI и с Anthropic и настраиваются в .env.
В чём подвох со стороны Unreal?Плагин компилируется только в Unreal Engine 5.5.4 со включённым Cesium. Ассеты подключаются в двух местах (программа — в /EmbodyIntelligence/..., сцены — в /Game/ArtRes/...), а для удалённого бэкенда нужно отредактировать WEBSOCKETURL в DataManager.cpp перед сборкой.
Могу ли я использовать это в своём проекте?Учтите, что в этом релизном пакете лицензия не выбрана, поэтому условия распространения не определены. В README сказано добавлять LICENSE только после согласования условий для исходного кода и всех ассетов Unreal/Hugging Face.
Какие сценарии можно запустить сразу, из коробки?Десять готовых примеров в backend/examples/: доставка по городу несколькими дронами, разведка с помощью БПЛА и тушение пожаров наземным роботом, замкнутый визуальный поиск огня, визуальная навигация робота-собаки, доставка и объезд маршрута разнотипной техникой, осмотр моста, диспетчеризация нескольких машин, навигация робота-собаки с помощью БПЛА, смешанная диспетчеризация техники и эталонный клиент движка на Python.
Какие агенты живут в симулируемом мире?Городская среда на основе Cesium с дронами, машинами, роботами-собаками, кораблями и задачными акторами. На каждом шаге симуляции замыкается цикл воспринять-подумать-действовать-сообщить, а результаты записываются для оценки и визуализации.
Как агенты согласуют действия между собой?Через паттерны координации: централизованный, «звезда» и широковещательный. Рантайм хранит наблюдения каждого агента, историю сообщений и подтверждения, а также формирует повторяемые траектории для оценки.
Как бэкенд общается с Unreal Engine?По HTTP, WebSocket и UDP. Сессии движка доступны через сервис бэкенда, так что можно проверить связь перед запуском полноценного клиента Unreal.
What are similar projects?FluxVLA, RoboICL, ZDTaichu5.0-9B, project_superdex, LoongForge, carla, AirSim, Embodied-AI-Guide
Which topics is it in?unreal-engine, udp, telemetry, geospatial, langgraph, embodied-ai, vlm, robotics, simulation, fastapi, 3d, websocket
Creator
seanlxh
Size
10.5 MB
Stars
194
Updated
CommitAug 14
Age
2mo
Commits · 90 Days