UI-TARS-desktop README

The project's README from github.com/bytedance/UI-TARS-desktop. As one markdown file: README.md.

Agent TARS Banner

Introduction

English | 简体中文

TARS* is a Multimodal AI Agent stack, currently shipping two projects: Agent TARS and UI-TARS-desktop:

Agent TARS UI-TARS-desktop
Agent TARS is a general multimodal AI Agent stack, it brings the power of GUI Agent and Vision into your terminal, computer, browser and product.

It primarily ships with a CLI and Web UI for usage. It aims to provide a workflow that is closer to human-like task completion through cutting-edge multimodal LLMs and seamless integration with various real-world MCP tools.
UI-TARS Desktop is a desktop application that provides a native GUI Agent based on the UI-TARS model.

It primarily ships a local and remote computer as well as browser operators.

Table of Contents

News


Agent TARS

npm version downloads node version Discord Community Official Twitter 飞书交流群 Ask DeepWiki

Agent TARS is a general multimodal AI Agent stack, it brings the power of GUI Agent and Vision into your terminal, computer, browser and product.

It primarily ships with a CLI and Web UI for usage. It aims to provide a workflow that is closer to human-like task completion through cutting-edge multimodal LLMs and seamless integration with various real-world MCP tools.

Showcase

Please help me book the earliest flight from San Jose to New York on September 1st and the last return flight on September 6th on Priceline

https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8


Booking Hotel Generate Chart with extra MCP Servers
Instruction: I am in Los Angeles from September 1st to September 6th, with a budget of $5,000. Please help me book a Ritz-Carlton hotel closest to the airport on booking.com and compile a transportation guide for me Instruction: Draw me a chart of Hangzhou's weather for one month

For more use cases, please check out #842.

Core Features

Quick Start

Agent TARS CLI
# Launch with `npx`.
npx @agent-tars/cli@latest

# Install globally, required Node.js >= 22
npm install @agent-tars/cli@latest -g

# Run with your preferred model provider
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

Visit the comprehensive Quick Start guide for detailed setup instructions.

Documentation

🌟 Explore Agent TARS Universe 🌟

Category Resource Link Description
🏠 Central Hub Website Your gateway to Agent TARS ecosystem
📚 Quick Start Quick Start Zero to hero in 5 minutes
🚀 What's New Blog Discover cutting-edge features & vision
🛠️ Developer Zone Docs Master every command & features
🎯 Showcase Examples View use cases built by the official and community
🔧 Reference API Complete technical reference



UI-TARS Desktop

UI-TARS

UI-TARS Desktop is a native GUI agent for your local computer, driven by UI-TARS and Seed-1.5-VL/1.6 series models.

   📑 Paper    | 🤗 Hugging Face Models   |   🫨 Discord   |   🤖 ModelScope  
🖥️ Desktop Application    |    👓 Midscene (use in browser)   

Showcase

Instruction Local Operator Remote Operator
Please help me open the autosave feature of VS Code and delay AutoSave operations for 500 milliseconds in the VS Code setting.
Could you help me check the latest open issue of the UI-TARS-Desktop project on GitHub?

Features

Quick Start

See Quick Start

Contributing

See CONTRIBUTING.md.

License

This project is licensed under the Apache License 2.0.

Citation

If you find our paper and code useful in your research, please consider giving a star :star: and citation :pencil:

@article{qin2025ui,
  title={UI-TARS: Pioneering Automated GUI Interaction with Native Agents},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv preprint arXiv:2501.12326},
  year={2025}
}

UI-TARS-desktop (bytedance/UI-TARS-desktop)

Searching Database…

Что это такое?TARS — это открытый стек мультимодальных ИИ-агентов от ByteDance, в который входят два проекта: Agent TARS, агент с интерфейсом CLI и веб-интерфейсом для задач в терминале, браузере и при использовании инструментов, и UI-TARS Desktop, нативное приложение, которое позволяет визуально-языковой модели видеть экран и управлять мышью и клавиатурой.
Agent TARS и UI-TARS Desktop — это одно и то же?Нет, это два отдельных продукта в одном стеке: Agent TARS — это CLI и веб-интерфейс, которые координируют мультимодальные LLM и инструменты MCP, а UI-TARS Desktop — самостоятельное десктопное приложение, которое управляет нативным GUI-агентом на вашем компьютере или в браузере.
Как запустить Agent TARS или UI-TARS Desktop?Для Agent TARS следуйте руководству CLI Quick Start, которое описано как «от нуля до героя за 5 минут»; для UI-TARS Desktop установите десктопное приложение и укажите ему локального или удалённого оператора компьютера или браузера.
Нужно ли мне самому подключать ИИ-модель?Да, GUI-агент работает на модели UI-TARS или на визуально-языковых моделях серии Seed-1.5-VL/1.6 от ByteDance, поэтому нужен доступ к одной из них; сборка из исходного кода также требует Node.js 20 или новее.
Нужно ли что-то настраивать для удалённого управления?Для удалённых операторов Remote Computer и Remote Browser, появившихся в v0.2.0, дополнительная настройка не нужна: достаточно нажать, чтобы начать управлять удалённой машиной или браузером; эти удалённые операторы бесплатны.
На каких платформах работает UI-TARS Desktop?UI-TARS Desktop заявляет кроссплатформенную поддержку: Windows, macOS и управление через браузер.
Покидают ли мой компьютер данные с экрана?UI-TARS Desktop позиционирует себя как полностью локальное приложение при работе с локальным оператором: скриншоты и действия управления остаются на устройстве и не отправляются сторонним сервисам.
Что Agent TARS умеет делать сразу после установки?В README показаны демонстрации: бронирование отеля Ritz-Carlton рядом с LAX через booking.com с учётом бюджета на поездку и построение графика погоды в Ханчжоу за месяц с помощью подключённых MCP-серверов.
Как GUI-агент на самом деле управляет моим компьютером?UI-TARS Desktop делает скриншоты для визуального распознавания, а затем выполняет точные действия мышью и клавиатурой, которые задаёт визуально-языковая модель на основе своих рассуждений на естественном языке.
Для чего нужна интеграция MCP?Ядро Agent TARS построено на Model Context Protocol (MCP) и может подключать MCP-серверы, чтобы агент мог вызывать реальные инструменты, а не только управлять GUI и браузером.
Есть ли облегчённый SDK, если не нужно полное десктопное приложение?Да, проект также публикует UI TARS SDK — кроссплатформенный набор инструментов для создания собственных агентов автоматизации GUI.
What are similar projects?midscene, UI-TARS, nanoMuse, qwen-code, claude-code, OmniParser, cua, fara
Creator
bytedance
Size
188.5 MB
Stars
39.3K
Age
1y
Commits · 90 Days