UI-TARS README

The project's README from github.com/bytedance/UI-TARS. As one markdown file: README.md.

Local Image

🌐 Website   | 🤗 Hugging Face Models   |    🔧 Deployment    |    📑 Paper    |   🖥️ UI-TARS-desktop  
🏄 Midscene (Browser Automation)    |   🫨 Discord  

We also offer a UI-TARS-desktop version, which can operate on your local personal device. To use it, please visit https://github.com/bytedance/UI-TARS-desktop. To use UI-TARS in web automation, you may refer to the open-source project Midscene.js. ❗Notes: Since Qwen 2.5vl based models ultilizes absolute coordinates to ground objects, please kindly refer to our illustration about how to process coordinates in this guide.

Updates

Introduction

UI-TARS-1.5, an open-source multimodal agent built upon a powerful vision-language model. It is capable of effectively performing diverse tasks within virtual worlds.

Leveraging the foundational architecture introduced in our recent paper, UI-TARS-1.5 integrates advanced reasoning enabled by reinforcement learning. This allows the model to reason through its thoughts before taking action, significantly enhancing its performance and adaptability, particularly in inference-time scaling. Our new 1.5 version achieves state-of-the-art results across a variety of standard benchmarks, demonstrating strong reasoning capabilities and notable improvements over prior models.

🚀 Quick Start Guide: Deploying and Using Our Model

To help you get started quickly with our model, we recommend following the steps below in order. These steps will guide you through deployment, prediction post-processing to make the model take actions in your environment.

✅ Step 1: Deployment & Inference

👉 Deployment and Inference. This includes instructions for model deployment using huggingface endpoint, and running your first prediction.

✅ Step 2: Post Processing

Installation

pip install ui-tars
# or
uv pip install ui-tars

Usage

from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code

response = "Thought: Click the button\nAction: click(start_box='(100,200)')"
original_image_width, original_image_height = 1920, 1080
parsed_dict = parse_action_to_structure_output(
    response,
    factor=1000,
    origin_resized_height=original_image_height,
    origin_resized_width=original_image_width,
    model_type="qwen25vl"
)
print(parsed_dict)
parsed_pyautogui_code = parsing_response_to_pyautogui_code(
    responses=parsed_dict,
    image_height=original_image_height,
    image_width=original_image_width
)
print(parsed_pyautogui_code)
FYI: Coordinates visualization

To help you better understand the coordinate processing, we also provide a guide for coordinates processing visualization.

Prompt Usage Guide

To accommodate different device environments and task complexities, the following three prompt templates in codes/ui_tars/prompt.py. are designed to guide GUI agents in generating appropriate actions. Choose the template that best fits your use case:

🖥️ COMPUTER_USE

Recommended for: GUI tasks on desktop environments such as Windows, Linux, or macOS.

Features:

📱 MOBILE_USE

Recommended for: GUI tasks on mobile devices or Android emulators.

Features:

📌 GROUNDING

Recommended for: Lightweight tasks focused solely on action output, or for use in model training and evaluation.

Features:

When developing or evaluating multimodal interaction systems, choose the appropriate prompt template based on your target platform (desktop vs. mobile)

Performance

Online Benchmark Evaluation

Benchmark type Benchmark UI-TARS-1.5 OpenAI CUA Claude 3.7 Previous SOTA
Computer Use OSworld (100 steps) 42.5 36.4 28 38.1 (200 step)
Windows Agent Arena (50 steps) 42.1 - - 29.8
Browser Use WebVoyager 84.8 87 84.1 87
Online-Mind2web 75.8 71 62.9 71
Phone Use Android World 64.2 - - 59.5

Grounding Capability Evaluation

Benchmark UI-TARS-1.5 OpenAI CUA Claude 3.7 Previous SOTA
ScreenSpot-V2 94.2 87.9 87.6 91.6
ScreenSpotPro 61.6 23.4 27.7 43.6

Poki Game

Model 2048 cubinko energy free-the-key Gem-11 hex-frvr Infinity-Loop Maze:Path-of-Light shapes snake-solver wood-blocks-3d yarn-untangle laser-maze-puzzle tiles-master
OpenAI CUA 31.04 0.00 32.80 0.00 46.27 92.25 23.08 35.00 52.18 42.86 2.02 44.56 80.00 78.27
Claude 3.7 43.05 0.00 41.60 0.00 0.00 30.76 2.31 82.00 6.26 42.86 0.00 13.77 28.00 52.18
UI-TARS-1.5 100.00 0.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00 100.00

Minecraft

Task Type Task Name VPT DreamerV3 Previous SOTA UI-TARS-1.5 w/o Thought UI-TARS-1.5 w/ Thought
Mine Blocks (oak_log) 0.8 1.0 1.0 1.0 1.0
(obsidian) 0.0 0.0 0.0 0.2 0.3
(white_bed) 0.0 0.0 0.1 0.4 0.6
200 Tasks Avg. 0.06 0.03 0.32 0.35 0.42
Kill Mobs (mooshroom) 0.0 0.0 0.1 0.3 0.4
(zombie) 0.4 0.1 0.6 0.7 0.9
(chicken) 0.1 0.0 0.4 0.5 0.6
100 Tasks Avg. 0.04 0.03 0.18 0.25 0.31

Model Scale Comparison

Here we compare performance across different model scales of UI-TARS on the OSworld benchmark.

Benchmark Type Benchmark UI-TARS-72B-DPO UI-TARS-1.5-7B UI-TARS-1.5
Computer Use OSWorld 24.6 27.5 42.5
GUI Grounding ScreenSpotPro 38.1 49.6 61.6

Limitations

While UI-TARS-1.5 represents a significant advancement in multimodal agent capabilities, we acknowledge several important limitations:

What's next

We are providing early research access to our top-performing UI-TARS-1.5 model to facilitate collaborative research. Interested researchers can contact us at [email protected].

Looking ahead, we envision UI-TARS evolving into increasingly sophisticated agentic experiences capable of performing real-world actions, thereby empowering platforms such as doubao to accomplish more complex tasks for you :)

Star History

Star History Chart

Citation

If you find our paper and model useful in your research, feel free to give us a cite.

@article{qin2025ui,
  title={UI-TARS: Pioneering Automated GUI Interaction with Native Agents},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv preprint arXiv:2501.12326},
  year={2025}
}

UI-TARS (bytedance/UI-TARS)

Searching Database…

11.6K ·GitHub
UI-TARS
Что это такое?UI-TARS — это мультимодальная агентная модель с открытым исходным кодом, построенная на основе модели «зрение и язык». Она умеет напрямую работать с графическим интерфейсом: кликать, печатать, прокручивать, перетаскивать — в настольных приложениях, на экранах мобильных устройств, в браузерах и даже в видеоиграх вроде Minecraft, перед каждым действием рассуждая о нём.
Это готовое приложение или модель, которую мне нужно развернуть самому?Это модель «зрение и язык» плюс код развёртывания и постобработки, который вы размещаете у себя (например, через эндпоинт инференса HuggingFace). Также есть отдельный сопутствующий проект «UI-TARS-desktop», с помощью которого её можно запустить как приложение на своём устройстве.
Как это запустить?Следуйте двухшаговому руководству Quick Start Guide: шаг 1 — развернуть модель и выполнить первое предсказание через эндпоинт инференса HuggingFace; шаг 2 — установить и запустить код постобработки (codes/uitars/prompt.py), который превращает предсказания модели в реальные действия в графическом интерфейсе.
Мне нужен ключ API от Anthropic или OpenAI, или модель работает самостоятельно?Внешний ключ API не нужен: UI-TARS — это самостоятельная модель с открытым исходным кодом (UI-TARS-1.5-7B), которую вы развёртываете сами. Бенчмарки в README просто сравнивают её с OpenAI CUA и Claude 3.7.
Какие у неё известные ограничения?Авторы говорят об этом прямо: модель можно использовать во вред, например для обхода защит вроде CAPTCHA; для больших или длительных задач нужны значительные вычислительные ресурсы; она может ошибаться и неверно распознавать элементы интерфейса; а открытая модель на 7B не оптимизирована специально для игровых сценариев.
Она работает только на десктопе или и на мобильных устройствах?Поддерживаются оба варианта: шаблон промпта COMPUTERUSE отвечает за действия на десктопе под Windows, Linux или macOS, а MOBILEUSE добавляет действия в стиле Android — longpress, openapp и pressback — для работы на телефонах и в эмуляторах.
Для запуска нужно серьёзное железо?Да, в README сказано, что для работы всё равно нужны значительные вычислительные ресурсы, особенно для масштабных задач или длительных игровых сессий.
Что такое UI-TARS-desktop?Это отдельный сопутствующий проект, который позволяет запускать UI-TARS как готового агента прямо на вашем локальном компьютере, а не развёртывать модель и код постобработки самостоятельно.
Может ли она на самом деле играть в видеоигры?Да. Её тестировали на 14 браузерных играх Poki и на задачах в Minecraft, например на добыче блоков и убийстве мобов. На большинстве игр Poki она набирает 100%, тогда как OpenAI CUA и Claude 3.7 получают заметно меньше.
Как она выглядит на фоне агентов OpenAI и Claude для работы с компьютером?На бенчмарке OSWorld UI-TARS-1.5 набирает 42.5 балла против 36.4 у OpenAI CUA и 28 у Claude 3.7. На бенчмарке заземления ScreenSpotPro она получает 61.6 против 23.4 и 27.7 соответственно.
Что такое doubao и почему о нём упоминается?Doubao — это ИИ-платформа ByteDance. Команда рассчитывает, что в будущем UI-TARS будет работать в её основе и помогать пользователям выполнять более сложные задачи из реального мира.
What are similar projects?OmniParser, Agent-S, ZDTaichu5.0-9B, fara, Valen, InternVL, midscene, Qwen-Drive-1.0
Which topics is it in?gui-agent, minecraft, vlm, computer-use, autonomous-agents, reinforcement-learning, browser-automation, multimodal, gaming, huggingface, computer-vision, benchmark
Creator
bytedance
Size
43.3 MB
Stars
11.6K
Updated
CommitSep 05
Age
1y
Commits · 90 Days