25.5K ·GitHub
Что это такое?
OmniParser разбирает скриншоты графического интерфейса на структурированные размеченные элементы (иконки, текст, интерактивные области), чтобы модель компьютерного зрения, например GPT-4V, могла точно определить, на что нажать или что ввести на экране.
OmniParser разбирает скриншоты графического интерфейса на структурированные размеченные элементы (иконки, текст, интерактивные области), чтобы модель компьютерного зрения, например GPT-4V, могла точно определить, на что нажать или что ввести на экране.Это готовое приложение-агент или набор инструментов, который я могу встроить в своего агента?Это набор инструментов для восприятия (детектор областей на основе YOLOv9 и модель описания иконок), который вызывается из блокнота, демо на Gradio или 'OmniTool'. OmniTool подключает его к модели компьютерного зрения для управления виртуальной машиной.
Это набор инструментов для восприятия (детектор областей на основе YOLOv9 и модель описания иконок), который вызывается из блокнота, демо на Gradio или 'OmniTool'. OmniTool подключает его к модели компьютерного зрения для управления виртуальной машиной.Как это запустить?Склонируйте репозиторий, установите окружение, затем загрузите веса детектора и модели описания в папку weights; в качестве примеров включены демо на Gradio и demo.ipynb.
Склонируйте репозиторий, установите окружение, затем загрузите веса детектора и модели описания в папку weights; в качестве примеров включены демо на Gradio и demo.ipynb.С какими моделями компьютерного зрения можно использовать OmniTool?OmniTool из коробки работает с OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) или Anthropic Computer Use.
OmniTool из коробки работает с OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) или Anthropic Computer Use.Есть ли подводные камни в лицензиях весов моделей?Да: новые детектор icondetectv3 и модели описания распространяются по лицензии MIT, но более ранние детекторы иконок на основе Ultralytics сохраняют исходную лицензию AGPL, поэтому проверьте, какую версию весов вы загружаете.
Да: новые детектор icondetectv3 и модели описания распространяются по лицензии MIT, но более ранние детекторы иконок на основе Ultralytics сохраняют исходную лицензию AGPL, поэтому проверьте, какую версию весов вы загружаете.Что нового в OmniParser V2?V2 лучше находит мелкие иконки и предсказывает, можно ли взаимодействовать с каждым элементом интерфейса. Также она установила новый рекорд: 39,5% на бенчмарке Screen Spot Pro для поиска элементов интерфейса.
V2 лучше находит мелкие иконки и предсказывает, можно ли взаимодействовать с каждым элементом интерфейса. Также она установила новый рекорд: 39,5% на бенчмарке Screen Spot Pro для поиска элементов интерфейса.Что такое OmniTool?OmniTool — это сопутствующее приложение, которое позволяет управлять виртуальной машиной Windows 11 с помощью разбора экрана OmniParser в сочетании с выбранной вами моделью компьютерного зрения, например GPT-4o или Claude Computer Use.
OmniTool — это сопутствующее приложение, которое позволяет управлять виртуальной машиной Windows 11 с помощью разбора экрана OmniParser в сочетании с выбранной вами моделью компьютерного зрения, например GPT-4o или Claude Computer Use.Какие результаты бенчмарков это подтверждают?OmniParser занял первое место в таблице лидеров Windows Agent Arena и набрал 39,5% на бенчмарке Screen Spot Pro с версией V2.
OmniParser занял первое место в таблице лидеров Windows Agent Arena и набрал 39,5% на бенчмарке Screen Spot Pro с версией V2.What are similar projects?self-operating-computer, Qwen-Drive-1.0, UI-TARS, LLaVA, ZDTaichu5.0-9B, fara, Qwen3-VL, Agent-S
self-operating-computer, Qwen-Drive-1.0, UI-TARS, LLaVA, ZDTaichu5.0-9B, fara, Qwen3-VL, Agent-SWhich topics is it in?gui-agent, vision, gpt-4, vision-language-model, gradio, computer-use, object-detection, microsoft, qwen, jupyter notebook, multimodal, deepseek
gui-agent, vision, gpt-4, vision-language-model, gradio, computer-use, object-detection, microsoft, qwen, jupyter notebook, multimodal, deepseek