311 ·GitHub
Что это такое?
Это Agent Skill, который позволяет кодинг-агентам вроде Claude Code, Codex и Cursor управлять приложениями macOS без API — читать экран, кликать и печатать, — и оставляет воспроизводимые свидетельства каждого шага.
Это Agent Skill, который позволяет кодинг-агентам вроде Claude Code, Codex и Cursor управлять приложениями macOS без API — читать экран, кликать и печатать, — и оставляет воспроизводимые свидетельства каждого шага.То есть это не отдельное приложение для Mac — как оно подключается к моему агенту?Оно устанавливается как skill в любую среду, читающую SKILL.md — Claude Code, Codex, Cursor, OpenClaw и ещё 50+ других. Внутри это однофайловое ядро на Swift с командами вроде mac see, mac shot и mac op.
Оно устанавливается как skill в любую среду, читающую SKILL.md — Claude Code, Codex, Cursor, OpenClaw и ещё 50+ других. Внутри это однофайловое ядро на Swift с командами вроде mac see, mac shot и mac op.Что нужно на Mac, чтобы всё это заработало?macOS 14 или новее (проверено на macOS 26), Apple Silicon или Intel — подходят оба, плюс Xcode Command Line Tools и Node.js — Node нужен для пути через CDP в приложения со встроенным Chromium.
macOS 14 или новее (проверено на macOS 26), Apple Silicon или Intel — подходят оба, плюс Xcode Command Line Tools и Node.js — Node нужен для пути через CDP в приложения со встроенным Chromium.Не перехватит ли оно мою мышь и клавиатуру, пока я работаю?Чтение (скриншоты, списки окон, AX, CDP) никогда не забирает фокус. Записи сначала идут напрямую в целевой процесс, а фокус заимствуется только после четырёх проверок — включая ожидание до 15 секунд, если вы только что печатали. Угловой HUD мигает те полсекунды, пока фокус удерживается.
Чтение (скриншоты, списки окон, AX, CDP) никогда не забирает фокус. Записи сначала идут напрямую в целевой процесс, а фокус заимствуется только после четырёх проверок — включая ожидание до 15 секунд, если вы только что печатали. Угловой HUD мигает те полсекунды, пока фокус удерживается.Чем это отличается от встроенного computer use в моделях OpenAI или Anthropic?Оно не соревнуется в компьютерном зрении. Сначала оно прощупывает каждое приложение и выбирает самый дешёвый рабочий канал — нативный CLI, AppleScript, URL-схемы или локальный CDP-порт — и только потом переходит к координатам и пикселям. Автор ожидает, что встроенный в модели computer use обгонит его через несколько месяцев; до тех пор это решение, которое работает уже сегодня.
Оно не соревнуется в компьютерном зрении. Сначала оно прощупывает каждое приложение и выбирает самый дешёвый рабочий канал — нативный CLI, AppleScript, URL-схемы или локальный CDP-порт — и только потом переходит к координатам и пикселям. Автор ожидает, что встроенный в модели computer use обгонит его через несколько месяцев; до тех пор это решение, которое работает уже сегодня.Что с его помощью реально делали?Три готовые демки: шоколадный пончик — смоделирован, текстурирован, освещён и отрендерен в Blender (1920x1440 на Metal GPU примерно за две минуты, плюс анимация камеры на 120 кадров), круизный лайнер, воссозданный по четырём сгенерированным ИИ фотографиям за 8 итераций, и 8 скриншотов процесса в AI-офис клиенте через CDP без единого перехвата фокуса.
Три готовые демки: шоколадный пончик — смоделирован, текстурирован, освещён и отрендерен в Blender (1920x1440 на Metal GPU примерно за две минуты, плюс анимация камеры на 120 кадров), круизный лайнер, воссозданный по четырём сгенерированным ИИ фотографиям за 8 итераций, и 8 скриншотов процесса в AI-офис клиенте через CDP без единого перехвата фокуса.Как мне понять, что действие реально сработало?Отчёту инструмента об успехе доверия нет. Каждая запись проверяется по целой лестнице — ответ инструмента, повторное чтение, текст, видимый на экране, состояние приложения вроде подсветившейся кнопки отправки или реальный побочный эффект — и каждое действие отчитывается статусом effect=confirmed, partial, suspectednoop или unverifiable.
Отчёту инструмента об успехе доверия нет. Каждая запись проверяется по целой лестнице — ответ инструмента, повторное чтение, текст, видимый на экране, состояние приложения вроде подсветившейся кнопки отправки или реальный побочный эффект — и каждое действие отчитывается статусом effect=confirmed, partial, suspectednoop или unverifiable.А есть вещи, которых оно отказывается касаться?Да, есть явные запреты: необратимые действия — публикация, коммиты, оплата, удаление или перезапись сохранений — оставляются человеку, как и доступ к shell в терминалах, системные файлы и диалоги разрешений, Keychain, Touch ID, а также банки, брокеры, медицина и госсервисы. Текст, прочитанный с экрана, считается данными, а не инструкциями.
Да, есть явные запреты: необратимые действия — публикация, коммиты, оплата, удаление или перезапись сохранений — оставляются человеку, как и доступ к shell в терминалах, системные файлы и диалоги разрешений, Keychain, Touch ID, а также банки, брокеры, медицина и госсервисы. Текст, прочитанный с экрана, считается данными, а не инструкциями.What are similar projects?Codex-Minecraft-Gameplay, lcu, agent-desktop, self-operating-computer, app-store-screenshots, typesafe-computer-use, cua, mobile-mcp
Codex-Minecraft-Gameplay, lcu, agent-desktop, self-operating-computer, app-store-screenshots, typesafe-computer-use, cua, mobile-mcpWhich topics is it in?agent-security, desktop-automation, gui-automation, ai-safety, mit-license, screenshot, computer-use, agent-skill, accessibility, apple-silicon, swift, cursor
agent-security, desktop-automation, gui-automation, ai-safety, mit-license, screenshot, computer-use, agent-skill, accessibility, apple-silicon, swift, cursor