462 ·GitHub
Что это такое?
GameForgeBench — бенчмарк, оценивающий кодинг-агентов в сборке, отладке и починке реальных игровых проектов (Godot и другие движки) через терминальные сценарии, причём оценка идёт по фактическому поведению во время выполнения, а не просто по диффам файлов.
GameForgeBench — бенчмарк, оценивающий кодинг-агентов в сборке, отладке и починке реальных игровых проектов (Godot и другие движки) через терминальные сценарии, причём оценка идёт по фактическому поведению во время выполнения, а не просто по диффам файлов.Это инструмент для запуска или набор бенчмарк-задач?Это набор бенчмарков, совместимый с Harbor (похожий на Terminal-Bench), из самодостаточных каталогов задач: в каждом стартовый проект, инструкции и исполняемый верификатор; он нацелен на кодинг-агентов, а не на игровых ботов.
Это набор бенчмарков, совместимый с Harbor (похожий на Terminal-Bench), из самодостаточных каталогов задач: в каждом стартовый проект, инструкции и исполняемый верификатор; он нацелен на кодинг-агентов, а не на игровых ботов.Как запустить задачу?Откройте включённую пример-задачу и запустите её локально на Godot 4.6.1 или через герметичный Docker-верификатор, следуя точным командам из её собственного README.
Откройте включённую пример-задачу и запустите её локально на Godot 4.6.1 или через герметичный Docker-верификатор, следуя точным командам из её собственного README.Что нужно установить, чтобы изучить задачу?Нужны Godot 4.6.1, чтобы открыть и запустить стартовый проект локально, и Docker, чтобы выполнить официальный герметичный верификатор, выдающий машиночитаемый результат.
Нужны Godot 4.6.1, чтобы открыть и запустить стартовый проект локально, и Docker, чтобы выполнить официальный герметичный верификатор, выдающий машиночитаемый результат.Включает ли публичный репозиторий полный корпус из 81 задачи?Нет, публична только одна репрезентативная задача, чтобы рабочий процесс можно было изучить; остальные задачи, собранные траектории агентов и учётные данные сервисов остаются закрытыми.
Нет, публична только одна репрезентативная задача, чтобы рабочий процесс можно было изучить; остальные задачи, собранные траектории агентов и учётные данные сервисов остаются закрытыми.Какие игровые движки охватывают задачи бенчмарка?Релизный корпус охватывает Godot, Unity, Roblox, Minecraft, Unreal, Web и проекты на generic-движках, затрагивая игровые системы, UI, плагины, сохранение данных и процессы сборки.
Релизный корпус охватывает Godot, Unity, Roblox, Minecraft, Unreal, Web и проекты на generic-движках, затрагивая игровые системы, UI, плагины, сохранение данных и процессы сборки.Как верификатор решает, правильно ли исправление агента?Docker-верификатор наблюдает за работающим проектом на четырёх уровнях доказательств: целостность артефактов, импорт/запуск движка, переходы поведения/состояний и диагностика, а не просто сравнивает файлы.
Docker-верификатор наблюдает за работающим проектом на четырёх уровнях доказательств: целостность артефактов, импорт/запуск движка, переходы поведения/состояний и диагностика, а не просто сравнивает файлы.Что мешает обмануть задачу тривиальным патчем?Рецензенты отклоняют задачи, которые можно пройти, удалив игровой цикл, подставив заглушку, ослабив верификатор, жёстко зашив последовательность проверок или полагаясь только на скриншоты.
Рецензенты отклоняют задачи, которые можно пройти, удалив игровой цикл, подставив заглушку, ослабив верификатор, жёстко зашив последовательность проверок или полагаясь только на скриншоты.Which topics is it in?agent-evaluation, godot, unity, llm-evaluation, harness, game-development, evaluation, benchmark, coding-agent, ai-agents, llm, nodejs
agent-evaluation, godot, unity, llm-evaluation, harness, game-development, evaluation, benchmark, coding-agent, ai-agents, llm, nodejs