11K ·GitHub
Что это?
Генератор свежих, оригинальных головоломок в стиле ARC-AGI-1, чьё статистическое распределение совпадает с публичным оценочным набором ARC-AGI-1, чтобы можно было тестировать модели на задачах, которые они раньше не видели.
Генератор свежих, оригинальных головоломок в стиле ARC-AGI-1, чьё статистическое распределение совпадает с публичным оценочным набором ARC-AGI-1, чтобы можно было тестировать модели на задачах, которые они раньше не видели.Это набор данных или инструмент для генерации задач?Это скрипт-генератор, а не статический набор данных: он по запросу создаёт файл tasks.json в стандартном формате ARC, который подключается к существующим инструментам оценки ARC.
Это скрипт-генератор, а не статический набор данных: он по запросу создаёт файл tasks.json в стандартном формате ARC, который подключается к существующим инструментам оценки ARC.Как сгенерировать задачи?Следуйте пошаговым инструкциям в файле instructions.md из репозитория, чтобы получить набор tasks.json.
Следуйте пошаговым инструкциям в файле instructions.md из репозитория, чтобы получить набор tasks.json.Почему бы просто не использовать существующий публичный тестовый набор ARC-AGI-1?Публичный набор не позволяет полностью исключить, что модели уже знакомы с его задачами, поэтому этот инструмент создаёт приватный набор с совпадающим распределением — для более чистой точки сравнения.
Публичный набор не позволяет полностью исключить, что модели уже знакомы с его задачами, поэтому этот инструмент создаёт приватный набор с совпадающим распределением — для более чистой точки сравнения.Для кого предназначен этот генератор?Для исследователей и специалистов по оценке моделей, которые хотят тестировать reasoning-модели вроде BDH-CQ (или других) на задачах в стиле ARC без загрязнения публично известными задачами.
Для исследователей и специалистов по оценке моделей, которые хотят тестировать reasoning-модели вроде BDH-CQ (или других) на задачах в стиле ARC без загрязнения публично известными задачами.Что такое BDH-CQ?BDH-CQ — это reasoning-модель, построенная на рекуррентной post-Transformer-архитектуре Dragon Hatchling (BDH); она использует непрерывно обновляемую рекуррентную память и решает запросы за счёт итеративных вычислений в латентном пространстве вместо генерации текстовой цепочки рассуждений.
BDH-CQ — это reasoning-модель, построенная на рекуррентной post-Transformer-архитектуре Dragon Hatchling (BDH); она использует непрерывно обновляемую рекуррентную память и решает запросы за счёт итеративных вычислений в латентном пространстве вместо генерации текстовой цепочки рассуждений.Насколько хорошо BDH-CQ справляется с ARC-AGI-1?Конфигурация BDH-CQ на 150 млн параметров достигает 29.5% pass@2 на публичном оценочном наборе ARC-AGI-1 при стоимости около $0.0007 за задачу — примерно в 11 раз дешевле за задачу, чем GPT-5.6 Luna (Low).
Конфигурация BDH-CQ на 150 млн параметров достигает 29.5% pass@2 на публичном оценочном наборе ARC-AGI-1 при стоимости около $0.0007 за задачу — примерно в 11 раз дешевле за задачу, чем GPT-5.6 Luna (Low).Проверяли ли заявленные результаты независимо?Да, их воспроизвели Łukasz Kaiser (соавтор Transformer/TensorFlow), Remigiusz Kinas (контрибьютор Bielik) и Richard Zhong (исследователь из NYU), сосредоточившись на оценке и надёжности бенчмарка.
Да, их воспроизвели Łukasz Kaiser (соавтор Transformer/TensorFlow), Remigiusz Kinas (контрибьютор Bielik) и Richard Zhong (исследователь из NYU), сосредоточившись на оценке и надёжности бенчмарка.Есть ли статья или подробное описание этой работы?Да, репозиторий сопровождает статья «BDH-CQ: Introducing In-Context Learning with Recurrent Latent Reasoning», а также связанный пост в блоге.
Да, репозиторий сопровождает статья «BDH-CQ: Introducing In-Context Learning with Recurrent Latent Reasoning», а также связанный пост в блоге.What are similar projects?bdh, MSA, Attention-Residuals, math, APSD, ParseBench, timeseries-atlas, High-Angle_Robust_Fast_FaceAlignment
bdh, MSA, Attention-Residuals, math, APSD, ParseBench, timeseries-atlas, High-Angle_Robust_Fast_FaceAlignmentWhich topics is it in?llm-evaluation, reasoning, paper, dataset, evaluation, neural-network, academic-research, transformer, benchmark, deep-learning, research, machine-learning
llm-evaluation, reasoning, paper, dataset, evaluation, neural-network, academic-research, transformer, benchmark, deep-learning, research, machine-learning