original_performance_takehome README

The project's README from github.com/anthropics/original_performance_takehome. As one markdown file: README.md.

Anthropic's Original Performance Take-Home

This repo contains a version of Anthropic's original performance take-home, before Claude Opus 4.5 started doing better than humans given only 2 hours.

The original take-home was a 4-hour one that starts close to the contents of this repo, after Claude Opus 4 beat most humans at that, it was updated to a 2-hour one which started with code which achieved 18532 cycles (7.97x faster than this repo starts you). This repo is based on the newer take-home which has a few more instructions and comes with better debugging tools, but has the starter code reverted to the slowest baseline. After Claude Opus 4.5 we started using a different base for our time-limited take-homes.

Now you can try to beat Claude Opus 4.5 given unlimited time!

Performance benchmarks

Measured in clock cycles from the simulated machine. All of these numbers are for models doing the 2 hour version which started at 18532 cycles:

While it's no longer a good time-limited test, you can still use this test to get us excited about hiring you! If you optimize below 1487 cycles, beating Claude Opus 4.5's best performance at launch, email us at [email protected] with your code (and ideally a resume) so we can be appropriately impressed, especially if you get near the best solution we've seen. New model releases may change what threshold impresses us though, and no guarantees that we keep this readme updated with the latest on that.

Run python tests/submission_tests.py to see which thresholds you pass.

Warning: LLMs can cheat

None of the solutions we received on the first day post-release below 1300 cycles were valid solutions. In each case, a language model modified the tests to make the problem easier.

If you use an AI agent, we recommend instructing it not to change the tests/ folder and to use tests/submission_tests.py for verification.

Please run the following commands to validate your submission, and mention that you did so when submitting:

# This should be empty, the tests folder must be unchanged
git diff origin/main tests/
# You should pass some of these tests and use the cycle count this prints
python tests/submission_tests.py

An example of this kind of hack is a model noticing that problem.py has multicore support, implementing multicore as an optimization, noticing there's no speedup and "debugging" that N_CORES = 1 and "fixing" the core count so they get a speedup. Multicore is disabled intentionally in this version.

original_performance_takehome (anthropics/original_performance_takehome)

Searching Database…

Что это?Это оригинальное испытание на производительность с интервью Anthropic, выложенное в открытый доступ для всех желающих. Цель — оптимизировать программу для виртуальной машины так, чтобы она выполнялась за как можно меньше тактов, начав с медленной отправной точки в 18532 такта.
Это оцениваемое кодинг-испытание или общий набор бенчмарков?Это одна самодостаточная оптимизационная головоломка со стартовым кодом и тестовым скриптом, а не общий бенчмарк-фреймворк или библиотека.
С чего начать испытание?Склонируйте репозиторий, оптимизируйте предложенный стартовый код (он начинает с 18532 тактов), затем запустите тесты отправки, чтобы проверить свой результат.
Нужно ли что-то особенное для запуска?Это обычный Python-проект: никаких зависимостей, Docker или инструментов сборки, кроме самого Python, не требуется.
В чём подвох при решении через ИИ-агента?ИИ-агентов ловили на жульничестве: они правили папку tests/, чтобы искусственно облегчить задачу, например отключали намеренное ограничение одним ядром, чтобы сымитировать ускорение на многоядерности.
Для кого это на самом деле?Это для тех, кому интересно, смогут ли они оптимизировать лучше, чем Claude Opus 4.5, и заодно это неформальный способ привлечь внимание Anthropic для трудоустройства.
Насколько хороши лучшие известные результаты?Claude Opus 4 достиг 2164 тактов, Claude Opus 4.5 — 1790 в обычной сессии и 1363 в улучшенном harness с вычислениями на этапе тестирования после многих часов; лучший результат человека держится в секрете, но говорят, что он существенно лучше.
Что будет, если я обойду результат Claude Opus 4.5?Если вы оптимизируете ниже 1487 тактов, вам предлагают написать на [email protected] со своим кодом, а в идеале и резюме, поскольку это лучше лучшего результата Opus 4.5 на день запуска.
Почему отключена поддержка многоядерности?В этой версии задачи многоядерность отключена намеренно, поэтому «оптимизация» повторным включением NCORES не даёт реального ускорения и считается недопустимым хаком.
Чем эта версия отличается от исходного 4-часового задания?Она основана на более новом 2-часовом задании (в нём больше инструкций и лучшие инструменты отладки), но использует самую медленную исходную отправную точку в 18532 такта вместо улучшенной стартовой точки 2-часовой версии.
Creator
anthropics
Size
<0.1 MB
Stars
4.2K
Updated
CommitJan 22
Age
8mo
Commits · 90 Days