lm_understand-logs README

README проекта с github.com/RikiyaT/lm_understand-logs. Одним файлом markdown: README.md.

Logs: LLMs can understand and write neural network weights

The complete logs of every experiment in the blog post Sparks of Weight Space Programming: LLMs can understand and write neural network weights. For each experiment you get:

Each experiment folder has its own README. It says which run is which tab or row in the post, and which file each number comes from.

Folder In the post Runs Tools
exp1_which_game/ Experiment 1: which game was this network trained on? Breakout, Pong, Pac-Man, Freeway (open answer) none
exp2_diffusion/ Experiment 2: what does this diffusion model generate? circle, square, triangle none, no forward pass
exp3_language/ Experiment 3: which language a language model learned, from its middle blocks Python, romaji, English, two conversations each Python sandbox, no forward pass
exp4_fix_car/ Experiment 4: fix a failing network by editing its weights one one-shot edit none
exp5_write_from_scratch/ Experiment 5: write networks from scratch Breakout, Seaquest, Asterix (MinAtar) none
exp6_go_from_scratch/ Experiment 6: write a 1.5M-weight Go network 0, 10, 25 and 50 passes Python sandbox
exp7_sycophancy/ Experiment 7: which language model is sycophantic? four weights-only attempts, then the attention tool (3 pairs each) Python sandbox
exp8_math/ Experiment 8: make a language model better at math Qwen3.5-0.8B with 10, 25 and 50 passes, and the Gemma 3 270M follow-up Python sandbox

Only the runs the post reports are here. Trial runs of earlier prompt versions are left out.

How the model was run

"Astra" in the post is OpenAI's gpt-6-astra.

One turn. Every turn is one call of the Codex CLI: codex exec, or codex exec resume <thread> to continue a conversation. The prompt goes in on stdin. The reasoning effort is set per call and recorded in each turn's run.json:

Effort Experiments
high 1, 2, 4
xhigh 3, 5, 6, 7
max 8

No tools of its own. Every built-in Codex capability that gives the model a tool is switched off: shell, file editing, web search, image viewing, sub-agents, plugins and the rest. The configuration is in harness/codex_config.toml, and the system instructions are one neutral line, harness/instructions.md. Each call names the model and the effort itself, overriding the defaults in that file.

Every turn was audited. We checked each turn's event stream. A turn counts as tool-free when the stream holds only the model's messages, its reasoning summaries, and Codex's notice that code mode is disabled. The result is the audit.tool_free field of the turn's run.json. All 1,125 turns in this release are tool-free.

Where code was allowed (Experiments 3, 6, 7, 8):

Files

Not every file appears in every run.

File What it is
prompt.txt, message.txt What we sent: the first message, and later ones per turn.
events.jsonl The raw Codex event stream of one turn: the model's messages and reasoning summaries, plus token usage.
answer.md, turn_text.md, final_answer.md The model's reply in one turn, and its final reply.
explanations.md The model's explanation of each step, collected over the run, where the prompt asked for one.
tool_calls.jsonl One line per sandbox run: the code, its printed output, and the time it took.
run.json One turn's record: model, effort, tokens, wall time, and the audit.
state.json One conversation's record: turns, runs used, and whether it finished.
loop.log, driver.log, run.log The harness's log of the run.
eval/ The scoring, with the answer key or ground truth.
networks/ The networks the model read or wrote.

Placeholders. Internal paths are replaced by placeholders:

Placeholder Stands for
<data> our data disk
<repo> our experiment repository
<codex> the Codex binary
<codex_home> Codex's state folder
<venvs> Python environments
<home> home directory
<remote> a rented GPU node

Codex thread ids are replaced by id- and 8 hex digits. The same thread keeps the same id in every file, so turns of one conversation still match up.

Not included

Licenses

See LICENSE.

Content License
Logs, data and networks CC BY 4.0
Our scripts MIT
MinAtar source in Experiment 5's prompts GPL-3.0, see exp5_write_from_scratch/LICENSE-MinAtar

Third-party benchmark data keep their own licenses: MATH, GSM8K, IFEval, MMLU-Pro and the others in Experiment 8.

lm_understand-logs (RikiyaT/lm_understand-logs)

Ищем в базе…

Что это такое?Полные логи всех экспериментов из записи в блоге «Sparks of Weight Space Programming: LLMs can understand and write neural network weights». Здесь есть промпты, отправленные модели, её ответы, код, который она запускала, оценка, на которой основана каждая цифра, и нейросети, которые она читала или записывала.
Это инструмент, библиотека или просто данные?Это выгрузка данных, а не программа. Пакета для установки нет: это файлы с промптами, ответами модели, кодом и выводом из песочницы, оценками и нейросетями.
Как найти нужный мне запуск?Откройте папку нужного эксперимента, например exp4fixcar/, и сначала прочитайте её README. В нём каждый запуск сопоставлен с вкладкой или строкой в записи и указано, из какого файла взята каждая цифра.
Какая модель и какие инструменты использовались?«Astra» — это gpt-6-astra от OpenAI, запущенная через Codex CLI: по одному ходу на вызов, все встроенные инструменты отключены. Код запускался только в экспериментах 3, 6, 7 и 8, внутри собственной песочницы автора без доступа к сети.
Чего нет в этой выгрузке?Не включены: 17 ГБ дообученных версий Gemma 3 270M из эксперимента 7, промежуточные файлы, которые модель записывала в ходе работы, текст корпуса на Python из эксперимента 3 и тексты вопросов GPQA из эксперимента 8. Для некоторых из этого есть скрипты для сборки и хеш-суммы.
Модель использует инструменты в этих экспериментах?Не встроенные инструменты Codex: все 1 125 ходов проверены как работающие без инструментов. Код выполнялся только в собственной песочнице на Python в экспериментах 3, 6, 7 и 8.
В чём суть идеи программирования в пространстве весов?Эксперименты проверяют, может ли LLM прочитать веса нейросети, а затем изменить их или написать новые. Примеры: исправление нерабочей сети в эксперименте 4 и написание сети для игры го на 1,5 млн весов в эксперименте 6.
Может ли модель написать сети для игр с нуля?В эксперименте 5 модель без инструментов пишет сети с нуля для Breakout, Seaquest и Asterix в MinAtar. В логах видно каждую попытку и её оценку.
Какие есть похожие проекты?jeeves, NanoJev, bdh, detectorscope, math, Valen, MSA, pointdit
Автор
RikiyaT
Размер
135.4 MB
Звёзды
1.3K
Обновлён
КоммитOct 29
Возраст
20 д
Коммиты · 90 дней