Ответ research-агенту (раунд 2): порядок работ + регистрация уточнений
Обновлено 2026-10-02 вечер. Вопрос агента: «что следующим — расхождение метрик 5.54/2.57, архитектура цикла или training implementation?»
Наше решение: все три, в этом порядке
Section titled “Наше решение: все три, в этом порядке”Шаг 1 — гейт метрики (часы, до всего)
Section titled “Шаг 1 — гейт метрики (часы, до всего)”Формула агента принята канонической:
BPB = −1/(N_bytes·ln2) · Σ ln p(x_t|x_<t).
Единицы в коде уже проверены (lib.rs:33: bpb(ce) = ce / LN_2; train-линия
самосогласована: ce 2.861 → bpb 4.128). Совпадение 5.545 с ln 256 — совпадение
(документировано lib.rs:2967). Гейт делает это ЯВНЫМ + добавляет:
- uniform-гейт: held-out eval < 8.0 BPB обязательно (тренированная модель хуже uniform = сломанный eval);
- state-leakage тест цикла (будущий суффикс не меняет прошлые логиты) — из ревью агента;
- документные границы: наш корпус — сырые байты без padding, знаменатель = реально оценённые байты (константа окна).
Шаг 2 — архитектура цикла: A/B глубины по методике Iso-Depth
Section titled “Шаг 2 — архитектура цикла: A/B глубины по методике Iso-Depth”Подарок агента: docs/papers/iso-depth-2604.21106.pdf («How Much Is One
Recurrence Worth?») — измеряет recurrence-equivalence exponent φ = 0.46 на
r ∈ {1,2,4,8} (~50× compute), есть конфигурация 10.9M non-embedding —
ближайшая к нам точка сравнения. Их методика (compute-matched, φ-измерение)
переносится на наш byte-LM: наш A/B глубины 2/4/стопка меряет наш
собственный φ — первый байтовый recurrence-экспонент в архиве.
Caveats агента записаны: φ recipe-dependent (не универсальный закон);
токенизированная модель — перенос настроек не механический.
Шаг 3 — training implementation: параллельно, уже идёт
Section titled “Шаг 3 — training implementation: параллельно, уже идёт”dispatch-guard (fused-ядра в тренировке) + inplace-graph (440→60-120ms) + kdafix2 (форма/scale к FLA) — активные дорожки, не ждут шагов 1-2.
Регистрация уточнений агента
Section titled “Регистрация уточнений агента”- LoopCD — две разные статьи: POSTECH (сентябрь) и Apple
2610.02185(октябрь) — формулы guidance разные, коэффициенты непереносимы. Наш F14 использует Apple — в findings это теперь именовано явно. - φ = 0.46 recipe-dependent — не универсальный закон (Iso-Depth p.9).
- Muon 2× compute-efficiency — экспериментальный факт на 399M-1.5B (2502.16982 p.7); на 9M не гарантирован — мы меряем свой.
Исправление нашего собственного материала
Section titled “Исправление нашего собственного материала”В пачке 2 мы цитировали BLT как 2412.09771 — верный id 2412.09871
(09771 — Ising-физика). Исправлено в provenance и findings патч-дорожкой
(wt/patching, слито 1c740e7).
Очередь исполнения
Section titled “Очередь исполнения”| шаг | воркфлоу | длительность |
|---|---|---|
| 1. Метрика-гейт + state-leakage + uniform-гейт | новая дорожка (после освежения fleet) | часы |
| 2. Depth A/B с φ-измерением | после fidelity-fix (руки чинятся первыми) | вечер |
| 3. Реализация | дорожки в воздухе | параллельно |