Ответы research-агента (alphaxiv) на порцию 1 — 18/18, с провенансом

Получены 2026-09-30 ~20:10, записаны дословно. Форматы «подтверждено / переносимо / минимальный A/B / вне очереди» — автора ответа. Два опровержения наших формулировок приняты: (1) «Sparse Layers» (2605.09165) — про sparse MoE-экспертов, НЕ про untie слоёв; (2) нормировка target не решает условное среднее (см. jepa-decision-2026-09-30.md, корректировка п.2).

Приоритетная очередь агента (принята как основа, с нашими пометками)

1. Correctness/stability: FP32-reference для KDA, WY forward/backward, causality и state resets. [у нас: carry-гейт зелёный 2026-09-30; NaN-диагностика ждеn реального случая на 46GB-корпусе — на 0.85MB артефакте это был оверфит]
2. Системная эффективность: профиль launch overhead, ретракция каждый 4-й шаг, ns=5 против ns=8. [у нас: батчед-ретракция +19% уже в дереве за флагом]
3. Основная ставка: T=2 против T=4 по одинаковым байтам и одинаковому времени. [уже в очереди, рука depth 2 vs 4]
4. Выразительность loop: input injection; затем per-iteration routing или hyperconnections — отдельно. [НОВОЕ: hyperconnections поднимают φ 0.46→~0.65 в 2604.21106 — самый документированный рычаг]
5. Память: честный total parameter count (backbone / total trainable / active), repository-held-out оценка, новые identifiers. [наше repricing: строки Engram действительно входят в 9 197 390 — отчётность надо разделить]
6. Aux: одна future-byte CE-голова РАНЬШЕ JEPA/KoLeo. [НОВОЕ, дешевле ретуна]
7. Пост-тренинг: короткая проверенная дистилляция → SFT → RLVR, когда rollout’ы уже дают различимый reward. [дистилляция может идти ДО RLVR]

Главный сдвиг установки: не оптимизировать «различие итераций» само по себе — цель, чтобы дополнительный проход давал измеримый выигрыш качества за своё время; дистанция состояний, малый attractor residual и красивый aux-loss этого не заменяют.

Ключевые факты по номерам (полные формулировки — в треде владельца)

1. φ=0.459 [0.41;0.53]; hyperconnections → ~0.65; truncated BPTT → ~0.38 (2604.21106v3 p.1,7). Grid от 10.9M unique non-embedding, но 20 слоёв BPE+attention.
2. Attractor (2605.12466): фиксированная точка в архитектуре + implicit differentiation; LM 140M-770M; 7M attractor УСТУПАЕТ 7M recursive baseline (p.9). Штраф за близость соседних итераций на T=2-4 может научить блок перестать делать полезные изменения.
3. Универсального победителя T≤100M нет; LR schedule привязать к бюджету. Стартовый выбор агента: T=2, пока T=4 не выиграл по времени до заданного качества.
4. «Sparse Layers» = sparse MoE FFN (2605.09165v2 p.2); выразительность через выбор РАЗНЫХ экспертов на разных проходах; fixed mixture всех экспертов ≠ top-k routing. Масштабы от 16M active.
5. BLT экономит и FFN (глобальное ядро по патчам); Kimi Linear hybrid 3:1 — миллиардный масштаб, не оптимум для нас. При 512 байтах вопрос — время kernels, не асимптотика. A/B: KDA-only против KDA+один global pass.
6. ByT5 (2105.13626v3 p.6): минимальный общий размер 300M encoder-decoder; сжатие токенизатором заметнее морфологической сложности. Наши n-gram orders 2/3/4 — фрагменты из одной-двух букв, не словосочетания. Пробы: BPB по русскому и коду отдельно; CE на leading/continuation байтах UTF-8; род/число/ падежи; raw generation против UTF-8-constrained decoding.
7. Protoreasoning (2608.04980): Dyck-задачи, ~1M моделей, Deepest Path middle 80.5%→98.0% с trace+step-dropout, high 50.9%→66.7% (10 seeds) — КАЛИБРОВОЧНАЯ цель для формальных навыков. BABILong для ≤20M AR-LM чисел нет.
8. Engram-статья (2601.07372v2 p.4): несколько hash heads + context-aware gating подавляют коллизии — обучаемые embeddings, не kNN-интерполяция; отдельный «вес памяти в loss» не обязателен. FNV сам по себе коллизии не устраняет; A/B: memory on/off в ОТДЕЛЬНО обученных моделях + 1 hash против нескольких при равном бюджете таблиц. Критично: 48M строк — не 48M параметров, отчёт делить backbone/trainable/active.
9. Статический lookup последних 4 байт не знает, где в файле объявлена новая переменная — дальнее связывание это KDA/contextual state (2601.07372v2 p.2).
10. Прямого сравнения Muon+ ColRow / byte / ≤100M нет; SOAP 360-660M, Muon scalability от 399M (2502.16982v1 p.7). RMS-скейлинг позволяет переиспользовать AdamW LR; ns=10 не лучше ns=5 (p.4). A/B: LR 0.5x/1x/2x, логировать RMS обновления и update/weight; затем ns=8 против ns=5.
11. KDA (2510.26692v2 p.5,15): L2Norm q/k для стабильности собственных значений; в chunked вычислении аккуратная precision/log-domain. CE~0.5 — не диагноз. Диагностика NaN: сохранить batch+checkpoint ДО первого NaN; sequential FP32 recurrence против WY forward И backward; L2-нормы keys, диапазоны gates, нормы state; одинаковые начальные states и reset на границах документов; затем уменьшить chunk size. Подозрительны отношения маленьких произведений decay; проверить, что экспоненты не считаются на запрещённых causal элементах до masking. Gradient clipping не чинит NaN внутри forward.
12. Прямого доказательства, что per-step NS-3 ретракция окупает 22%, нет; Muon ортогонализует ОБНОВЛЕНИЕ, не веса — разные операции; weight decay не заменяет ортогональность. A/B: каждый шаг против каждого 4-го; логировать Gram-error, нормы факторов, BPB, NaN. Если 22% исчезают полностью, теоретический выигрыш ~28%.
13. Ближайший дешёвый aux — multi-token/byte prediction (2404.19737): на 1-30M улучшение induction-пробы, но на 300M/600M code-бенчах могли ухудшаться. CE на втором будущем байте сохраняет неоднозначность, в отличие от регрессии к latent target. A/B: основная голова + одна маленькая голова на второй будущий байт; горизонт 4 — после smoke.
14. KoLeo: прямых работ на AR-LM loss нет; если делать — на отдельной projection head и состояниях из разных документов. Вне очереди сейчас.
15. RLVR: универсальной нижней границы нет; ближайшее code-RLVR — 0.6B/1B (2605.30478v1 p.2); static-analysis-only reward может УХУДШАТЬ функциональную корректность (p.17). Ограничение — rollout’ы без успехов дают нулевой относительный сигнал. A/B: короткие задачи, которые модель уже иногда решает; RLVR против rejection-sampling SFT при одинаковом rollout-бюджете.
16. Дистилляция: Breaking the Token Ceiling (2609.12303) — token logits в byte distributions, но student 1.28B / teacher 8B, не сжатие в сотни раз (p.4,24). Прямой KL между BPE logits и 256 logits ученика математически некорректен. Старт: sequence distillation (короткие проверенные исполнением решения), answer-only против короткого scratchpad при равных обучающих байтах. Избегать: непроверенные ответы, длинные CoT, отсутствие EOS-дисциплины, примеры > 512 байт. Дистилляция ДО RLVR — создаёт начальную успешность.
17. Membership inference ≠ понимание; защита — split по репозиториям ДО нарезки окон, near-duplicate removal, alpha-renaming пробы, counterfactual (изменить оператор/значение в prompt). Для памяти: новые КОМБИНАЦИИ знакомых n-gram сильнее полностью unseen.
18. Калибровка: Protoreasoning ~1.05M — таблица выше (п.7).

Ответы на вопросы агента (наши факты, для следующих порций)

GPU: RTX 5060 Ti 16 GB, 64 GB RAM, одна карта, ночи. Датасет: 46 GB русский+код (real) + 19.7 GB filtered (DCLM 0.5 + exact dedup) — выбор корпуса для контрольного прогона сам является решением. Цель: код + русский чат, SFT→RLVR→дистилляция. Модель 9.2M (включая строки Engram — пересчитать по п.8). Контекст 512 байт.