Ответ alphaxiv на порцию 4 (весь проект, 20/20) — 2026-10-01

Полный текст у владельца в треде; здесь — решения и опровержения, принятые в работу.

ОПРОВЕРЖЕНИЯ НАШИХ ФОРМУЛИРОВОК (все приняты)

1. 2409.05799 — НЕ Hyper-Connections (speaker verification). Верный ID: 2409.19606 (Zhu et al., ByteDance, ICLR 2025). Ошибка была в goal.md.
2. WD на ортонормальных мастерах геометрически пуст: decoupled WD умножает мастер на скаляр → ретракция возвращает ту же матрицу; WD в градиенте — радиальная компонента удаляется tangent-проекцией. → WD должен идти на СПЕКТР s и не-Stiefel параметры. Проверка политики оптимизатора — задача.
3. Batch 32: +18% байт/с ≠ бесплатный выигрыш — это 4× меньше обновлений на тот же объём данных, может навредить оптимизации. A/B: байты-сравнение + LR {1×, 2×, 4×}; если BPB хуже при лучшем throughput — остаёмся на batch 8.
4. «Ортогональные факторы ⇒ нет затухания» — слишком сильно (и в TSCT-досье поправлено): малый |s_i| слабит градиенты своих столбцов и портит активный спектр; тернарный форвард деградирует ортогональность: ‖ŨᵀŨ−I‖≤2‖E_U‖+‖E_U‖².
5. RoPE×L2-норма: при чистом L2 порядок не важен (вращение сохраняет норму); с learned gain’ами не коммутирует. Kimi Linear ставит NoPE на global-слои, позиции несёт KDA — не прямой рецепт для нас.
6. Hyper-Connections на 9.2M: недостаточно данных; в launch-bound лишние запуски дороже параметров. n=2 первым; step-time отдельной строкой A/B.
7. MoE: 4 эксперта top-1/2, не 8–16 (8-экспертные данные — 168M+ active). Anchors для диагностики: 25–53% токенов получают непересекающиеся пары экспертов между проходами (2605.09165v2 p.6), идентичные пары 4–14%.
8. «Мы первые» с pretrain ортогональных факторов — НЕ обосновано без приоритетного поиска; 100k ≠ до сходимости. Защищаемая формулировка: «byte-level LM с нуля с постоянной спектральной факторизацией, периодической NS-ретракцией мастеров и тернарным QAT факторов».

ПРЯМЫЕ НАХОДКИ

• RuBLiMP (2406.19232): ~45k минимальных пар русской грамматичности — ГОТОВАЯ проба для нашего русского; брать подмножества с метками явлений.
• Sparse Layers anchors: см. п.7 — числовая цель для диагностики роутинга.
• SVB (1611.06013): периодический SVD-клип раз в ЭПОХУ (391 шаг CIFAR) — прецедент «реже = норм» за 4 года до нашего retract-4.
• 2609.33047: spectral moments из Gram-матриц вместо power iteration (bound r^{1/8}, ~1.68× консервативно на rank-64) — кандидат микробенчмарка.
• Engram offload inference: 2.8% падения throughput на 100B таблице (H800, inference) — НЕ переносить на train: sparse updates через PCIe не измерены.
• NaN-диагностика протокол: до первого NaN логировать norm состояния, max|q·k|, диапазон decay/β, поэтапный NaN-чек chunked WY; потом по одному: qk-norm / clamp decay-логитов / gradient clip. Entropy bonus — без гипотезы не добавлять.
• RoPE-проверка: RoPE→L2 vs L2→RoPE при чистом L2 должны совпадать почти точно — если нет, ищи learned scale/частичное вращение/блоки головы.

ПЕРЕДАНО АГЕНТАМ (коррекции mid-lane)

• mhc-model: цитата 2409.19606, n=2 первым, step-time в A/B-строке.
• moe-routing: 4 эксперта top-1 (не 8–16), anchors 25–53%/4–14%, load-balance sweep вместо копирования крупных значений.

ПРИОРИТЕТ ЭКСПЕРИМЕНТОВ (агентская версия, совпадает с нашей V2)

1. Стабилизировать baseline: retract-4 + сиды; RoPE и length-probes отдельными A/B.
2. Стабильность KDA: точка NaN по этапам WY → по одному смягчению.
3. Aux: только byte-t+2, короткий sweep коэффициентов.
4. Память: lookup-ablation + тест дальнего переноса идентификаторов.
5. Остальное ПОСЛЕ профилирования: MoE/HC/CUDA-graphs легко добавляют complexity раньше измеримого выигрыша на 9M.