Ответ alphaxiv на порцию 3 (TSCT deep) — 2026-10-01

Полный текст у владельца в треде; здесь — рабочая выжимка с формулами.

Формулы градиентов спектральной параметризации (подтверждено, SCT p.3)

W = U·diag(s)·Vᵀ, G = ∂L/∂W: ∂L/∂s = diag(UᵀGV); ∂L/∂U = G·V·D; ∂L/∂V = Gᵀ·U·D Обычный backprop по U,s,V, затем ретракция. SVD вbackward не нужен. Поправки: (1) отрицательный s_i допустим (знак поглотится фактором), actual σ = |s_i|; (2) «ортогональные факторы ⇒ градиенты не затухают» — слишком сильно: маленький |s_i| слабит градиенты СВОИХ столбцов U/V и портит обусловленность активного спектра. Устранён один источник деградации (деформация базисов), не все.

Power iteration vs Frobenius-prescale (прямого замера для rank-64 нет)

Работы: O(dr) / quintic NS: O(dr²+r³) / Frobenius: одна редукция. FLOPs не предсказывают время на мелких GPU-задачах (launches). Новое: 2609.33047 — spectral moments из уже считаемых Gram-матриц, bound σ_max ≤ ‖H²‖_F^{1/4} ≤ r^{1/8}·σ_max (для плоского rank-64 консервативно ~64^{1/8}≈1.68×). Кандидат микробенчмарка, не очевидная замена. РЕКОМЕНДАЦИЯ: мерить power/prescale/NS РАЗДЕЛЬНО; если power iteration — малая доля наших 24 ms, не трогать.

Тернарный STE на ортонормальных мастерах (не найдено в литературе; анализ дан)

BitNet absmean — на линейных весах, не Stiefel. ExTernD (2607.13511) — тернарные факторы + диагональный масштаб, но post-training, QAT не проверен. Оценка ошибки: ‖W̃−W‖₂ ≤ ‖D‖₂(‖E_U‖+‖E_V‖+‖E_U‖‖E_V‖) — растёт с max|s_i|, ошибки факторов ВЗАИМОДЕЙСТВУЮТ. Ортогональность после квантизации: ‖ŨᵀŨ−I‖ ≤ 2‖E_U‖+‖E_U‖². → ИНСТРУКЦИЯ: логировать РАЗДЕЛЬНО Gram мастеров (до/после ретракции) и Gram эффективных форвард-факторов (при текущем alpha). Отжиг может держать мастеров идеальными при деградации форварда — наши метрики это не различали. s компенсирует изменение gain, но не потерю ортогональности и смешение рангов.

«Мы первые» — НЕ обосновано (нужен приоритетный поиск)

SCT: pretrain не продемонстрирован (1.7B = fine-tune SmolLM2, dense baseline лучше по loss, LR различаются — p.7). BitNet: с нуля, но без ортогональных спектральных факторов. Защищаемая формулировка: «обучение byte-level LM с нуля с постоянной спектральной факторизацией, периодической NS-ретракцией мастеров и тернарным QAT факторов». 100k шагов ≠ до сходимости: нужны объём данных, held-out BPB, поздняя динамика.

Shared block: спектр и проходы (математически да, меняется задача)

∂L/∂s_i = Σ_t ⟨∂L/∂W^(t), u_i v_iᵀ⟩_F — один спектр обслуживает разные распределения скрытых состояний. НЕ следует «при большем T спектр → 1» (важна взаимная ориентация базисов). Диагностика: вклад каждого прохода в ∂L/∂s и его согласованность. Если конфликуют → pass-specific spectral gains при shared U,V (изменение архитектуры, не доказанная необходимость).

Overshoot 1.05 (терминология исправлена)

(15/8,−5/4,3/8) — классическая quintic NS/Padé-итерация; Polar Express (2505.16932) даёт minimax-оптимальные последовательности — не весь его алгоритм. p(1+e) = 1 + 2.5e³ + 1.875e⁴ + 0.375e⁵ — ошибка у единицы давится КУБИЧЕСКИ. Область притяжения: 0 < x₀ < √(7/3) ≈ 1.528. 1.05 — эмпирический запас, не гарантия. Оптимум офлайн: c* = argmin_c max_{x∈[ℓ,u]} |p∘3(x/c) − 1|. Учить 1.05 градиентом НЕЛЬЗЯ (станет механизмом управления gain).

ПРЕДЗАПУСКОВОЙ ЧЕКЛИСТ перед 100k

1. Исправить комментарий про «гарантию 5%» (у нас уже помечен ложным).
2. Три редких диагностических ряда: (a) Gram FP-мастеров до/после ретракции, (b) Gram эффективных форвард-факторов при текущем alpha, (c) распределение |s_i|: max/min/число почти выключенных рангов.
3. Минимальный тест далее: интервалы 4 / 16 / без ретракции при одинаковом aux и расписании + ≥2 seed; смотреть BPB на равных байтах И на равном wall-clock.
4. Если 16 не хуже 4 → 16. Если без-ретракция не хуже и факторы не деградируют → убрать, оставив orthogonal init. Иначе — одна локальная коррекция вместо трёх итераций: A ← A(3/2·I − 1/2·AᵀA). Амортизированная экономия перехода: 3.75–16.5% полного шага (при доле 5–22%).