Pre-registration тройки (plain9m vs byteflow vs small)
Закоммичено ДО просмотра результатов (2026-10-04, внешний агент + владелец).
Тройка: tools/trio_ab.sh, 3 сида, 2k шагов, окно 81920 B, равные байты, pure CE, no Engram.
Критерии победы (§1.2)
Section titled “Критерии победы (§1.2)”Победа = средние расходятся больше чем на 2× спред контроля по сидам И диапазоны сида не пересекаются. Всё остальное = ничья = удаление механизма.
Метрики (все — на исходный байт)
Section titled “Метрики (все — на исходный байт)”| метрика | как мерить |
|---|---|
| held-out BPB | на равных байтах (2k × 4096 B) И на равном wall-clock |
| скорость | bytes/s, прогрев исключён, медиана ≥100 шагов, один sync на N шагов |
| память | peak VRAM |
| инференс | generation bytes/s при batch 1 |
| энергия | Дж/байт (интеграл nvidia-smi power.draw) |
Решения по исходам
Section titled “Решения по исходам”| исход | решение |
|---|---|
| byteflow бьёт plain9m против спреда И bfverify чист | byteflow = канон |
| byteflow бьёт plain9m НО bfverify нашёл утечку | результат аннулируется, бар-взятие под вопросом |
| byteflow и plain9m в пределах спреда | byteflow не канон (сложнее без выигрыша) |
| byteflow выигрывает по байтам, но НЕ по wall-clock | пересмотр: wall-clock — честная ось |
| byteflow выигрывает на 2k, но не на 20k у победителей | пересмотр: масштаб меняет вывод |
| small проигрывает plain9m | dormouse = leave-one-out абляции, не «модель» |
| small бьёт plain9m | dense-MoE оправдан → topk-dispatch следующим |
Дополнительные контроли (внешний агент, критично)
Section titled “Дополнительные контроли (внешний агент, критично)”- dense при равных FLOPs: plain9m равен по параметрам, но НЕ по compute зацикленной модели. Нужен второй контроль — глубже, без шаринга. Без него выигрыш петли тривиален.
- topk-dispatch НЕ следует из тройки: small отличается от plain9m десятком рук. Нужен отдельный A/B: small с n_experts=1 при равных total-параметрах.
- Паритет тюнинга: бейзлайн получает такой же LR-свип на том же бюджете.
- Сильный бейзлайн: современный plain byte-transformer (RMSNorm, QK-norm, Muon)
- BLT/ByteFlow-патчинг — как эталон.
byteflow-утечка (критично)
Section titled “byteflow-утечка (критично)”В статье ByteFlow граница = top-K по ΔR, глобальная операция по всей последовательности. Каузальность при обучении в статье не показана (код не опубликован). Наша реализация — самописная. bfverify здесь решает: если утечка есть — бар-взятие недействительно.
Эффективность — оси (внешний агент)
Section titled “Эффективность — оси (внешний агент)”| ось | что даёт | честная цифра |
|---|---|---|
| Параметры/размер | LoopBlock | 2–3× (Ouro), НЕ 10× |
| FLOPs | MoE | ~4× при скромных бюджетах |
| VRAM | Engram offload | разгрузка, платит хост-пропускной |
| Флагманская ось | BPB на единицу времени 5060 Ti | train GPU-day + ms/byte (batch 1) |
| Энергия | Дж/байт (nvidia-smi power.draw) | почти никто не меряет |
Публичная арена: Parameter Golf (OpenAI) — лучшая LM в артефакте 16 MB, 10 мин на 8×H100, FineWeb val bpb. Наша 9.2M в fp8 влезает в 16 MB. 10 мин на 8×H100 ≈ 1 GPU-day на 5060 Ti — ровно наша рамка «≤1 GPU-day». enwik8 калибровка: xz 1.989, RWKV-169M 1.106 — бар 2.58 слабый, нужен xz/zstd на held-out.