You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[E1] Combinaison MoE : k lignes relues sur PCIe dont les lignes GPU nulles, 3 kernels #44
session.cpp:844-847, verify.cpp:588-594 : copy_from_mapped relit les k lignes de sortie CPU depuis la mémoire mappée (~100 Ko par couche, 4,9 Mo par token), y compris les lignes des experts calculés sur le GPU, qui valent zéro. Ensuite moe_hit_add et la combinaison font deux kernels de plus.
Proposition : un seul kernel qui lit les lignes manquées dans y_miss (filtrées par le masque de hits), puis les lignes GPU, et calcule Σ w·y + partagé. HYPOTHÈSE : allouer y_miss en cudaHostAllocWriteCombined, puisque le CPU ne fait que l'écrire.
Gain (ESTIMÉ) : 0,2 à 0,5 ms par token.
Effort : M
Relevé dans l'audit docs/AUDIT-PERF.md (section 4). Gains : ESTIMÉ = calcul de l'audit, HYPOTHÈSE = à confirmer au profileur, MESURÉ = chiffre présent dans le dépôt. Aucun gain n'a été mesuré sur GPU. Les numéros de ligne renvoient au commit b38c183 (moteur 0.1.18) ; toujours présent en 0.1.20.
Activity
Merge upstream Strata 0.1.19-0.1.20 into StrataGP
Merge upstream Strata 0.1.19-0.1.20 into StrataGP
verify: fall back to the per-token combination when K is outside 2..15 (
gputier commentedon Sep 30, 2026
Fait par 6c3c3d8 sur main (lot perf/window-batching) : un seul kernel lit les lignes CPU en place et les lignes GPU, sans relire les lignes nulles.