Skip to content

[S4] Évaluer : meilleure quantification du brouillon MTP (taux d'acceptation) #52

Closed

Description

@gputier

tools/mtp_pack.py:58-82 cherche l'échelle Q2_0 seulement parmi les d positifs de [0,5 ; 1,0]·amax, en 17 pas.

MESURÉ sur des blocs synthétiques, erreur RMS relative :

Loi Actuel Grille élargie (0,15 à 1,0) + d négatif
normale 0,411 0,351
Laplace 0,486 0,399
t3 0,514 0,427

Un brouillon plus fidèle signifie une meilleure acceptation, donc plus de tokens par tour. Prérequis :

  • vérifier que les kernels acceptent d < 0 ;
  • mtp_rt.py:72 n'accepte que Q2_0 : un brouillon Q4 ou Q8 sur les cartes de 32 Go demande d'abord de lever cette limite.

Effort : M


Relevé dans l'audit docs/AUDIT-PERF.md (section 7). Gains : ESTIMÉ = calcul de l'audit, HYPOTHÈSE = à confirmer au profileur, MESURÉ = chiffre présent dans le dépôt. Aucun gain n'a été mesuré sur GPU. Les numéros de ligne renvoient au commit b38c183 (moteur 0.1.18) ; toujours présent en 0.1.20.

Activity

  1. added
    perfVitesse ou efficacité
    précisionPrécision numérique, divergence de référence
    on Sep 28, 2026
  2. gputier commented on Sep 30, 2026

    @gputier
    OwnerAuthor

    État au 30/09/2026. Fait sur main : --q2-search wide|exact en option (92bb6d), test s2_grouped_parity. Erreur RMS mesurée sur données de synthèse. Reste pour fermer : mesurer le taux d'acceptation du brouillon MTP sur le modèle.

  3. gputier commented on Oct 3, 2026

    @gputier
    OwnerAuthor

    Remise à jour sur la v0.1.37 : gardée.

    Le défaut existe encore, sans changement côté amont. tools/mtp_pack.py:58 à 66 cherche l'échelle Q2_0 en 17 pas entre 0,5 et 1,0 fois amax, d positif seulement. tools/mtp_rt.py:72 n'accepte que la géométrie Q2_0 (gu 720 octets par ligne, dn 180). setup.py:3445 reconstruit le brouillon avec mtp_pack.py --experts q2_0 : un meilleur pack profiterait donc à chaque installation. L'option --q2-search wide n'est pas dans la 0.1.37 : elle vit dans l'ancien main (tag sauvegarde/main-avant-0.1.37, commit 92bb6b7), comme tools/ab_oneshot.py.

    Protocole court :

    • porter 92bb6b7 et ab_oneshot.py sur une branche d'essai, vérifier d'abord que les noyaux acceptent d < 0 (s2_grouped_parity, absent de la 0.1.37, à porter avec le commit) ;
    • reconstruire le brouillon avec --q2-search wide ;
    • trois prompts, 256 tokens, trois passages par bras, lecture de drafts_offered et drafts_accepted (docs/DETAILS.md:174), taux agrégés plutôt que suites de tokens, la sortie variant d'un passage à l'autre.

    DoD : adopter à partir de +1 point de brouillons acceptés, sinon fermer avec les chiffres.

  4. gputier commented on Oct 11, 2026

    @gputier
    OwnerAuthor

    Fait le 11/10/2026 : recherche d'échelle Q2_0 élargie à 0,15 à 1,0 fois max|w|, dans les deux signes, sans jamais faire pire bloc par bloc (erreur RMS 0,82 à 0,86 de l'ancienne recherche). Tests de parité à échelle négative passés sur la RTX 5090. Tête française reconstruite (mtp-fr-ms) : acceptation 0,732 contre 0,716, prompt long +9,4 %, en production depuis le 11/10. PR amont : Niko1221#1934. La piste d'une tête Q4 par --mtp-q4 est suivie dans #64.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    perfVitesse ou efficacitéprécisionPrécision numérique, divergence de référence

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions