Reicht das billigere Modell?
Überlappende Konfidenzintervalle heißen nicht „gleich gut“. Gepaart gegen eine feste Marge verglichen, hält der billigere Ersatz auf keiner von sechs Aufgaben.
Zwei überlappende Konfidenzintervalle heißen nicht „gleich gut“. Mit dieser Regel hätte ich ein billigeres Bewertungsmodell auf fünf von sechs Aufgaben in meinen Repos als Ersatz eingestuft. Gepaart verglichen, gegen eine feste Marge, hält der Ersatz auf keiner. Meist lag das an zu wenigen Fällen, nicht am Modell.
Was ich getestet habe
Am 15.09.2026 kam typesafe-ai/jev in den Katalog des Vercel AI Gateway: ein Modell, das typisierte Fragen mit Wahrscheinlichkeiten beantwortet, für 0,042 USD je Million Input-Token. Ich habe es gegen sieben kleine LLMs auf sechs Entscheidungen aus vier meiner Repos laufen lassen, mit vorhandenen Labels und den Produktions-Prompts, ohne Tuning je Modell. Bewertet wird deterministisch gegen die Labels. Das Runbook stand vor dem ersten vollen Lauf am 17.09.2026, der Lauf kostete 3,69 USD.
Die Methode
- Antworten beider Modelle je Fall paaren. Information tragen nur die Fälle, in denen genau eines richtig liegt.
- 95-%-Intervall [lo; hi] für die Differenz der Trefferquoten nach Newcombe (1998, Methode 10).
- Vor der Auswertung eine Marge δ festlegen: 5 Prozentpunkte, bei der Buchungsentscheidung 2, weil dort Geld bewegt wird.
| Urteil | Bedingung |
|---|---|
| besser | lo > 0 |
| nicht unterlegen | lo > −δ |
| unterlegen | hi < −δ |
| schlechter, Ausmaß offen | hi < 0 und hi ≥ −δ |
| unentschieden | alles andere |
Ersatz heißt „besser“ oder „nicht unterlegen“. Unter 30 Fällen oder bei Silber- bzw. synthetischen Labels gibt es kein Ersatz-Urteil, bei der Buchungsentscheidung auch nicht bei einer einzigen falschen Auto-Buchung.
Ergebnis
Lauf vom 17.09.2026, gepaart bewertet am 19.09.2026. Differenz d in Prozentpunkten gegen das nach dem Lauf beste LLM:
| Aufgabe | Fälle | Jev | Bestes LLM | Urteil, d [95-%-Intervall] |
|---|---|---|---|---|
| T1 Signal-Triage (Silber-Labels) | 180 | 63,3 % | 61,1 % | unentschieden, +2,2 [−5,3; 9,7] |
| T2 Buchungsentscheidung | 200 | 83,5 % | 100 % | unterlegen, −16,5 [−22,3; −11,6] |
| T3 Support-Routing | 67 | 98,5 % | 98,5 % | unentschieden, 0,0 [−6,6; 6,6] |
| T4 Rollenfamilie | 96 | 75,0 % | 75,0 % | unentschieden, 0,0 [−7,2; 7,2] |
| T5 Faktencheck | 47 | 97,9 % | 100 % | unentschieden, −2,1 [−11,1; 5,6] |
| T6 Rerank (synthetisch) | 18 | 94,4 % | 100 % | unentschieden, −5,6 [−25,8; 12,6] |
T3 zeigt es am deutlichsten: gleiche Trefferquote, und trotzdem kein Beleg, weil 67 Fälle einen Verlust von 6,6 Punkten nicht ausschließen. Für Nicht-Unterlegenheit bei 5 Punkten bräuchte es hier rund 100 Fälle, bei T4 und T5 160 bis 220. Das Golden Set gehört vor dem Lauf auf die Marge dimensioniert.
Was schiefging
- Die Überlappungsregel. Die gepaarte Neubewertung ist post hoc: dieselben Daten, die Marge am 19.09. gesetzt, als ich die Punktschätzer schon kannte. Den fünften Zustand habe ich am 24.09. nachgetragen.
- Ein vorregistrierter Rettungsversuch für T2 am 25.09. scheiterte: unterlegen gegen Gemini 3.8 Flash, −14,5 Punkte auf 200 Fällen. Die Schwelle, die das geschönt hätte, habe ich nicht nachgeschoben.
- Im Oktober stand die Überlappungsregel wieder in einer Vorregistrierung, die als Text statt im Code stand. Eine Regel, die man für jeden Lauf neu tippt, driftet zurück. Sie gehört in Code.
Seitdem läuft jedes Modell-Update durch dieselbe Funktion. Haiku 5.5 low (07./08.10.2026) ist nach der nachträglichen gepaarten Neubewertung Ersatz für Haiku 4.5 auf T2, T4 und T5. Gemini 4 Argon low (13./14.10.2026) ist auf T2 bis T6 nirgends gepaart besser als Luna, Haiku 5.5 low oder Gemini 3.8 Flash und kostet 9- bis 15-mal so viel wie die ersten beiden. Zu Argon habe ich nicht gewechselt.
Daraus wird ein Gate
Eingefrorenes Golden Set mit Hash, der echte Produktionspfad als Referenz, gepaarter Vergleich bei jeder Änderung an Modell, Prompt oder Anbieter. Durch kommt nur „besser“ oder „nicht unterlegen“. „Unentschieden“ fällt durch, denn es heißt „mehr messen“, nicht „ausliefern“.
Die Urteilsfunktion mit Tests, ohne Daten: github.com/Kanevry/paired-verdict. In CI hängt sie noch nicht, bis dahin wende ich sie von Hand an.
Grenzen: Labels unterschiedlicher Güte, kein versiegelter Holdout, die LLMs liefen einmal je Fall, Jev dreimal. Der Jev-Alias ist nicht versioniert, alle Zahlen gelten für das genannte Datum.