Gemini 4 Neon gemessen: Der Test brach vor dem Modell
Gemini 4 Neon gegen Opus 5.5 und GPT-6.2 Astra auf eigenem Code: 155 Läufe, fünf von acht Aufgaben fielen aus. Belegt sind Kosten und Tempo, keine Rangfolge.

Am Vormittag des 20. November kommen die ersten Ergebnisse zurück, und bei den meisten Aufgaben sind sie rot. Jedes Modell scheitert, Lauf für Lauf, an denselben versteckten Tests. Zwei Tage vorher war Gemini 4 Neon erschienen. Es hieß: Qualität wie Opus oder Fable, sogar besser als Astra. Das wollte ich auf meiner eigenen Arbeit messen. Und jetzt brach als Erstes kein Modell. Es brach mein Test.
Am Ende des Vormittags waren es 155 Läufe. Fünf von acht Aufgaben konnte kein Modell lösen, weil die versteckten Tests etwas verlangten, das im Auftrag nicht stand. Was übrig blieb, beantwortet die Hype-Frage nicht. Es zeigt aber vier Dinge, die für die tägliche Arbeit mit Agenten mehr wert sind: was eine Aufgabe kostet, dass die höhere Denkstufe nichts brachte, dass mit fertigen Tests das billigste Modell reicht, und dass ein Review-Urteil kein Maß ist.
Was über Gemini 4 Neon gesagt wurde und was Google selbst schreibt
Der Satz ist Hörensagen, ich nehme ihn nur als Anlass. Nachlesen lässt sich, was Google schreibt.
In Googles Ankündigung steht der Preis: 3 USD je Million Eingabe-Token und 15 USD je Million Ausgabe-Token. Dort steht auch, Neon liege im Index von Artificial Analysis bei der höchsten Denkstufe auf Platz 3, „just behind larger, slower models“, und in dessen Index für Coding-Agenten auf Platz 1. Von „besser als Astra oder Fable“ steht dort nichts.
Eine Angabe daraus wird später wichtig. Google nennt selbst einen großen Abstand je nach Umgebung: auf einem Coding-Benchmark 12,8 % in einer fremden Umgebung und 39,0 % in der eigenen.
Zum Einordnen die Listenpreise der anderen, je Million Eingabe- und Ausgabe-Token: Claude Opus 5.5 liegt bei 4 und 20 USD, GPT-6.2 Astra bei 8 und 40, GPT-6.2 Sol bei 2 und 10, Muse Wonder bei 4 und 20. Das habe ich gelesen, nicht gemessen.
Der Aufbau: acht echte Änderungen, sieben Arme, drei Umgebungen
Das Material ist mein eigenes Repository lead-session-orchestrator. Das ist das Werkzeug, mit dem ich mehrere Agenten-Sessions führe, geschrieben in TypeScript, rund tausend Commits ohne Merges in den letzten fünf Wochen. Der Quelltext ist privat, das gebaute Paket ist seit Oktober öffentlich, zuletzt am 09.11.2026. Fünf der acht Änderungen sind älter als dieses Release und stecken in gebauter Form im Paket, darunter zwei der drei Aufgaben, die am Ende zählten. Die Aufgaben sind Änderungen aus den letzten vier Wochen, die jüngste vom 16.11., zwei Tage vor Neons Veröffentlichung. Dass ein Modell sie im Training gesehen hat, ist unwahrscheinlich, ausschließen kann ich es nicht. Ein Indiz dagegen gibt es: Kein Modell traf bei den fünf ausgefallenen Aufgaben den Wortlaut des echten Commits.
Die Aufgabe heißt bei mir „Fix nach Plan“. Das Modell bekommt den Stand vor einem echten Commit und die Commit-Nachricht als Auftrag. Die Tests des echten Commits bleiben versteckt und entscheiden. Der Ordner hat keine Git-Historie, die Lösung ist also nicht auffindbar. Das Prinzip kenne ich von meinem früheren Modellvergleich an echten Belegen: eigenes Material und eine Antwort, die vorher feststeht.
Es waren acht Aufgaben, alle echte Änderungen über 2 bis 5 Dateien mit 74 bis 464 geänderten Zeilen. Jedes Modell bekam zwei Durchgänge. Gelaufen sind sieben Arme in drei verschiedenen Agenten-Umgebungen. Die Umgebungen nenne ich hier A, B und C.
In Umgebung A liefen Gemini 4 Neon high, Gemini 4 Neon medium, Claude Opus 5.5 high und Muse Wonder high. In Umgebung B liefen GPT-6.2 Sol medium und GPT-6.2 Astra high. In Umgebung C lief noch einmal Claude Opus 5.5 high, also dasselbe Modell wie in A in einer anderen Umgebung.
Daraus folgt die Einschränkung, die für alles Weitere gilt. Streng vergleichbar sind nur Arme derselben Umgebung. Neon gegen Opus in Umgebung A ist ein sauberer Vergleich. Neon gegen Astra ist einer über zwei verschiedene Umgebungen hinweg, und das schreibe ich jedes Mal dazu.
Eine Einschränkung kommt dazu. Sieben der acht echten Änderungen sind mit Claude Opus 5.5 entstanden, eine mit Claude Fable. Die versteckten Tests tragen also auch die Handschrift von Opus. Opus in Umgebung C löste trotzdem nur 2 von 6. Ein großer Heimvorteil ist daraus nicht abzulesen, ausschließen kann ich ihn nicht.
Die Regeln, wann was als besser gilt, standen vor dem ersten gewerteten Lauf fest und waren vorher committet. Rund um den Lauf gab es zwölf dokumentierte Abweichungen. Zwei davon nenne ich. Die Prüfregeln für Werkzeugaufrufe musste ich fünfmal enger fassen. Und meine erste Kostentabelle war falsch. Sie verglich ungleiche Aufgaben und ließ einen Kostenposten aus, also hab ich sie neu gerechnet.
Jeden Werkzeugaufruf jedes Laufs hab ich nachträglich geprüft. Kein Modell hat fremde Dateien gelesen, Git-Historie gesucht oder das Netz benutzt. Außerhalb seines Ordners las ein Modell nur Ablagen, in die seine Umgebung lange Ausgaben des laufenden Laufs schreibt. Die Prüfregeln selbst schlugen mehrfach falsch an, bei Suchmustern und eben diesen Ablagen. Echte Verstöße: null.
Von den 155 Läufen waren 86 Fix-Läufe mit versteckten Tests, 21 liefen mit sichtbaren Tests und 48 waren Review-Läufe. Sieben Arme mal acht Aufgaben mal zwei Durchgänge wären mehr. Als klar war, dass fünf Aufgaben nichts messen, hab ich sie nicht mehr für jeden Arm zu Ende laufen lassen. Auf den drei brauchbaren Aufgaben hat jeder Arm beide Durchgänge.
Zuerst brach der Test, nicht das Modell
Bei fünf von acht Aufgaben scheiterten in jedem Lauf jedes Modells dieselben versteckten Tests. Wenn vier bis sechs Arme aus zwei bis vier Modellfamilien an denselben Stellen hängen bleiben, liegt es selten an den Armen.
Der Grund: Die Tests prüfen den genauen Wortlaut von Meldungen, Feldnamen, Signaturen von Funktionen oder ein Dateiformat. Das alles legt erst der echte Commit fest. In der Commit-Nachricht steht es nicht. Ein Modell hätte raten müssen, wie ich ein Feld genannt habe.
Ein Beispiel: In einer Aufgabe lieferten alle Modelle das richtige Verhalten, mit dem richtigen Exit-Code. Alle sechs verbleibenden Fehler waren Vergleiche eines Meldungstexts. Die Arbeit war getan, nur der Satz lautete anders als meiner.
Die Gegenprobe hab ich noch am selben Vormittag gemacht. Liegen dieselben Tests sichtbar im Ordner, löst GPT-6.2 Sol medium alle fünf Aufgaben in 88 bis 207 Sekunden. Die Aufgaben waren also nicht zu schwer. Sie waren unterbestimmt.
Ausgefallen sind damit: ein Schutz gegen das Zurückdrehen eines Autoritätsstands (mit 464 Zeilen die größte Aufgabe), englische Ausgabetexte ohne deutsche Kürzel, ein Bericht über Lücken im Dauerbetrieb, das Zählen abgebrochener Übergaben und die Übernahme einer Übergabe nur über einen gesicherten Weg.
Das ist mein Fehler, nicht der eines Modells. Mein Vorfilter hatte das nicht erkannt. Er prüfte nur, ob die Tests vorher rot und nachher grün sind, und ob neue Namen importiert werden. Zwei Tage vorher, bei kleineren Aufgaben, hatten 2 von 10 dasselbe Problem. Bei den größeren sind es 5 von 8.
Gemini 4 Neon high und medium gegen Opus und Astra
Drei Aufgaben taugen als Messung. In der ersten sollen die Auflagen einer Agenten-Session über eine eindeutige Kennung zugeordnet werden und nicht über einen Namen, der doppelt vorkommen kann. Im Auftrag steht, ein Hinweis nenne den Schlüssel, „wenn er eindeutig ist“. Was „eindeutig“ genau heißt, lässt der Auftrag offen. In der zweiten geht es um ein Protokoll, an das nur angehängt wird. Es galt an drei Stellen als gültig, obwohl es hinten abgeschnitten war. Alle Prüfer sollen es gegen einen gespeicherten Ankerpunkt abgleichen. In der dritten soll eine Frage an mich, die etwas löschen würde, schon beim Anlegen geprüft werden und nicht erst nach meinem Klick.
Das ergibt sechs Versuche je Arm: drei Aufgaben, zwei Durchgänge. Die Kosten sind gemeldete Token mal Listenpreis. Eine Rechnung ist das nicht. Als Median nehme ich bei sechs Läufen den dritten Wert.
| Arm | Umgebung | gelöst | Sekunden (Median) | Listenpreis je Lauf |
|---|---|---|---|---|
| GPT-6.2 Astra high | B | 5 von 6 | 167 | 1,09 USD |
| Claude Opus 5.5 high | A | 4 von 6 | 198 | 0,97 USD |
| Gemini 4 Neon medium | A | 3 von 6 | 350 | 1,01 USD |
| Gemini 4 Neon high | A | 2 von 6 | 740 | 2,39 USD |
| Muse Wonder high | A | 2 von 6 | 259 | 1,36 USD |
| GPT-6.2 Sol medium | B | 2 von 6 | 131 | 0,30 USD |
| Claude Opus 5.5 high | C | 2 von 6 | 238 | 0,96 USD |
Für Opus in Umgebung C meldet die Umgebung selbst 1,15 USD je Lauf auf diesen drei Aufgaben. In der Tabelle steht mein Wert nach Listenpreis.
Und dieselben Läufe je Aufgabe, als Treffer von 2:
| Aufgabe | Neon medium | Neon high | Muse Wonder | Opus (A) | Sol | Astra | Opus (C) |
|---|---|---|---|---|---|---|---|
| 1 Auflagen zuordnen | 0 | 0 | 0 | 0 | 0 | 2 | 0 |
| 2 Protokollschutz | 2 | 2 | 2 | 2 | 1 | 2 | 2 |
| 3 Löschfragen | 1 | 0 | 0 | 2 | 1 | 1 | 0 |
Das ist keine Rangliste. Sechs Versuche sind wenig, und ein Abstand unter drei Versuchen ist Rauschen.
Die zweite Tabelle zeigt, woran die erste hängt. Aufgabe 2 löst fast jeder, sie trennt nicht. Aufgabe 1 löst nur Astra, in Umgebung B, und sie hängt an dem mehrdeutigen Wort im Auftrag. Astra prüfte beide Lesarten ab, die anderen eine. Die Lesart von Opus und Neon ist vertretbar.
Lasse ich Aufgabe 1 weg, bleiben vier Versuche, und das Bild dreht sich: Opus in Umgebung A 4 von 4, Astra in Umgebung B 3 von 4, Neon medium 3 von 4, Neon high 2 von 4, Muse Wonder 2 von 4, Sol 2 von 4, Opus in Umgebung C 2 von 4. Die Reihenfolge an der Spitze hängt also an einer einzigen, mehrdeutigen Aufgabe.
Damit zu den zwei Behauptungen vom Anfang. „Besser als Astra“: In meinen Daten gibt es dafür keinen Anhaltspunkt. Neon high liegt drei Versuche hinter Astra, und die beiden liefen in verschiedenen Umgebungen. „Wie Opus“: nicht entscheidbar. Neon liegt in derselben Umgebung ein bis zwei Versuche hinter Opus, und das ist Rauschen. Fable war nicht im Lauf.
Eine Grenze gehört noch dazu. Neon lief nicht in Googles eigener Umgebung, und Google nennt für die eigene Umgebung selbst deutlich höhere Werte. Mein Lauf sagt nichts darüber, was Neon dort leistet.
Muse Wonder high kam auf 2 von 6, mit 259 Sekunden im Median und 1,36 USD Listenpreis je Lauf. Das ist kein Vorsprung vor Opus in derselben Umgebung, bei höherem Preis je Lauf.
Dasselbe Modell, zwei Umgebungen
Der Befund, der mich am meisten beschäftigt, betrifft Opus. Claude Opus 5.5 löst in Umgebung A 4 von 6 und in Umgebung C 2 von 6. Dasselbe Modell, dieselben Aufgaben, dieselbe Denkstufe.
Der Abstand liegt allein an Aufgabe 3, 2 von 2 gegen 0 von 2, und beträgt zwei Versuche. Nach meiner eigenen Schwelle ist das Rauschen, genau wie Neon gegen Opus in Umgebung A. Ein Beleg, dass die Umgebung so viel ausmacht wie das Modell, ist es nicht. Ein Grund, Modelle nur in derselben Umgebung zu vergleichen, ist es schon.
Was belegt ist: Kosten und Tempo
Bei den Treffern bleibt vieles offen. Bei Zeit und Kosten nicht.
Neon high war der langsamste und teuerste Arm: 740 Sekunden im Median und 2,39 USD je Lauf, gerechnet als gemeldete Token mal Listenpreis. Opus in derselben Umgebung brauchte 198 Sekunden und 0,97 USD. Das ist rund 3,7-mal so lang und 2,5-mal so teuer.
Neon medium löste nicht weniger als Neon high, 3 gegen 2 von 6. Es brauchte dafür mit 350 Sekunden die halbe Zeit und kam auf 1,01 USD je Lauf. Das ist der Preis von Opus, nicht darunter.
Woher das kommt, zeigt die Ausgabe. Neon schreibt die meisten Ausgabe-Token: Neon high im Median 62.095 je Lauf, Opus in derselben Umgebung 14.630. Rund drei Viertel der Ausgabe von Neon sind laut der Umgebung Denk-Token, 74 bis 78 % der Ausgabe-Token. Der niedrigere Token-Preis von Neon wird durch mehr Token aufgezehrt.
Am anderen Ende steht GPT-6.2 Sol medium, in Umgebung B. Es ist mit Abstand am billigsten und schnellsten, 0,30 USD und 131 Sekunden, löst auf diesen Aufgaben aber nur 2 von 6. Astra hat in derselben Umgebung die meisten Treffer, für 1,09 USD und 167 Sekunden.
Mit fertigen Tests reicht das billigste Modell
Die fünf ausgefallenen Aufgaben hab ich noch einmal laufen lassen, diesmal mit den Tests sichtbar im Ordner und dem Auftrag: Mach diese Tests grün, ändere keine Testdatei.
| Arm, Tests sichtbar | Umgebung | gelöst | Sekunden (Median) | Listenpreis je Lauf |
|---|---|---|---|---|
| GPT-6.2 Sol medium | B | 5 von 5 | 148 | 0,29 USD |
| GPT-6.2 Astra high | B | 5 von 5 | 131 | 1,04 USD |
| Claude Opus 5.5 high | C | 5 von 5 | 193 | 1,31 USD |
| Gemini 4 Neon high | A | 2 von 2 gelaufenen | 341 und 712 | 2,04 USD |
Auch hier liefen die Arme in verschiedenen Umgebungen. Keines der drei vollständigen Modelle fasste eine Testdatei an. Die 1,31 USD für Opus in Umgebung C gelten für diese fünf Aufgaben mit sichtbaren Tests. Die 0,96 USD weiter oben gelten für die drei brauchbaren Aufgaben.
Für Neon fehlen drei der fünf Läufe. Mitten in diesem Abschnitt war das Kontingent einer der Umgebungen aufgebraucht, und der Lauf endete dort. Von den 21 gestarteten Läufen stehen deshalb 17 in der Tabelle: Drei brachen am Kontingent ab, und ein einzelner Lauf von Opus in Umgebung A ist allein keine Zeile wert. Das war mein Fehler. Ich hatte das Kontingent vorher nicht abgelesen und keinen Kostendeckel gesetzt.
Gleichstand an der Decke heißt nicht „gleich gut“. Der Befund ist ein anderer: Für Arbeit nach fertigen Tests reicht das billigste Modell. Astra und Opus kosten für dasselbe Ergebnis das Dreieinhalb- bis Viereinhalbfache. Auf den drei brauchbaren Aufgaben, ohne sichtbare Tests, löste dasselbe Modell 2 von 6.
Ein Review-Urteil ist kein Maß
Der dritte Teil des Vormittags waren Reviews. Je Aufgabe gingen zwei Vorlagen an einen Reviewer. Einmal ein Diff, der einen echten Fix wieder ausbaut. Richtig wäre „ablehnen“. Und einmal der echte, von mir gemergte Fix. Richtig wäre „durchlassen“.
GPT-6.2 Sol und GPT-6.2 Astra erkennen 8 von 8 Rücknahmen. Sie lehnen aber auch 8 von 8 echten Fixes ab. In 16 von 16 Fällen kommt dasselbe Urteil. Claude Opus 5.5 erkennt 6 von 8 Rücknahmen und lässt 1 von 8 echten Fixes durch.
Zwei Einschränkungen dazu. Die Begründungen bei den echten Fixes nennen inhaltliche Randfälle. Ob die stimmen, hab ich nicht geprüft. Es kann sein, dass die Reviewer recht haben und meine gemergten Fixes Lücken haben. Und bei drei der acht Gegenproben ist „ablehnen“ vertretbar, weil der echte Fix einer alten Testannahme im Ordner widerspricht. Ohne diese drei ließ Sol 0 von 5 durch, Astra 0 von 5 und Opus 1 von 5.
Neon hab ich als Reviewer nicht gemessen, das Kontingent war weg.
Warum mich das trifft: Zwei Tage vorher sah ein Review-Test ohne Gegenprobe perfekt aus. Alle Modelle erkannten alle Fehler. Erst die sauberen Gegenproben zeigen, dass das Urteil nichts trennt. Ein Reviewer, der immer „ablehnen“ sagt, findet jeden Fehler.
Zweiter Teil: neue Entscheidungs-Modelle gegen Jev
Am selben Tag lief eine zweite Messung. Für kleine typisierte Entscheidungen (Kategorie wählen, ja oder nein, Buchung automatisch oder zur Prüfung) messe ich seit September ein Entscheidungs-Modell namens Jev gegen Sprachmodelle. Wie das ausging, steht in dem gepaarten Vergleich aus dem September. Jev ist hier der Bezugspunkt, an dem ich neue Entscheidungs-Modelle messe. Inzwischen gibt es eine ganze Klasse solcher Modelle von mehreren Anbietern.
Gemessen hab ich sechs neue, von Microsoft, Liquid AI in zwei Größen, HeyGen, Google und Perplexity, gegen zwei Jev-Versionen. Das Material waren sechs Entscheidungen aus meinen Produkten: 14.592 Aufrufe, kein technischer Fehler, 0,65 USD für die gewerteten Aufrufe. Die Regeln, wann ein Modell als Ersatz gilt, stammen aus meinem Runbook vom September.
Keines hat Jev nach diesen Regeln ersetzt. Der Grund ist die Buchungsentscheidung mit 200 Fällen. Dort zählt nicht die Trefferquote. Es zählt, ob ein Modell eine Buchung fälschlich als „automatisch“ durchwinkt.
Auf zwei kleineren Aufgaben, Support-Routing mit 67 und Rollenzuordnung mit 96 Fällen, lagen einzelne Kandidaten gleichauf mit Jev. Bei so wenigen Fällen reicht das nach meinen Regeln nur für eine eigene Prüfung.
| Modell | Trefferquote | falsche Automatik-Buchungen im ersten Durchgang |
|---|---|---|
| Jev, festgepinnt | 84,0 % | 1 |
| Jev, neueste Version | 78,5 % | 0 |
| Microsoft | 84,0 % | 10 |
| Liquid AI klein | 89,0 % | 6 |
| Liquid AI groß | 98,0 % | 2 |
| HeyGen | 90,0 % | 3 |
| 85,0 % | 0 | |
| Perplexity | 98,0 % | 1 |
Der Satz „Jev ist immer noch am besten“ stimmt so nicht. Zwei Kandidaten treffen die Buchungsentscheidung deutlich öfter, 98,0 gegen 84,0 %. Mein festgepinntes Jev hat im selben Lauf selbst eine falsche Automatik-Buchung vergeben, bei einem Grenzfall mit 50 zu 49 % Sicherheit. Googles Modell kam bei 85,0 % auf null falsche und gilt gegen Jev als unentschieden. Und die neueste Jev-Version trifft seltener als die alte, 78,5 gegen 84,0 %, vergab aber keine falsche Automatik-Buchung und schickt dafür mehr Fälle unnötig zur Prüfung. Zwei Versionen desselben Modells verhalten sich also verschieden. Deshalb pinne ich die Version.
Was Jev hält: Es ist auf jeder Aufgabe das schnellste, mit einem Median von 187 bis 208 Millisekunden gegen 228 bis 364 bei den anderen. Und auf der Buchungsentscheidung hat es unter meiner Regel „keine falsche Automatik-Buchung“ keiner verdrängt. Die Regel galt nur für die Kandidaten. Das festgepinnte Jev hätte sie in diesem Lauf selbst verfehlt.
Die Trefferquote allein hätte mich zum Wechsel gebracht. Die Regel, die den teuren Fehler zählt, hält mich davon ab. Liquid AI groß und Perplexity verdienen eine eigene Messung mit einer Sicherheitsschwelle auf frischen Fällen. Eine Beobachtung dazu, ausdrücklich kein Beleg: Keine der falschen Automatik-Buchungen kam mit 90 % Sicherheit oder mehr. Der Preis ist in dieser Klasse kein Argument mehr, er liegt bei 0,004 bis 0,16 USD je tausend Aufrufe.
Was das für mein Setup heißt
Ab hier steht meine Interpretation, keine Messung. Mein Setup sieht so aus: Ein führendes Modell plant und entscheidet, günstigere Modelle arbeiten zu, und deterministische Prüfungen (Tests, Typecheck, Lint) entscheiden, ob etwas fertig ist. Das Werkzeug dafür ist mein Open-Source-Plugin session-orchestrator. Wo es sitzt, zeigt die Übersicht, wie der Unterbau zusammenspielt.
Sieben Dinge nehme ich aus dem Vormittag mit:
-
Der Auftrag ist der Engpass, nicht das Modell. Fünf von acht Aufgaben scheiterten bei jedem Modell an fehlenden Angaben. Ein Auftrag an einen Zuarbeiter nennt die Schnittstelle (Feldnamen, Signaturen, Wortlaute) oder bringt die Tests mit.
-
Tests zuerst, dann das billigste Modell. Mit fertigen Tests waren es 5 von 5 für 0,29 USD Listenpreis je Lauf, auf fünf Aufgaben mit je einem Durchgang. Gemessen ist damit die zweite Hälfte der Arbeitsteilung „teures Modell schreibt Plan und Tests, billiges setzt um“. Ob das teure Modell die Tests gut schreibt, hab ich hier nicht gemessen.
-
Das teure Modell dorthin, wo der Auftrag Auslegung verlangt. Die eine Aufgabe mit einem mehrdeutigen Wort löste nur Astra, in Umgebung B. Das ist ein Hinweis aus einer Aufgabe, kein Beleg.
-
Kein Merge auf ein Review-Urteil. Das Urteil „ablehnen“ kommt fast immer. Brauchbar sind die einzelnen Befunde, die jemand nachprüft, und die deterministischen Prüfungen.
-
Die höhere Denkstufe ist kein Standard. Bei Neon brachte high nichts außer doppelter Zeit und 2,4-fachen Kosten gegenüber medium. Zwei Tage vorher dasselbe Bild bei GPT-6.2 Sol: medium löste dasselbe wie high mit der Hälfte der Ausgabe.
-
Vor einem Lauf Kontingent ablesen und Deckel setzen. Das hat mich an dem Vormittag einen Teil der Messung gekostet.
-
Modelle nur in derselben Umgebung vergleichen. Opus kam in A auf 4 von 6 und in C auf 2 von 6. Bei sechs Versuchen ist das kein Beleg. Google nennt für Neon aber selbst einen großen Abstand je nach Umgebung, 12,8 % gegen 39,0 %.
Und Neon? Auf dieser Grundlage kaufe ich nichts. Neon bleibt auf der Beobachtungsliste. Der nächste ehrliche Test ist Neon in Googles eigener Umgebung, mit repariertem Aufgabensatz.
Zum Nachmachen
So würde ich es heute machen:
- Nimm ein eigenes, privates Repository. Öffentliche Aufgaben kennt das Modell womöglich.
- Wähle echte Commits der letzten Wochen, die Tests mitbringen.
- Exportiere je Aufgabe den Stand vor dem Commit ohne Git-Historie.
- Prüfe, dass die Tests des Commits auf dem alten Stand rot und auf dem neuen grün sind.
- Der Schritt, der mir fehlte: Mach einen Referenzlauf mit dem Auftrag allein. Scheitert er an Namen oder Wortlauten, ergänze den Auftrag oder streich die Aufgabe.
- Schreib vor dem Lauf auf, was als „besser“ gilt und ab welchem Abstand, und committe es.
- Gib jedem Modell mindestens zwei Durchgänge, besser drei. Vergleiche nur Modelle in derselben Umgebung direkt.
- Prüfe nach dem Lauf jeden Werkzeugaufruf: Hat das Modell außerhalb des Ordners gelesen?
- Vergleiche Kosten nur auf Aufgaben, die jedes Modell hatte.
- Gib bei Reviews immer saubere Gegenproben mit.
Wenn du das an deinem eigenen Repository ausprobierst: schreib mir, was bei deinem Lauf herauskam.
lead-session-orchestrator
Viele Sessions, eine davon führt, und was nur du entscheiden kannst, liegt in einer Inbox.
- Das Sprachmodell
- führt als Lead-Session: Es liest die Lage, ordnet die Merges und bündelt deine Entscheide.
- Der Code
- setzt die Grenzen: immer nur ein Lead, eine Regeldatei je Repository, und was er nicht messen kann, lässt er stehen.
session-orchestrator.com/lead (öffnet eine andere Website)Steckbrief zu lead-session-orchestratorWas ich für dich baue