Jev antwortet in Wahrscheinlichkeiten. Die Frage bleibt deine.

Seit etwa einer Woche sind meine Feeds voll mit einem Modell, das nicht schreibt. TypeSafe AI nennt Jev ein System-One-Modell. Du schickst ihm einen Zustand, beliebigen Text oder JSON, und typisierte Fragen. Eine Choice wählt eine von bis zu 255 Optionen, die du selbst definiert hast, ein Score bewertet den Zustand auf zwei bis zehn Stufen, die du selbst beschrieben hast, und ein Noul gibt die Wahrscheinlichkeit zurück, dass ein Satz wahr ist. Was zurückkommt, ist die gewählte Antwort, eine Wahrscheinlichkeit für jede Antwort, die du zugelassen hast, und, außer bei einem Noul, ein Konfidenzwert. Keine Prosa. TypeSafe berechnet $0.042 pro Million Eingabe-Tokens, die Ausgabe kostet nichts, und wirbt damit, 200-mal schneller und 400-mal billiger zu sein als die Chat-Modelle, die Leute für dieselben Aufgaben benutzen.

TypeSafe hat die Anmeldungen pausiert, bevor ich einen Schlüssel hatte, und die Essays hier sollen messen statt bezeugen. Also wägt dieser die Erfahrungsberichte der Leute ab, die es tatsächlich ausprobiert haben, und fährt dann den Pilotversuch, den ich verlangen würde, bevor ich einem Multiplikator glaube, auf meinen eigenen Essays, mit dem offenen Modell, das für Jev eingesprungen ist.

Das Interessante ist die Form, nicht das Tempo

Ziehst du die Multiplikatoren ab, bleibt ein Vertrag übrig. Ein Konversationsmodell gibt Text zurück, den dein Code parsen, validieren und anzweifeln muss. Jev gibt etwas zurück, anhand dessen ein Programm direkt verzweigen kann, und es weigert sich, irgendetwas anderes zurückzugeben. Das Modell liefert ein Urteil. Der Anwendung gehört, was als Nächstes passiert.

Im Agenten-Experiment war der erste Schritt des Workflows eine Jev-Frage, bevor es Jev gab: Das Modell wählte eine Route aus einem geschlossenen Enum, die Arithmetik war Code, und so konnte eine korrekte Klassifikation keine falsche Zahl erzeugen. Jev macht dieses Muster zum Einzigen, was das Modell tun kann. Es ist das erste gehypte Modell, dessen Verkaufsargument das ist, was es nicht tun wird.

Es passt zu wiederholten Urteilen, deren Antwortraum du benennen kannst: Welchem Team gehört dieses Ticket, wirkt diese vorgeschlagene Aktion destruktiv, wurde die Aufgabe abgeschlossen. Es passt zu nichts Exaktem, etwa Arithmetik oder Datumsangaben, und nicht zur Antwort an den Kunden. Und es macht deinen Agenten nicht sicher. Es macht eine Art von Entscheidung billig genug, um sie bei allem einzuholen.

Die Zahl, die alle zitieren, ist die falsche

Zweihundertmal schneller und vierhundertmal billiger sind die Zahlen des Anbieters für ausgewählte Vergleiche. Ein Erfahrungsbericht ließ vier Urteile über tausend App-Bewertungen für zwei Cent laufen, gegen sechzehn für ein schnelles Gemini-Modell, und merkte dann an, dass er die Genauigkeit gar nicht verglichen hatte. Ein billiger Entscheidungsendpunkt ist kein billiger Workflow. Bepreisen musst du die abgeschlossene Aufgabe, einschließlich des Fallback-Modells, der menschlichen Review und der Aufgaben, die in den falschen Zweig gelaufen sind.

Die Zahl, die zählt, steckt hinter den Multiplikatoren. Als ich die Kontrollebene von Smithproof gebaut habe, war die Lektion, die ich aufgeschrieben habe, dass das Modell, das du dir leisten kannst, inline auszuführen, das Modell ist, das steuert. Jev ist eine Bewerbung auf genau diesen Platz. Eine einzelne Entscheidung bei tausend Tokens Eingabe kostet vier Tausendstel Cent. Einen generativen Judge lässt du auf einer Stichprobe laufen und liest das Ergebnis. Ein Entscheidungsmodell lässt du auf jedem Trace und jedem vorgeschlagenen Werkzeugaufruf laufen und verzweigst anhand des Ergebnisses. Alles billig vorprüfen, und das teure Modell für die Fehler einsetzen, die das billige markiert hat.

Konfidenz ist nicht Korrektheit

Die Wahrscheinlichkeit ist der Teil von Jev, der am meisten nach Absicherung aussieht und ihr am wenigsten gleicht. Das Konfidenzfeld ist Arithmetik auf der Verteilung, und kein Ergebnis geht darin ein: Archer Hume, der Jevs Architektur aus rund zehntausend API-Aufrufen rekonstruiert hat, hat die Formel gefunden, indem er TypeSafes eigenen Adapter gelesen hat. TypeSafe hat auf Kalibrierung trainiert und hat, während ich das schreibe, weder eine Kalibrierungskurve noch ein Paper veröffentlicht. Und die Genauigkeitszahl des Anbieters selbst ist Übereinstimmung mit den gemittelten Antworten zweier Frontier-Chat-Modelle, 67.8% insgesamt und 61.8% bei Rechnungen. Übereinstimmung ist nicht Korrektheit.

Ein Spam-Test, der auf Arizes Blog beschrieben ist, zeigt, wofür die Wahrscheinlichkeit da ist: Jev lag im Zero-Shot bei 98.3% der E-Mails richtig, die 4.6%, deren Wahrscheinlichkeit zwischen 0.3 und 0.7 lag, gingen an eine Person, und der Rest kam zu 99.5% richtig zurück. Die Wahrscheinlichkeit hat das Modell nicht richtig gemacht. Sie hat eine Review-Spur gekauft und gesagt, wie breit sie sein muss.

Nimm das Beispiel, das kursiert: ein Support-Ticket mit Abrechnung bei 0.52, Technik bei 0.46, Vertrieb bei 0.02. Abrechnung gewinnt mit einer Konfidenz von 0.28. Das ist ein Münzwurf mit Etikett, und ein System, das anhand des Gewinners verzweigt, hat einen Münzwurf automatisiert. Jev gibt dir die Zahl und behält die Gründe zurück, also muss die Prüfung außerhalb des Modells stattfinden: Korrektheit nach Wahrscheinlichkeitsband messen, auf deinen eigenen gelabelten Beispielen, jeden Schwellenwert danach setzen, was ein Fehler kostet, die Modellversion fixieren und neu testen, sobald sich das Bewertungsraster, das Modell oder die Eingabeverteilung verschiebt.

Ein schemakonformer Fehler ist immer noch ein Fehler

Das Marketing sagt, Jev könne nicht halluzinieren, und das stimmt in dem engen Sinn, dass es keine Antwort außerhalb des Raums zurückgeben kann, den du definiert hast. Eine gültige Antwort kann immer noch die falsche Antwort sein. Jev beseitigt die fehlerhaft geformte Ausgabe, und die war immer der Fehler, der sich billig abfangen ließ. Es behält den selbstsicheren falschen Zweig, und der war immer der teure, und es nimmt dir das, was ein generatives Modell dir zu dessen Diagnose mitgab: eine Erklärung, die du lesen konntest.

Also muss die Absicherung gebaut werden. Harte Regeln kommen zuerst. Der Autor von jev-gate, einem Berechtigungstor für Coding-Agenten, hat rund dreihundert Aufrufe dagegen laufen lassen: Eine plumpe Injection brachte keinen einzigen von dreißig gefährlichen Befehlen durch, und eine Zeile mit der Behauptung, der Eigentümer des Repositorys habe den Befehl bereits genehmigt, brachte drei durch. Drei von dreißig machen Jev zu einem Filter vor einer Grenze, nie zur Grenze selbst, und deshalb sitzen die harten Regeln davor. Das unsichere Band geht an eine Person oder an ein Modell, das reden kann; ein Noul kann sich nicht enthalten, also ist die Enthaltung dein Schwellenwert. Und jede Frage bekommt eine Ausstiegsoption, keins davon oder braucht Review, bevor du feinjustierst, und nicht erst danach. Der Pilotversuch weiter unten zeigt, warum.

Dann die Frage, die ich letzten Monat zehn Anbietern gestellt habe: Wenn die 0.52 falsch ist und mich etwas kostet, wer zahlt? Ich habe TypeSafes AGB noch nicht gelesen, und ich wäre überrascht, wenn sie anders lauteten als die zehn, die ich gelesen habe: nichts wird zugesichert, alles muss überprüft werden, eine Obergrenze nahe dem Preis eines Taschenbuchs. Eine Wahrscheinlichkeit ändert daran nichts, also ist die Person, die den Schwellenwert gesetzt hat, die Person, die geradesteht.

Der Pilotversuch, gefahren auf meinem eigenen Index

Jev konnte ich nicht laufen lassen, also lief der Pilotversuch auf dem Stellvertreter. Innerhalb weniger Tage nach dem Start war Laya von Convai Innovations das Modell auf Platz eins der Trending-Liste von Hugging Face. Es hat dieselbe Form: Ein Zustand geht hinein, dieselben drei Fragetypen, und dieselben Felder kommen zurück. Es steht unter Apache 2.0, und mit 421 Millionen Parametern läuft es auf diesem Laptop. Die Zahlen unten sind Layas, nicht Jevs.

Der Workload ist der einzige gelabelte Datensatz, den dieser Blog besitzt, sein Index: 33 Essays, jeder von Hand unter einem von sechs Themen und einer bis vier der vier Adressen abgelegt. „Übereingestimmt“ heißt weiter unten also: mit meiner Ablage übereingestimmt, und eine Abweichung ist nicht automatisch der Fehler des Modells. Vor jeder Zahl habe ich aufgeschrieben, was ein Fehler kostet, einen Leser, der auf einen Themen-Chip drückt und auf das falsche Stück trifft, und dann die Messlatte: bei jeder Frage das häufigste Label schlagen und die Antworten beibehalten, wenn die Optionen umgekehrt werden. Jeder Essay bekam sechs Fragen: eine Choice für das Thema, eine Choice für die Adresse, für die er am direktesten argumentiert, und vier Nouls, eines pro Adresse. Keine Ausstiegsoption, denn der Index hat keine. Jede ging in drei Formulierungen hinaus: die Basis, die Optionen umgekehrt, und eine Paraphrase. Laya liefert drei Checkpoints aus, einen englischen, einen mehrsprachigen und einen auf typisierte Entscheidungen feinabgestimmten, und jeder lief wie ausgeliefert und noch einmal mit einem Kontext, der erweitert wurde, bis ganze Essays hineinpassten. Wie ausgeliefert liest der englische Checkpoint 512 Tokens; sobald die Themenfrage ihren Anteil genommen hat, bleiben 316 für den Essay, und der Median-Essay hier kommt auf 2658 Tokens. Nichts in der Antwort sagt, dass der größte Teil des Essays ungelesen blieb. Hundertsechzig Zeilen Python stellen Laya in Jevs Wire-Format bereit, also schickt derselbe Harness dieselben Anfragen, und alle sechs Konfigurationen liefen in unter einer Viertelstunde GPU.

Das beste Ergebnis liegt in der Hälfte der Fälle richtig und kann nicht sagen, in welcher Hälfte. Der auf typisierte Entscheidungen feinabgestimmte Checkpoint, der ganze Essays liest, stimmte beim Thema bei 17 von 33 Essays mit meiner Ablage überein; immer mit dem häufigsten Thema zu antworten, käme auf 8. Bei den Nouls lag sein Brier-Score in der Basisformulierung bei 0.257 und paraphrasiert bei 0.308, gegen 0.231 für das ständige Antworten mit der Basisrate, das heißt, er schnitt schlechter ab als eine Konstante. Und er wusste es. Von seinen 132 Ja/Nein-Wahrscheinlichkeiten fielen 131 zwischen 0.3 und 0.7, und jedes Thema kam mit einer Konfidenz unter 0.3 zurück. Eine andere Konfiguration war stattdessen selbstsicher: Der mehrsprachige Checkpoint, der ganze Essays liest, legte 119 von 132 über 0.7 und lag bei 37% richtig, unter den 64%, die das ständige Antworten mit Nein erreichen würde. Das ist der selbstsichere falsche Zweig, gemessen.

Das Umkehren der Optionen hat die Antwort verändert. Derselbe Essay, dieselben sechs Themen in der anderen Reihenfolge: Das Thema kippte bei 7 bis 16 der 33 Essays, zwischen einem Fünftel und der Hälfte, je nach Checkpoint und danach, wie viel vom Essay er gelesen hat. Hume fand, dass auch Jev auf die Reihenfolge reagiert: Umgekehrte Optionen hoben eine Klassifikation im technischen Support aus dem Band 0.84 in das Band 0.93, und das kann eine Antwort über einen Schwellenwert tragen, ohne das Label zu kippen.

Eine Option hinzuzufügen hat die Antworten auf die anderen umgeschrieben. Hume fand außerdem, dass Jevs Optionen nicht einzeln bewertet werden: Hängst du eine irrelevante Option an, verschiebt sich das Verhältnis zwischen zwei Optionen, die du nie angefasst hast. Ich habe den Test auf zwei Konfigurationen wiederholt, dem feinabgestimmten Checkpoint, der ganze Essays liest, und dem englischen Checkpoint wie ausgeliefert, und die Themenfrage in vier Fassungen geschickt: die sechs Themen, dieselben sechs noch einmal als Kontrolle, die sechs plus eine Gartenbau-Option, zu der hier kein Essay gehört, und die sechs plus eine Ausstiegsoption. Die Kontrolle kam bei allen 33 Essays identisch zurück. Gartenbau wurde kein einziges Mal gewählt, kam nie über 0.06 der Wahrscheinlichkeit hinaus und veränderte trotzdem bei drei Essays auf dem feinabgestimmten Checkpoint und bei vier auf dem englischen, welches Thema gewinnt. Die Ausstiegsoption veränderte vier und sechs. Der Konfidenzwert bewegte sich bei jedem Essay, um bis zu einem Viertel seines Bereichs, und das ist die Zahl, die ein Schwellenwert liest. Die Ausstiegsoption, die alle empfehlen, ich eingeschlossen, ist also eine neue Frage und kein Sicherheitsnetz, und ein Schwellenwert, der vor ihrem Auftauchen gesetzt wurde, wurde auf einem anderen Menü gesetzt.

Nichts davon sagt, dass Jev dasselbe tun würde. Layas eigene Modellkarte nennt das Modell „a fast base to specialise, not a zero-shot decision engine“, und der Bericht eines Teams, auf sechshundert eigenen, zurückgehaltenen Items, hat Jev bei 0.77, das Basis-Laya bei 0.72 und ein vollständiges Fine-Tuning von Laya bei 0.90. Was der Lauf sagt, ist, dass der Pilotversuch als Pilotversuch funktioniert. Der Umkehrtest allein hätte diesen Zweig davon abgehalten, ausgeliefert zu werden, und die Messlatte, die ich vor den Zahlen gesetzt hatte, wurde bei keiner Frage erreicht. Die Antwort auf Go oder No-Go lautet für diesen Workload Nein, und die Ablage bleibt Handarbeit.

Was es nicht verschiebt

Ein wiederholtes Urteil mit einem Antwortraum, den du benennen kannst, ist die billige Hälfte der Urteilskraft, und Jev macht sie nahezu kostenlos: Zehntausend Entscheidungen zu je tausend Tokens kommen auf zweiundvierzig Cent. Die Frage zu schreiben ist die andere Hälfte, und dieser Blog hat ein Jahr damit verbracht zu argumentieren, dass die Arbeit in die Frage gewandert ist. Die Kriterien, die Ausstiegsoption und der Schwellenwert, der aus einer 0.52 eine Aktion macht, sind jemand, der entscheidet, was ein Fehler wert ist, und Jev konsumiert diese Entscheidungen, statt sie zu treffen. Die Person, deren Ticket an die Abrechnung ging, als es an die Technik hätte gehen sollen, ist immer noch eine Person, mit einem Abend, die es nicht interessiert, dass der Fehler schemakonform war.

Jev antwortet in Wahrscheinlichkeiten. Die Frage bleibt deine. Der Schwellenwert auch, und ebenso das Geradestehen, wenn der Schwellenwert falsch war. Eine Entscheidung, so stellt sich heraus, lässt sich für vier Tausendstel Cent kaufen. Zu sagen, ob es die richtige Entscheidung war, lässt sich immer noch nicht kaufen.