Notizen zum Ausliefern von Produktions-KI: RAG, Agenten und LLM-Systeme, von einem Engineer aus der Praxis.
Was eine Maschine machen kann, wird billig. Was keine Maschine kann: sagen, ob es richtig ist, einstehen, wenn es scheitert, Ihrem Tag Stunden hinzufügen oder jemanden lieben. Diese vier sind jetzt die Arbeit. Den Essay dahinter lesen
Wenn ein Pull Request aufgemacht wird, mein eigener oder einer, den ich reviewen muss, bitte ich den Agenten inzwischen, ihn auf meinem Rechner laufen zu lassen, zu versuchen, ihn kaputtzumachen, und sich dabei zu filmen. Ein Absatz kann behaupten, dass ein Test stattgefunden hat. Eine Aufnahme muss es zeigen, und zu entscheiden, was das bedeutet, bleibt meine Aufgabe.
Jev von TypeSafe schreibt keinen einzigen Satz. Du gibst ihm einen Zustand und typisierte Fragen, und es gibt eine Wahl, einen Score oder eine Ja/Nein-Wahrscheinlichkeit zurück, für vier Tausendstel Cent pro Entscheidung bei tausend Tokens Eingabe. Das Neue ist die Form, die die Autorität zurück in deinen Code legt, und die Falle ist, dass eine Wahrscheinlichkeit nach Absicherung aussieht und keine ist. Ich habe den Pilotversuch gefahren, den ich verlangen würde, bevor ich irgendeiner Zahl glaube, auf meinen eigenen Essays mit dem offenen Modell, das für Jev eingesprungen ist, und die Antwort war Nein.
Die KI frisst genau die Arbeit, an der Junior-Entwickler früher gelernt haben, die Einstellungszahlen für Berufseinsteiger brechen messbar ein, und jeder Senior, der den Output einer Maschine prüfen kann, war einmal ein Junior, den jemand dafür bezahlt hat, sich zu irren. Über DHH, der auf „wie weit könnte er kommen“ einstellt, die 2.200 Bewerbungen und warum eine Branche, die keine Seniors mehr heranzieht, ihre eigene Lieferkette nicht verstanden hat.
Wir leben besser als die meisten Könige, die je regiert haben, und die Stimmung der Zeit ist eine leise Traurigkeit, die niemand benennen kann. Ein Wüstenmönch des vierten Jahrhunderts hat sie benannt. Ein Ökonom hat 1971 ihren Mechanismus erklärt. Ein Essay über die Acedia: die Traurigkeit, die genau dann eintrifft, wenn das Gute eintrifft. Und darüber, warum ein Zeitalter des unendlichen Überflusses zwangsläufig ihre große Stunde werden musste.
Ein Paar um halb neun, ohne Plan, mit je einem Handy; ein Familiensamstag, der in Bildschirme zerfällt. Ich habe RotinaTop genau für diese beiden Momente gebaut: Abenteuer-Challenges unter Rubbelfolie, ein Veto, das nichts kostet, und eine Tür, die hinter einem ins Schloss fällt. Zwei Vignetten davon, wie das aussieht.
Ich habe die Verbraucher-AGB von zehn KI-Unternehmen gelesen und jedem dieselbe Frage gestellt: Wenn euer Produkt mit voller Überzeugung falschliegt und mich das etwas kostet — wer zahlt? Die Antworten, wörtlich: Nichts wird zugesichert, Sie müssen alles überprüfen, die Erstattungsobergrenze beginnt bei zehn Dollar, und in den meisten Fällen versichern Sie die Anbieter. Ein Feldführer zu dem Rechtsschutz, den niemand verkauft.
Ich habe einem Frontier-Modell ein beispielhaftes 90-Tage-Protokoll aus meinen echten Gewohnheiten gegeben und dann den heutigen Abend vom Protokoll abweichen lassen. 180 bewertete Läufe später: Gedächtnis macht das Modell nicht blind, wenn der Hinweis im Raum steht, das eigentliche Produkt des Gedächtnisses ist Stille an gewöhnlichen Abenden — und das eine Mal, als ich eine Frage gebraucht hätte, drückte der Assistent, der alles wusste, auf Play bei genau der Folge, die ich vermied, und bot mir passend zum Anlass einen Tee an.
Sechsundzwanzig Essays, sechs Produkte, eine Beratungspraxis und eine Saison, in der ich gemessen habe, was ich auch bloß hätte behaupten können. Als eine einzige Spur zurückgelesen, führen sie alle denselben Mechanismus aus: KI macht die billige Hälfte von allem kostenlos, und die teure Hälfte wechselt die Adresse. Dies ist die Karte der Adressen (Urteilskraft, Verantwortung, Aufmerksamkeit, die Person), und der Grund, warum mein Glaube das Gelände vor mir erkannt hat.
Eine Funktion mit einem LLM-Aufruf darin ist kein Agent, und sie so zu nennen ist keine harmlose Vereinfachung. Ich habe dieselbe Spesenprüfungs-Aufgabe als Funktion, als Workflow und als Agent gebaut, 150 bewertete Läufe durchgeführt und gemessen, was das Wort tatsächlich kostet, und dann die Daten wachsen lassen, bis der einzige Zug der Funktion aufhörte zu existieren und der Agent die letzte stehende Architektur war.
Der vorige Essay argumentierte: Wenn das Herstellen nichts mehr kostet, wird das Auswählen zur Arbeit, und die Kuratierung kehrt als Beruf zurück. Hier habe ich sie praktiziert: eine Seite, die die vatikanische Filmliste von 1995 nimmt, jene, die ein Amt des Heiligen Stuhls zum hundertsten Geburtstag des Kinos herausgab, und ihre Disziplin auf Bücher und Musik ausweitet. Gebaut an einem Tag, in der visuellen Sprache von vatican.va, mit beibehaltener Demutsklausel.
Sechzehn Essays in einem Monat, von einem Blog, der früher zwei in drei Jahren geschafft hat. So sieht die Angebotsseite inzwischen aus, und jeder, der etwas herstellt, erlebt eine Version davon. Dieser Text handelt von der anderen Seite: was mit Aufmerksamkeit, Konsum und Bezahlung passiert, wenn das Herstellen aufhört, der schwierige Teil zu sein. Die Mitte stirbt, der Abend wird zur Rechnungseinheit, der Arbeitstag zehrt vom selben Budget, und die Aufmerksamkeit erweist sich als Inventar dessen, was du liebst.
Mein letzter Artikel endete mit einem Programm, das eine Lizenz kaufte, ein Drittel davon nutzte und sich seine Erstattung auf den Cent genau holte. Dieser hier handelt davon, wo solche Zahlungen tatsächlich abgewickelt werden. Eine Chain wickelt hundert Millionen Transaktionen am Tag ab, mehr als die anderen Großen zusammen, trägt die Dollars von Western Union und Fiserv und beantwortet eine unbezahlte HTTP-Anfrage mit Bedingungen, die eine Maschine bezahlen kann. Der Preis stimmt dem noch nicht zu, und ein Analyst mit 577,000 Abonnenten hat eine Theorie, warum. Jede Zahl hier hat eine Quelle und ein Datum.
Embodied AI braucht Aufnahmen geübter Hände bei echter Arbeit, und die Menschen, die sie produzieren, verschenken sie. Musk sagt, am Ende der Roboter wird Geld irrelevant; Leo XIV. sagt, Überleben ist nicht Teilhabe. Zwischen diesen beiden Behauptungen liegt ein langer Übergang, und dies ist ein funktionierendes System, um darin einen Anteil zu halten: eine Gilde, die einen Anteil zahlt, gemessen gegen die echte Solana-Runtime. Zahlen inklusive, und nicht alle schmeicheln der Idee.
Elon Musk sagt, Roboter werden Geld innerhalb eines Jahrzehnts überflüssig machen. Aber jedes Gewerbe, das das schon hinter sich hat, sagt dasselbe: Die Knappheit verschwindet nicht, sie wandert. Hier steht, wohin sie beim letzten Mal gegangen ist und wohin sie als Nächstes geht.
Als das Artefakt kostenlos wurde, wanderte die Aufmerksamkeit zum Machen. Das ist zugleich ein Marketingkanal, ein Vertriebszug und ein Geschäftsmodell, und am Glas bildet sich eine zweite Menge: die Maschinen, die mit dem Filmmaterial trainiert werden.
Über tausend Menschen haben kürzlich zugesehen, wie jemand eine CRC von Hand berechnet. Jeder von ihnen besitzt eine Maschine, die das sofort erledigen würde. Die Abrufzahlen erzählen uns etwas, das die Schließungsstatistiken nicht erzählen können.
Dieselbe Seite, dasselbe Werkzeug, dieselben paar Wochen. Eine Frage bei minus acht geschlossen, eine Antwort durch die Decke gewählt. Der Unterschied zwischen beiden ist der nützlichste Schreibratschlag der AI-Ära.
Ein 2010 hingerichtetes Tag steht wieder unter lebenden Fragen, der Hilferuf eines Studenten hat die Segfaults überholt, und die Community verhandelt ihre älteste Regel öffentlich neu. Was die Rückkehr der verbannten Fragen über Q&A verrät, nachdem die Fakten automatisiert wurden.
Ich verbringe die meiste Zeit auf der Anwendungsschicht. Aber sobald ein KI-Produkt über ein Modell hinauswächst, steht es auf einer Schicht, von der seine Nutzer nicht wissen, dass es sie gibt: der, die entscheidet, welches Modell antwortet, auf welcher GPU, und was passiert, wenn die Hardware voll ist. Sie darf sie nicht im Stich lassen. Also habe ich sie gebaut.
Antworten wurden kostenlos, und die Fragen zwischen Entwicklern haben ihre Form verändert. Die, die noch einen Menschen brauchen, sind ausgerechnet die, die wir abzutun gelernt haben.
AI löst jeden Moment des Feststeckens auf Abruf auf. Manche dieser Momente waren schon immer Rauschen. Die richtigen waren die, in denen Verständnis entstand, und die neue Fähigkeit ist, das eine vom anderen zu unterscheiden.
KI-Musikgenerierung sieht aus wie ein API-Aufruf und verhält sich wie ein Infrastrukturprojekt. Ich habe dieselbe Integration gegen fünf Anbieter gebaut, damit du siehst, was tatsächlich variiert und was niemals in dein Produkt durchsickern darf.
Eine vierzig Sekunden lange Aufnahme, ein MIT-lizenziertes Modell und eine Consumer-GPU lesen hier jetzt jeden Artikel in sechs Sprachen vor, mit meiner Stimme. Hier ist die komplette Pipeline, Zahlen inklusive.
Das Tool, über das du streitest, ist der Teil, den du an einem Tag austauschen kannst. Nach dem Teil, der Jahre gebraucht hat, fragt niemand.
Ein Modell schreibt inzwischen jede Sprache fließend. Das macht die billige Hälfte des Sprachwissens wertlos und die teure Hälfte wertvoller als je zuvor.
Bei der einen Art von Änderung ist das Lesen des Diffs das gesamte Review, bei der anderen eine Geschichte, die du dir selbst erzählst. Die seltene Fähigkeit, die KI dir lässt, ist die, das eine vom anderen zu unterscheiden.
Zwei der Fragen, die Entwickler immer wieder stellen, sind dieselbe Angst von zwei entgegengesetzten Enden. Die Antwort lautet ja, und der Grund dafür ist gerade stärker geworden, nicht schwächer.
Der Rat aus dem Internet gegen AI-Abhängigkeit lautet: die Krücke wegnehmen und sich abmühen. Für Anfänger stimmt das, für Profis ist es unvollständig, denn deren eigentliche Absicherung ist eine einzige Regel.
Das Quartal mit dem Business festlegen, die Ziele als GitHub-Milestones kodieren und einen Forecaster jede Woche die Chancen posten lassen. Das Business erfährt früh, ob es bekommt, worum es gebeten hat, und die Entwickler wissen genau, was fertig heißt.
Feldnotizen zu OrbitSpec, einer Klärungs-Engine, die vage Anfragen in typisierte, auditierbare Context Bundles verwandelt, bevor irgendein Modell läuft, und warum Zuverlässigkeit vor der Antwort beginnt.
Feldnotizen zu plan-to-pr, einer Pipeline, die aus einem Feature-Wunsch Tickets, ein Freigabe-Gate und Draft Pull Requests macht, und warum Delegieren an Coding-Agents Artefakte braucht, keinen Chat.
Feldnotizen zum Bau von Smithproof, einer mandantenfähigen Control Plane für KI-Agenten, und warum Erkennung ohne Reaktion und Richtlinien ohne Durchsetzung nichts steuern.
Von den Grundlagen der Agenten bis zum Framework-Ökosystem, dazu ein praktischer Plan, um Ihre internen Tools über das Model Context Protocol bereitzustellen.
Eine kurze, begeisterte Einführung in LLMs wie GPT-4 und wie sie es ermöglichen, einem Buch Fragen zu stellen und Antworten direkt aus dem Text zu erhalten.
Ein System, in das Sie KI einbauen wollen, ein Risiko, das jemand abwägen soll, ein Plan, bei dem Sie unsicher sind, oder eine Idee, die noch niemand gebaut hat. Wenn ich helfen kann, sage ich es Ihnen, und auch genau, wie ich vorgehen würde.
Erzählen Sie mir von Ihrem Vorhaben