Stellen Sie sich eine Welt vor, in der Bücher Ihre Fragen beantworten

Intro

Haben Sie sich je gefragt, wie es wäre, Fragen direkt an Bücher zu stellen? Große Sprachmodelle (Large Language Models, LLMs) wie OpenAI GPT-4 machen das zur Realität. In diesem kompakten Leitfaden tauchen wir in die faszinierende Welt der LLMs ein und in ihr Potenzial, verschiedene Branchen zu verändern. Erfahren Sie, wie die Anbindung von LLMs an externe Datenquellen unglaubliche Möglichkeiten eröffnet und unseren Umgang mit schriftlichem Wissen bereichert. Lassen wir uns gemeinsam inspirieren!

Was sind LLMs?

LLMs nutzen die Kraft von Deep-Learning-Algorithmen und neuronalen Netzen, konkret von Transformer-Modellen, um natürlichsprachlichen Text zu verstehen und zu erzeugen. Trainiert auf riesigen Datensätzen wie Büchern, Artikeln und Websites, sind diese Modelle in der Lage, menschenähnlichen Text zu produzieren. Sie nehmen die bemerkenswerte Fähigkeit von Menschen wie Kim Peek, der Bücher rasend schnell lesen und nahezu alles behalten konnte, und heben diese Fähigkeit auf eine neue Stufe. Zu den bekannten Beispielen für LLMs zählen Googles BERT, HuggingFace BLOOM, Metas LLaMA und OpenAIs GPT-4.

Warum LLMs einsetzen?

LLMs eröffnen eine Welt voller Möglichkeiten in verschiedenen Branchen:

• Gesundheitswesen: Unterstützung bei der Diagnostik.
• Bildung: Erstellung personalisierter Lernpläne.
• Softwareentwicklung: Vereinfachung des Schreibens von Code.

Um das Potenzial von LLMs weiter zu verdeutlichen, betrachten wir ein juristisches Szenario. Durch die Anbindung von LLMs an juristische Datenbanken kann ein Fundament an Rechtswissen für Anwältinnen und Anwälte geschaffen werden, die mehrere Fälle gleichzeitig betreuen. Das LLM vertieft sich dann in die besonderen Umstände jedes Falls, prüft konkrete Fallakten neben allgemeinen Rechtsdokumenten, verweist auf einschlägige Gesetze und Präzedenzfälle und erzeugt für jede Situation maßgeschneiderte, präzise Antworten. Im Ergebnis können LLMs Aufgaben wie das Erstellen juristischer Dokumente und die Fallanalyse automatisieren und so letztlich Zeit sparen und die Effizienz für Anwälte und Mandanten gleichermaßen steigern.

Wie setzt man LLMs ein?

Um die Kraft von LLMs zu nutzen, ist es entscheidend, Aufgaben oder Fragen zu identifizieren, die Fachwissen oder zusätzliche Informationen über das allgemeine Wissen des LLM hinaus erfordern. Das bedeutet, die konkreten Informationen zu verstehen, die nötig sind, um präzise Antworten zu erzeugen. Sind diese identifiziert, können wir die nötigen Informationen beschaffen, indem wir LLMs an externe Datenquellen anbinden, etwa PDFs, APIs und Datenbanken. Um die Verbindung zwischen LLMs und externen Daten zu verwalten, sind Werkzeuge wie LangChain und LlamaIndex hilfreich und gewährleisten eine einfachere Integration.

Beispielprojekt

In diesem Beispielprojekt stellen wir Fragen an ein Buch und erhalten Antworten daraus, mithilfe von OpenAIs GPT-4, LangChain und Pinecone (hier nachzulesen für ein Beispiel mit LlamaIndex). Dieses Projekt ist stark von Gregory Kamradts Arbeit inspiriert. Der einzige Unterschied ist die Verwendung des Neuen Testaments (PDF) als Quellenmaterial und das Stellen von Fragen dazu.

Um die gesamte Liste der Schritte lokal unter Windows 10 abzuarbeiten, habe ich ein jupyter-lab verwendet. Zusätzlich waren mehrere Python-Bibliotheken nötig, etwa langchain, unstructured[local-inference], pinecone-client und openai.

Danach war es einfach eine Frage des Befolgens der in Gregorys Notebook beschriebenen Schritte, die wie folgt lauten:

1. Die Daten aus einer .PDF mit LangChain laden.
2. Die Daten in kleinere Dokumente zu je 1000 Zeichen aufteilen.
3. OpenAPI-Embeddings der Dokumente erstellen und sie in Pinecone speichern.
4. Diese Dokumente abfragen, um Ihre Antwort zurückzubekommen.

Falls Sie auf einen ReplicationError stoßen, stellen Sie sicher, dass bei OpenAI eine Zahlungskarte hinterlegt ist.

Und das ist das Endergebnis in Pinecone mit über 3000 Vektoren.

Das war's!