heise+ | AnythingLLM: Eigene Dokumente mit KI lokal auswerten

Auf dem PC gibts oft Ordner, die man gar nicht mehr öffnen möchte: Da finden sich Dutzende Rechnungen, Handbücher oder ein Haufen Excel-Tabellen – alles über mehrere Jahre gesammelt, reingeworfen und so gar nicht strukturiert. Wer da eine Information sucht, benötigt viel Geduld. Oder man fragt in einem Chatfenster einfach: „Wie hoch war mein Stromverbrauch im letzten Quartal, und wie viel muss ich im Januar nachzahlen?“ Das geht mit AnythingLLM.

• AnythingLLM ist ein lokales Tool, das Dokumente über Retrieval Augmented Generation (RAG) einliest und mit einem lokalen Sprachmodell, etwa über Ollama, datenbankgestützt auswertet.
• Das Tool unterteilt den Inhalt in thematisch getrennte Workspaces, in denen es Dokumente in Textfragmente zerlegt, als Vektoren speichert und abfragt.
• Durch integrierte Agenten und aktivierbare Skills lassen sich neben lokalen Text- und Tabellendateien auch erweiterte Funktionen wie Live-Websuchen oder Dateisystemzugriffe nutzen.

Die Firma hinter AnythingLLM heißt Mintplex Labs und ist ein kleines amerikanisches Unternehmen. AnythingLLM selbst ist kein Large Language Model (LLM), sondern fungiert als Brücke: Es lädt Dateien und Dokumente in Workspaces, wandelt sie in Vektoren um und zieht dann ein separates LLM für Antworten auf Prompts heran. Die Antworten basieren dann dokumentenübergreifend auf dem Inhalt der angegebenen Quellen.

In diesem Artikel zeigen wir, wie Sie AnythingLLM zusammen mit dem lokalen Open-Source-Werkzeug Ollama und einem leistungsstarken KI-Modell wie Gemma auf Ihrem Rechner einrichten. Dabei erklären wir Schritt für Schritt, wie Sie Dokumente lokal auswerten. Durch den Einsatz von Agenten sowie spezifischen Optimierungen können Sie das System zusätzlich an Ihre Bedürfnisse anpassen.