heise+ | Retrieval-Logs zur Priorisierung von Datenqualität nutzen

Im Oktober 2010 prägte James Dixon den Begriff des Data Lake, Rohdaten hinein und Struktur später. Knapp vier Jahre später lieferte Gartner die Ernüchterung nach. Data Lakes starteten typischerweise als ungesteuerte Ablagen ohne semantische Konsistenz und ohne verwaltete Metadaten. Die Branche nannte das Ergebnis Data Swamp.

• Unternehmen laden Dokumente in KI-Assistenten ähnlich wie früher in Data Lakes, oft ohne klare Relevanzbewertung.
• RAG-Systeme protokollieren bereits, welche Daten tatsächlich genutzt werden und wo Datenpflege sinnvoll ist.
• Chatbots bieten Einblicke in den tatsächlichen Datenbedarf und helfen, Ressourcen gezielt zu priorisieren.

Gut zehn Jahre später wiederholt sich das Muster. Laut Bitkom setzen 41 Prozent der Unternehmen ab 20 Beschäftigten Künstliche Intelligenz produktiv ein, weitere 48 Prozent planen oder diskutieren den Einsatz, meist beginnend mit einem internen Assistenten, der Fragen an den eigenen Dokumentbestand beantwortet, technisch gesprochen Retrieval-Augmented Generation, kurz RAG. Die Hürde dafür ist verschwunden, Amazon Bedrock Knowledge Bases etwa bindet Confluence, SharePoint und ganze Web-Domains über fertige Konnektoren an und erledigt Chunking und Indexierung gleich mit. Ein Klick, und das Quellsystem liegt im Vektorindex. Ohne inhaltliche Vorauswahl. Ohne die Frage, ob irgendjemand diese Inhalte jemals abrufen wird.

Bequemlichkeit hat einen Preis, und er steht nicht auf der Rechnung für den Vektorspeicher. Abgerechnet wird der Kontext, den das System bei jeder Anfrage an das Sprachmodell übergibt. Je mehr unkuratierte Inhalte im Index liegen, desto seltener steckt die gesuchte Information in den vorderen Treffern, und desto großzügiger drehen die Teams am Parameter k. Dieser legt fest, wie viele der ähnlichsten Textabschnitte je Anfrage an das Sprachmodell gehen.