heise+ | Anleitung: Lokale KI-Modelle mit aktuellen Fakten aus dem Internet anreichern

Jedes Sprachmodell (LLM) hat einen sogenannten Knowledge Cutoff, also ein fixes Datum, bis zu dem seine Trainingsdaten reichen. Ereignisse und Entwicklungen danach kann es ohne zusätzliche Quellen nicht zuverlässig einordnen. Bei Anthropics Claude Opus 5.5 liegt dieser Stichtag im Juni 2026, bei Googles Modell mit offenen Gewichten Gemma 4 im Januar 2025. Bei kommerziellen Frontier-Modellen, etwa von Anthropic und OpenAI, ist diese Wissenslücke weniger spürbar: Die zugehörigen Dienste können bei Bedarf selbstständig aktuelle Informationen im Internet recherchieren und in Antworten einbeziehen. Das funktioniert in vielen Fällen bereits zuverlässig. Open-Weight-Modelle lassen sich ebenfalls mit einer Websuche verbinden. In der Praxis führen ihre Rechercheergebnisse jedoch häufig zu falschen und unvollständigen Aussagen.

• Lokale KI-Modelle wissen nichts, was nach dem Stichtag ihres Trainings geschah. Wenn sie selbst im Web recherchieren sollen, scheitern sie oft.
• Unsere Methode schaltet dem Modell einen Proxy vor, der die Recherche übernimmt und das Wissen nach dem Stichtag aus aktuellen Quellen nachliefert.
• So recherchieren auch kleine Modelle deutlich zuverlässiger. Die Methode lässt sich Schritt für Schritt selbst einrichten.

Unsere Methode reichert lokale Modelle deutlich zuverlässiger mit Wissen aus dem Internet an. Für die Websuche benötigt der Ansatz weder Konten noch API-Schlüssel bei externen Anbietern. Sie als Nutzer bestimmen selbst, welche Suchmaschinen abgefragt werden. Ihre Nachricht und die Antwort des Modells bleiben auf Ihrem Rechner; nach außen gehen nur die Suchbegriffe und die Abrufe der Webseiten.

Im Folgenden erklären wir, weshalb lokale LLMs bei der Internetrecherche häufig scheitern – und wie sich das Problem mit unserem Ansatz lösen lässt. Dazu brauchen Sie, von einer kleinen Ausnahme (OrbStack) abgesehen, ausschließlich Open-Source-Software. Das benutzte Sprachmodell Gemma 4 steht zwar unter der Apache-2.0-Lizenz, ist nach der Definition der Open Source Initiative aber keine vollständig offene KI, sondern ein „Open-Weights“-Modell: Google veröffentlicht die Gewichte, legt Trainingsdaten und -code aber nicht offen.