heise+ | AirLLM: Große KI-Modelle auf schwachen Grafikkarten starten

Endlich leistungsstarke KI-Modelle auf der eigenen Hardware laufen lassen: Für viele PC-Nutzer, die lokale KI einsetzen, ist das ein unerreichter Traum. An den Modellen scheitert es nicht; kostenlos nutzbare große Open-Weights-LLMs mit Dateigrößen von über 50, 250 oder 500 GByte gibt es zur Genüge. Doch die benötigte Hardware ist kostspielig und wird immer teurer. Eine potenzielle Lösung verspricht AirLLM: Mit dem Open-Source-Projekt laufen große Modelle auch auf Gaming-Hardware mit kleinen Grafikkarten.