heise+ | Mit Apples JACCL-Bibliothek richtig große LLMs auf Mac-Clustern betreiben

Noch vor Kurzem war die Inferenz und das Feintuning sehr großer Sprachmodelle eine exklusive Domäne spezialisierter Nvidia-Grafikbeschleuniger in Rechenzentren, oft genug denen großer Cloud-Anbieter. Systeme mit Hunderten Milliarden oder gar Billionen von Parametern sprengten schlicht die Kapazitäten lokaler Workstations. Mit den Entwicklungen rund um das MLX-Framework und mlx.distributed, seine Erweiterung für verteilte Systeme, bricht Apple diese Phalanx auf. Die Technik verwandelt zusammengeschaltete Mac-Systeme in Compute-Cluster, die nicht nur sehr große Foundation Models bewältigen, sondern auch anspruchsvolle numerische Workloads aus Wissenschaft und Technik lokal ausführen können.