GPT Astra mit Roboterkörper räumt selbstständig Küche auf

Forschende der Stanford University und des California Institute of Technology (Caltech) haben GPT Astra im Gehäuse eines Roboters eine Küche aufräumen lassen. Bei dem Test ging es vor allem um die Frage, ob die High-End-KI-Modelle einen Roboter mittlerweile selbst steuern können, ohne ein übersetzendes System (Vision-Language-Action-Model, VLA) dazwischen.

Für den Test haben sie also GPT Astra Zugriff auf einen Roboter mit einer fertigen „Skill-Library“ mit Befehlen wie „greifen“ oder „laufen“ gegeben. Der Roboter (beziehungsweise Astra) erkundete den Raum zunächst eigenständig, baute daraus ein räumliches Gedächtnis auf und konnte anschließend sogar auf Objekte zugreifen, die sich nicht mehr in seinem Blickfeld befanden. Anschließend räumte es, wie im Prompt befohlen, die Küche auf, legte den Kaffee auf die Kücheninsel und die Milch- und Orangenkartons in den Mülleimer. Nur die Geschwindigkeit der Aufräumaktion hätte einen Endnutzer wahrscheinlich zur Verzweiflung gebracht: Obwohl das Versuchsvideo stellenweise in 50-facher Geschwindigkeit läuft, geht der Prozess teilweise quälend langsam voran.

Wie das Team aus Forschenden auf der Projektseite des Movement Lab beschreibt, brauchte die Roboter-KI-Kombi namens „HomeBody“ für diese Aufgaben keine umgebungsspezifischen Trainingsdaten oder zusätzliches Policy-Lernen. Als Hardwareplattform dient ein Unitree G1, ein vergleichsweise kompakter humanoider Roboter. Die übergeordnete Planung übernimmt das GPT-Modell, das über eine Netzwerkverbindung angebunden ist.

Nach Jahrhundert-Matheproblem kommt Küche aufräumen

Der Ablauf des Versuchs gliedert sich in drei Phasen. Zunächst erhält der Roboter eine einfache Rollenbeschreibung – etwa: „Du bist ein Küchenroboter, erkunde den Raum.“ Bei der Erkundung scannt er die Umgebung unter anderem mithilfe einer Kamera und Lidar.

Anschließend baut er sich einen digitalen Zwilling des Raumes, auf den er später auch zurückgreift, wenn er sich an die Position von Gegenständen erinnern muss, die nicht in seinem Sichtfeld sind.

In der dritten Phase agiert er dann wie im Prompt angewiesen. Neben dem Aufräum-Szenario ließen die Forscher den Roboter auch eine Medizin aus einer Küchenschublade holen – auch das klappte.

Während KI-Modelle wie GPT-Astra bereits in der Lage sind, komplexeste Mathematikprobleme zu lösen, steht der Einsatz der Modelle in der physischen Welt noch ziemlich weit am Anfang. Dennoch: Das Fraunhofer-Institut für Produktionstechnik und Automatisierung bestätigte in einer Studie vor Kurzem erneut, dass mit KI verbundene Roboter eine Wachstumsbranche sind, unter anderem im Gesundheitswesen oder dem Facility Management.