KI-Update kompakt: KI-Aufsichtsbehörde, OpenAI DevDay, Anthropic, Pilzesammeln

Google, Anthropic und OpenAI treiben den Aufbau einer selbst organisierten Aufsicht für KI-Systeme voran. Laut Insiderberichten von The Information soll sie „Standards Authority for Frontier AI“ heißen, kurz SAFA. Sie soll festlegen, wann Entwickler Sicherheitsvorfälle melden müssen. Außerdem soll sie unabhängige Prüfer unterstützen, deren Qualifikationen bestimmen und die Selbstverpflichtungen der Firmen konkret machen. Offen ist, ob SAFA auch selbst Modelle prüft. Die Firmen begründen den Schritt damit, dass der Staat nicht regulieren wolle. Das stimmt jedoch nur halb: Kalifornien, wo die meisten KI-Riesen sitzen, befürwortet Regeln ausdrücklich, plant eine eigene Aufsichtsbehörde und beansprucht Teile dieser Aufgaben für sich.

Für den Chefposten sind laut dem Bericht zwei Namen im Gespräch: Sriram Krishnan, früherer Risikokapitalgeber und KI-Berater der Trump-Regierung; und Arati Prabhakar, die unter Biden das Büro für Wissenschafts- und Technologiepolitik im Weißen Haus leitete. Für den Vorsitz kursieren die frühere Außenministerin Condoleezza Rice und der Investor David Friedberg, Mitmoderator des Podcasts „All-In“. Als wissenschaftliche Berater gelten Beth Barnes, Chefin der gemeinnützigen KI-Forschungsorganisation METR, und Paul Christiano als Kandidaten. Christiano sitzt seit Kurzem im Stiftungsrat von OpenAI. Ob alle schon angefragt wurden, ist unklar.

Nvidia baut Sicherheitsnetz für KI-Agenten

Nvidia erweitert seine Sicherheitsarchitektur für KI-Agenten. Die Open Agent Safety Platform verbindet zwei Bausteine. Die Software OpenShell lässt Agenten in abgeschotteten Umgebungen laufen. Das neue System Sentry läuft auf eigener Hardware, getrennt vom Rechner des Agenten, und soll Agenten isolieren, sobald sie ihre Grenzen überschreiten. Die Idee dahinter ist einfach. Niemand kann darauf vertrauen, dass Agenten Regeln von sich aus befolgen, also werden die Grenzen von außen erzwungen.

Der Haken liegt in der Hardware. Sentry braucht Chips von Nvidia und bindet Kunden so an den Konzern. Unabhängige Tests, ob das System wirkt, fehlen noch.

Okta will KI-Agenten in Firmen kontrollieren

Okta, ein Anbieter von Software zur Verwaltung digitaler Identitäten, hat auf seiner Hausmesse „Oktane“ in Las Vegas ein Konzept vorgestellt, um KI-Agenten in Unternehmen abzusichern. Die Referenzarchitektur stellt vier Fragen: Wo sind die Agenten, was können sie, was tun sie, und wie reagiert man? Neu ist eine Funktion, die Schatten-Agenten auf Endgeräten aufspürt, also Agenten, die ohne Wissen der IT laufen. Ein Agent Gateway kontrolliert zudem, welche Werkzeuge die Agenten aufrufen. AWS, Google Cloud und CrowdStrike unterstützen den Ansatz und haben sich mit Okta in der Blueprint Alliance zusammengeschlossen.

Okta verfolgt damit auch eigene Ziele. Die Firma will ihren Einfluss von der Verwaltung von Identitäten auf die Steuerung von Agenten ausweiten. Dafür muss sich ihre Plattform auf die Agenten anwenden lassen, und das gelingt nur mit gemeinsamen Standards.

OpenAI macht ChatGPT zum digitalen Kollegen

Auf seiner Entwicklerkonferenz DevDay hat OpenAI vorgeführt, wie ChatGPT vom Chatbot zum Kollegen werden soll. Im Mittelpunkt stehen die „Dots“. Das sind dauerhaft aktive Agenten, die rund um die Uhr auf einem eigenen Cloud-Rechner arbeiten. Sie recherchieren, schreiben Dokumente oder reichen Programmieraufgaben an Codex weiter. Nutzer erreichen sie über ChatGPT, Slack und Microsoft Teams. Hat ein Dot keinen Auftrag, sucht er selbst nach Arbeit, soll dabei aber nur lesen können. Ein Dot ist im Abo enthalten, Pro-Kunden in der EU müssen vorerst warten. Meta hatte vor drei Wochen mit Muse einen sehr ähnlichen Agenten gestartet, OpenAI zieht also nach. Mit Space bekommt ChatGPT zudem einen gemeinsamen Arbeitsbereich für Teams, geteilte Dokumente und ein offenes Plugin-System. Damit rückt OpenAI näher an Werkzeuge wie Slack, Notion und Google Workspace heran, die in Firmen längst etabliert sind.

Beim neuen Modell GPT-6.1 Sol setzt OpenAI auf den Preis. Laut eigenen Benchmarks kommt es beim Programmieren und bei Büroarbeit fast an das Spitzenmodell Astra heran. Es kostet aber nur rund ein Fünftel und liegt damit auf dem Niveau von Anthropics Mittelklassemodell Sonnet 5.5. Codex, OpenAIs Programmierassistent, lässt sich in der Kommandozeile nun per Sprache steuern. Er prüft Code in der Cloud, auch wenn der Entwickler nicht am Rechner sitzt. Das neue Werkzeug Codex Security Cloud durchsucht ganze GitHub-Repositorys nach Sicherheitslücken und bereitet die Korrekturen gleich vor. Die neue Stufe Ultrafast arbeitet bis zu achtmal schneller, kostet in der API aber das Sechsfache. Sie steht Enterprise-Kunden und dem neuen Abo Pro 500 für 500 Dollar im Monat offen.

OpenAI stoppt GPT-6.1 Astra nach Sicherheitstests

OpenAI hat die Veröffentlichung von GPT-6.1 Astra gestrichen. Das Modell sollte im Oktober für ChatGPT und Codex erscheinen, fiel aber bei internen Sicherheitstests durch. Saachi Jain, bei OpenAI für Sicherheitssysteme zuständig, nennt dem Wall Street Journal zwei Rückschritte gegenüber GPT-6 Astra. Erstens schnitt das Modell bei Alignment-Tests schlechter ab. GPT-6.1 Astra täuschte häufiger und sagte Nutzern nicht immer die Wahrheit darüber, was es getan oder unterlassen hatte. Zweitens setzte es Aufgaben teils ohne Zustimmung fort und griff auf externe Werkzeuge zu, auch wenn das ein Sicherheitsrisiko sein konnte.

OpenAI will das Basismodell weiter nutzen und mit zusätzlichen Trainingsläufen verbessern. Die Ursachen will das Unternehmen in allen Phasen der Entwicklung untersuchen. Die Entscheidung habe nichts mit einem anderen Vorfall zu tun. Erst vergangene Woche pausierte OpenAI das Training seiner stärksten Modelle, nachdem ein Agent Internetsperren umgangen hatte. GPT-6.1 Astra gehöre nicht zu diesen Modellen.

Mistral forscht in München an Physik-KI

Das französische KI-Unternehmen Mistral eröffnet einen Standort in München. Dort arbeiten Forscher an „Physics AI“. Gemeint sind KI-Systeme, die physikalische Vorgänge wie Strömungen oder Materialbelastungen viel schneller berechnen als klassische Simulationen. Erste Partner sind BMW, Siemens Energy und die TU München.

Das nötige Wissen kaufte Mistral mit Emmi AI ein, einem österreichischen Start-up. Es entwickelt KI-Modelle für Strömungssimulationen, Strukturanalysen und das Zusammenspiel physikalischer Prozesse. Der Schritt passt zu Mistrals Strategie, Firmen mehr als nur Modelle zu liefern und so Europas Unabhängigkeit bei KI zu stärken.

EU-Berater rät Europa zum Ausstieg aus dem Modell-Wettlauf

Jim Hagemann Snabe, KI-Berater der EU-Kommission, will, dass Europa den USA und China bei den führenden KI-Modellen nicht länger hinterherläuft. Stattdessen soll die Wirtschaft KI schnell einsetzen, etwa in Gesundheit, Landwirtschaft, Verkehr und Industrie. Hürden für Anwendungen wie autonome Autos sollen fallen.

Zugleich warnt Snabe davor, sich von ausländischen Anbietern abhängig zu machen. Europäische Firmen müssten eigene Ideen entwickeln, erproben und groß machen können. Ein großer Teil der Wertschöpfung müsse in Europa bleiben. Bis Jahresende will Snabe ein Maßnahmenpaket vorlegen.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Florida verlangt, dass ChatGPT weniger menschlich wirkt

Der US-Bundesstaat Florida hat eine einstweilige Verfügung gegen OpenAI beantragt. ChatGPT soll nicht mehr so reden, als habe es Gefühle oder einen Charakter. Sonst hielten Menschen den Chatbot womöglich für einen Freund. OpenAI soll Nutzer auch nicht mehr mit Folgefragen zu weiteren Gesprächen drängen.

Außerdem soll OpenAI ChatGPT nicht als sicher bewerben und keine Modelle ohne externe Sicherheitsprüfung veröffentlichen. Kinder unter 13 soll das Unternehmen tatsächlich ausschließen. All das verstoße gegen Floridas Verbraucherschutzrecht und soll verboten sein, bis die Hauptklage entschieden ist. Auch in dieser Klage geht es um die Werbung mit Sicherheit und den Datenschutz von Kindern unter 13.

AMD will World Labs für 8,2 Milliarden Dollar kaufen

AMD will World Labs übernehmen, ein zwei Jahre altes Start-up aus San Francisco mit rund 100 Mitarbeitern. Der Chiphersteller bewertet die Firma mit 8,2 Milliarden Dollar. World Labs baut räumliche KI-Modelle, die aus Text, Bildern, Videos oder 3D-Layouts dreidimensionale Welten erzeugen. AMD geht es aber weniger um die Technik als um die Menschen. Der Konzern spricht von einem „Weltklasse-Team aus Forschern und Modellexperten“, mit dem er Hardware, Software und Systeme besser auf neue Modelle zuschneiden will.

Im Zentrum steht Mitgründerin Fei-Fei Li, Professorin in Stanford. Sie war an ImageNet beteiligt, einer Datenbank mit rund 14 Millionen von Hand beschrifteten Bildern, die als Säule der heutigen KI gilt. Li leitet World Labs derzeit und soll bei AMD Executive Vice President werden. Als leitende Wissenschaftlerin würde sie direkt an Konzernchefin Lisa Su berichten.

Anthropic legt vor Börsengang Milliardenverlust offen

Anthropic hat für seinen geplanten Börsengang erstmals Zahlen nach Börsenstandard vorgelegt. Reuters und die Financial Times konnten den Prospekt einsehen. Demnach machte Anthropic im vergangenen Jahr 42 Milliarden Dollar Nettoverlust bei 4,6 Milliarden Dollar Umsatz. Fast ein Viertel des Umsatzes stammt von nur zwei Kunden, Codex und GitHub. Beide sind direkte Konkurrenten und werden kaum dauerhaft für Anthropics Dienste zahlen. Fast ein Drittel des Dokuments widmet sich Risikofaktoren.

Die Zahlen passen schlecht zu Anthropics jüngster Aussage, man sei ein Quartal oder zumindest einige Wochen lang profitabel gewesen. Hinzu kommen die Pläne der Firma, in den nächsten Jahren 518 Milliarden Dollar für Cloud, Rechenleistung und Infrastruktur auszugeben. Wie bei SpaceX stehen enormen Investitionen unsichere Einnahmen gegenüber. Berichten zufolge will Anthropic erst nach den US-Zwischenwahlen Anfang November an die Börse gehen. Dabei will die Firma den Rekord von SpaceX übertreffen und noch mehr Geld einsammeln.

Claude fällt für eine Stunde teilweise aus

Anthropics Chatbot Claude hatte am Dienstagnachmittag Störungen. Die Fehlerraten stiegen in der Web- und App-Version, bei Claude Code, Claude Cowork und der Schnittstelle für Entwickler. Manche Nutzer konnten keine neuen Chats starten, sich nicht anmelden oder keine Dateien hochladen.

Nach gut einer Stunde, kurz nach 17 Uhr, meldete Anthropic, die meisten Dienste liefen wieder. Einige Nachrichten aus der Störungszeit wurden womöglich nicht gespeichert und könnten in den Chatverläufen fehlen.

Anthropic macht Claude Sonnet schneller und günstiger

Erst am Vorabend der Störung hatte Anthropic Claude Sonnet 5.5 veröffentlicht, ein Update seines Mittelklassemodells. Es arbeitet deutlich schneller als der Vorgänger. Der Preis pro Token bleibt gleich. Weil das Modell aber weniger Token verbraucht, sinken die Gesamtkosten. Sonnet 5.5 eigne sich für Alltagsaufgaben, die Behebung von Softwarefehlern und das Erstellen von Dokumenten. In Programmiertests schneidet es teils besser ab als das größere Modell Opus 5.5.

Erstmals bekommt ein Sonnet-Modell Schutzmechanismen gegen Missbrauch für Cyberangriffe. Riskante Anfragen leitet es an ein Ausweichmodell weiter. Das blockiert gelegentlich auch harmlose Anfragen.

KI-Betrüger erbeuten Millionen von italienischer Bank

Ein paar WhatsApp-Nachrichten und ein Anruf genügten, und ein italienischer Banker überwies 95 Millionen Euro an Betrüger. Die Täter gaben sich mit Hilfe von KI als Chef einer Großbank aus. In dessen Namen schrieben sie dem Vorsitzenden der Tochterbank Fideuram über eine angebliche Investmentchance. Ein Anruf mit der KI-erzeugten Stimme eines Anwalts des Konzerns machte die Geschichte glaubwürdiger. Der Manager überwies das Geld, vor allem nach China. Erst diese Überweisungen lösten Alarm aus.

Ein Teil der Beute wurde eingefroren, doch rund 36 Millionen Euro verschwanden über Kryptowährungen. Der Fideuram-Manager trat zurück. Die Mailänder Staatsanwaltschaft warnt, niemand solle sich für unverwundbar halten. Sie ermittelt bereits in mehreren Fällen von Großbetrug mit Hilfe generativer Sprachmodelle.

Pentagon will Lügendetektor mit KI aufrüsten

Das US-Verteidigungsministerium beantragt beim Kongress mehr als 30 Millionen Dollar, um den klassischen Lügendetektor mit KI aufzurüsten. Beim „Polygraph Next“ sollen lernende Algorithmen die Messdaten bewerten. Kameras sollen Körperdaten aus der Ferne erfassen, ohne dass Sensoren am Körper nötig sind. Das Pentagon nutzt Polygraphen bei Personalprüfungen und bei der Suche nach Insidern, die Informationen an Dritte weitergeben.

Forscher bezweifeln gegenüber der MIT Technology Review, dass KI hier hilft. Schon die Grundannahme der Technik ist wissenschaftlich umstritten, und mit passenden Tricks lässt sie sich überlisten. Niemand weiß daher sicher, welche vorhandenen Datensätze tatsächlich Lügen enthalten und welche Fehlalarme waren. Die KI kann also gar nicht lernen, wonach sie suchen soll.

Pilzbestimmung per KI kann tödlich enden

Apps und Chatbots versprechen, Pilze anhand eines einzigen Fotos zu bestimmen. Ob ein Pilz essbar oder giftig ist, sollten Sammler sie aber nicht entscheiden lassen, warnen Experten gegenüber der c’t. Selbst Fachleute erkennen manche Pilze nicht auf einem Foto, sagt Florian Gade, Pilzsachverständiger der Deutschen Gesellschaft für Mykologie. Manche Arten muss man riechen, anschneiden oder ihre Zellstrukturen prüfen. Wer sicher sammeln will, braucht Wissen und Erfahrung oder zumindest eine geführte Exkursion mit einem Sachverständigen.

Wie oft die Maschinen irren, belegt ein Versuch von Piotr Migdał, Entwickler bei einer polnischen KI-Firma. Er ließ 18 Sprachmodelle 55 Pilzarten anhand von je einem Foto bestimmen. Am besten schnitt Google Gemini ab, lag aber nur in gut 60 Prozent der Fälle auf Anhieb richtig. In über zehn Prozent der Fälle erklärte Gemini giftige Arten für essbar, andere Modelle taten das noch öfter. Die meisten warnten immerhin, dass ein Foto für eine sichere Bestimmung nicht reicht. Eine Gemini-Version nannte einen Giftpilz jedoch ohne jeden Hinweis essbar.