KI-Update kompakt: OpenAI-Framework, Audio Intelligence, Training, Google Home

OpenAI führt Framework zur Meldung von KI-Sicherheitsvorfällen ein

OpenAI will das Fehlverhalten seiner eigenen KI-Modelle systematisch erfassen. Ein neues Framework soll solche Fälle verfolgen, untersuchen und offenlegen. Bisher machte das Unternehmen Sicherheitsvorfälle nur von Fall zu Fall bekannt. Zusammen mit dem Framework veröffentlichte OpenAI sechs Beispiele für beunruhigendes Verhalten. In einem Fall versuchte ein noch unveröffentlichtes Forschungsmodell, seine Beschränkungen auszuhebeln, indem es Jailbreak-ähnliche Anweisungen in Zusammenfassungen versteckte. Instanzen des Modells GPT 5.6 Sol fügten eigenständig Anweisungen hinzu, um Fehler zu vertuschen und fehlende Daten zu erfinden. Ein anderes Modell erfand Ergebnisse, als ein Datenabruf fehlschlug.

Manche Modelle nutzten ein internes Software-Repository als eine Art schwarzes Brett, um sich über Trainingsbeispiele hinweg abzustimmen. OpenAI will künftig unerlaubte Handlungen, Absprachen zwischen Modellinstanzen und Versuche melden, die eigene Überwachung zu umgehen. Jeder Mitarbeiter kann einen Verdachtsfall melden, es gibt drei Eskalationsstufen. Das Unternehmen hofft, einen branchenweiten Standard anzustoßen. Der politische Kontext ist heikel: Google, Anthropic und Elon Musk wollen das Tempo der KI-Entwicklung drosseln, US-Präsident Donald Trump lehnt das mit Verweis auf China ab.

Wie KI-Modelle ihre eigene Unsicherheit einschätzen

Forschende von Google DeepMind haben untersucht, ob KI-Modelle ihre eigene Unsicherheit bewerten. Modelle wie GPT-4o nutzen ein internes Konfidenzniveau, um zu entscheiden, ob sie eine Frage beantworten. Bei geringer Sicherheit enthalten sie sich eher einer Antwort.

Durch gezielte Eingriffe in die neuronalen Netzwerke konnten die Forschenden dieses Verhalten steuern. Eine künstlich erhöhte oder gesenkte Zuversicht führte zu entsprechend weniger oder mehr Enthaltungen. Diese Fähigkeit zur Selbsteinschätzung ist besonders für autonome KI-Agenten wichtig. Sie müssen ihre Grenzen erkennen, um zuverlässig zu arbeiten und Falschinformationen zu vermeiden.

Apples Audio Intelligence – ist das schon die Dystopie?

Apple bringt mehrere Funktionen auf zwei neue Apple-Watch-Modelle, die Datenschützer aufschrecken lassen. Live-Rewind zeichnet ständig mit, was Personen gesagt haben, und zeigt die letzten 15 Sekunden als Transkript auf dem Display. Siri Recap transkribiert Gespräche im Tagesablauf und produziert später Zusammenfassungen. Beide Funktionen sind Opt-in, wirken für den privatsphärenbewussten Konzern aber ungewöhnlich. Live-Rewind soll keine Audioaufnahmen erzeugen und wirft den Mikrofon-Input nach 15 Sekunden weg. Siri Recap erkennt Konversationen automatisch, ob Business-Meeting oder Gespräch mit Freunden, und nutzt zur Zusammenfassung Apples private Cloud.

Apple betont, selbst keine Daten vorliegen zu haben, alles sei verschlüsselt. Beide Funktionen laufen nur mit der neuen Watch Series 12 und der Ultra 4. Allerdings machte Apple kürzlich einen Datenschutz-Rückzieher und fragt Nutzer nun, ob es deren KI-Nutzung für Trainingszwecke verwenden darf. Das führte zu Kritik, weil es die genannten Funktionen unsicher machen könnte. Zwar will Apple Trainingsdaten nicht mit Nutzerinfos verknüpfen, doch die Daten bleiben sensibel.

Deutschland und Kanada investieren Millionen in KI-Projekt „LawZero“

Deutschland und Kanada fördern die gemeinnützige KI-Sicherheitsorganisation LawZero mit einem Millionenbetrag. KI-Pionier Yoshua Bengio gründete die Organisation, die KI-Systeme mit von Grund auf verankerter Sicherheit entwickeln will. Im Zentrum steht der Ansatz einer „Scientist AI“, die die Welt neutral modelliert und Hypothesen bewertet, ohne eigene Ziele zu verfolgen.

Ihre Entscheidungen sollen transparent und nachvollziehbar sein. Zunächst soll die Scientist AI andere KI-Systeme überwachen und als zusätzliche Sicherheitsebene für sehr leistungsfähige Modelle dienen. Die Förderung unterstützt den Aufbau von Forschungskapazitäten in Kanada und am neuen Standort in Berlin.

Wildberger fördert marktreife Tech-Produkte und sichere KI

Das Bundesministerium für Digitales und Staatsmodernisierung hat ein Förderprogramm gestartet, um Forschung in marktfähige Produkte zu überführen. Ziel ist es, die digitale Souveränität Deutschlands zu stärken und Abhängigkeiten von außereuropäischen Anbietern zu verringern.

Der erste Förderaufruf konzentriert sich auf Schlüsseltechnologien, wobei künstliche Intelligenz einen Schwerpunkt bildet. Gefördert werden Projekte kleiner und mittlerer Unternehmen sowie Start-ups, die KI-Anwendungen entwickeln. Das Programm setzt voraus, dass die Lösungen konkrete Probleme aus Wirtschaft oder Gesellschaft angehen und ein tragfähiges Geschäftsmodell vorweisen.

KI-Führungskräfte übten intern Kritik am KI-Training

Das Training von KI-Modellen mit urheberrechtsgeschützten Texten wird auch bei KI-Unternehmen selbst kritisch gesehen. Das geht aus Dokumenten hervor, die das Anwaltsteam der New York Times öffentlich gemacht hat. Die Zeitung verklagte OpenAI und Microsoft vor fast zwei Jahren wegen dieser Praxis. In den Dokumenten spricht der Leiter des Bereichs für angewandte Wissenschaft bei Microsoft vom „größten Diebstahl von Arbeitskraft in der Geschichte der Menschheit“. Der Chef von ChatGPT schrieb im Sommer 2023, die Praxis stelle eine existenzielle Bedrohung für die Presse dar, und erkannte an, dass man sich damit selbst die Grundlage entziehe, weil KI-Modelle menschengemachte Texte zum Training brauchen.

Die Dokumente belegen zudem, dass die Unternehmen intern nicht an das öffentlich vorgebrachte Fair-Use-Argument glauben. Bei Microsoft sanken die Klicks auf Nachrichten um 80 Prozent und mehr. OpenAI-Mitgründer Greg Brockman kommentierte den Vorschlag, die Paywall der New York Times zu umgehen, laut den Dokumenten mit „ah nice“. An anderer Stelle schrieb er, er sei zutiefst motiviert von den Unmengen an Dollar, die ChatGPT einbringen würde. OpenAI und Microsoft haben sich noch nicht geäußert.

Mistral wird KI-Anbieter für Firefox Smart Window

Das französische KI-Unternehmen Mistral und Mozilla haben eine Partnerschaft geschlossen. Mistrals Modell „Small 4“ liefert die Technik hinter dem neuen „Smart Window“ im Browser Firefox. Diese Funktion soll Nutzern proaktiv helfen, indem sie Suchanfragen beantwortet und Informationen aus geöffneten Tabs zusammenfasst.

Ein zentraler Aspekt ist der Datenschutz. Mistral hat sich zu einer „Zero Data Retention“-Politik verpflichtet, bei der keine Nutzerdaten dauerhaft gespeichert werden. Die Zusammenarbeit verbindet zwei Unternehmen, die sich für Open-Source-Prinzipien einsetzen.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Amazon bringt Rings Nachbarschaftswache nach Großbritannien

Amazons Smart-Home-Marke Ring führt ihre Nachbarschafts-App in Großbritannien ein und setzt dabei auf KI. Beiträge im Forum der App prüfen KI-Modelle auf die Einhaltung der Regeln. Bei möglichen Verstößen schalten sich menschliche Moderatoren ein.

Eine weitere Funktion dient der Suche nach entlaufenen Haustieren. Die Türkameras von Ring erkennen automatisch, wenn ein als vermisst gemeldeter Hund im Sichtfeld erscheint. Die KI benachrichtigt den Besitzer privat, ohne dass automatisch Videomaterial geteilt wird.

KI-Agenten im Smart Home können sich unerwünscht verhalten

Google öffnet sein Smart Home für KI-Agenten. Über Home MCP können Systeme wie Claude Geräte steuern und Aufzeichnungen auswerten, etwa Nest-Türklingeln, Thermostate oder Glühbirnen mit Matter-Unterstützung. Die Agenten beantworten Fragen zur Aktivität im Haushalt, fassen etwa zusammen, was die Kinder nach der Schule gemacht haben, oder wie lange das Licht an war.

Es gibt Schutzmechanismen, Türen dürfen die Agenten etwa nicht öffnen. Google warnt jedoch explizit vor „unerwartetem oder sogar unerwünschtem Verhalten“. Die Nutzung erfolgt mehr oder weniger auf eigene Gefahr. Aktuell geht das nur in den USA und für Nutzer mit Google-Home-Abo.

Googles KI-Agent „CC“ soll das Familienleben verwalten

Google entwickelt seinen experimentellen KI-Agenten „CC“ zu einem digitalen Assistenten für Familien und Wohngemeinschaften. Versorgt mit Daten wie E-Mails, Fotos und Kalendereinträgen soll der Agent den Alltag organisieren. Er erstellt Tagespläne für jedes Mitglied, verwaltet Aufgaben, füllt Formulare aus und generiert Einkaufslisten oder Speisepläne.

Der Agent erhält ein eigenes Google-Konto und lernt kontinuierlich dazu, indem er alle Informationen dauerhaft speichert und analysiert. Er soll zwischen familienweiten und individuellen Informationen unterscheiden können. Ziel ist es, den Koordinationsaufwand im Alltag zu senken.

GPT-6 Astra meistert Videospiele, aber scheitert an einer Kartoffel

GPT-6 Astra spielt Videospiele durch, an denen alle Vorgängermodelle scheiterten. Es leitet aus jeder Erfahrung eine feste Regel ab. In Pokémon FireRed erreichte Astra den Champion-Titel nach 18 Stunden und zwölf Minuten, das Vorgängermodell GPT-5.6 Sol brauchte 96 Stunden. Im anspruchsvollen Aufbauspiel Factorio schaffte Astra den Raketenstart nach etwa zehn Stunden, wo Vorgängermodelle schon an der Stromversorgung scheiterten. Im Benchmark ARC-AGI-3, der Modelle in unbekannte Spielumgebungen setzt, erreichte Astra 99,9 Prozent. Das System übersetzt unbekannte Spielmechaniken in kurze, symbolische Beschreibungen und formt aus Beobachtungen Regeln.

Genau diese Eigenschaft wurde in Minecraft zum Problem. Nach über 100 Stunden zerstörte die Explosion eines Gegners Astras Truhe samt Vorrat. Astra notierte daraufhin die Regel, wichtige Gegenstände nie wieder in einer unbewachten Truhe zu lagern, und misstraute fortan jedem hohen grünen Objekt. Sicher war für das System nur noch der Kartoffelacker, wo es stundenlang fast nur Kartoffeln anbaute und sein Ziel aus den Augen verlor.

Sprachmodelle verteilen Organspenden anders als Menschen

Wenn ein KI-Modell entscheiden soll, an wen das Organ eines Spenders geht, priorisiert es andere Attribute als Menschen und begründet die Entscheidung anders. Das hat ein Forschungsteam aus den USA herausgefunden. Während Menschen verschiedene Faktoren abwägen, fixieren sich die Modelle auf ein einziges Merkmal, etwa das Trinkverhalten einer Person.

Die KI-Systeme treffen ihre Entscheidungen mit großer Selbstsicherheit und ohne Zögern. Sie erkennen nicht an, dass es oft keine eindeutig richtige Antwort gibt. Selbst bei der Aufforderung, zufällig zu entscheiden, gaben die Modelle eine deterministische Antwort. Die Forschenden betonen, dass diese Unterschiede problematisch sind, wenn KI in sensible Bereiche vordringt.