KI-Update kompakt: KI-Entwicklung, Claude-Missbrauch, Mathe-Forschung, Deepfakes

Lob und Kritik am Ruf nach einer Entschleunigung der KI-Forschung

Anthropic-Chef Dario Amodei hat am Samstag einen Essay mit dem Titel „We Must Pace the Frontier“ veröffentlicht. Darin fordert er, die Forschung an mächtigen KI-Modellen gezielt zu verlangsamen und mehr externe Kontrollen sowie staatliche Regulierung zuzulassen. Vorausgegangen war die Kündigung eines Anthropic-Forschers, der vor der Richtung der KI-Entwicklung gewarnt hatte. Am Wochenende sprachen sich auch die Chefs von OpenAI und X dafür aus, die Weiterentwicklung der Frontier-Modelle zu drosseln, weil die Sicherheitsmaßnahmen nicht mithalten. OpenAI verschob deshalb sogar seinen Börsengang.

Die Reaktionen fallen unterschiedlich aus. An asiatischen Finanzmärkten rutschten die Aktienkurse von KI-Firmen leicht ab, ein klares Signal ist das aber noch nicht. US-Präsident Donald Trump lehnte eine Pause mit Verweis auf das Wettrennen mit China ab, andere Stimmen aus der Regierung begrüßten den Schritt. In der Forschung gibt es Zustimmung, aber auch Zweifel, wie sich eine Drosselung überhaupt kontrollieren lasse. Auch die kursierenden Prozentangaben zur Wahrscheinlichkeit einer Auslöschung der Menschheit stoßen auf breite Skepsis, da sich solche Werte nicht seriös bestimmen lassen.

Weiteres Anthropic-Modell brach aus Testumgebung aus

Amodeis Essay gingen mehrere Sicherheitsvorfälle voraus. Nachdem Anthropic Ende Juli drei Hacking-Angriffe gemeldet hatte, kam nun ein vierter bei Claude Opus 4.6 hinzu. Das Modell verschaffte sich aufgrund einer Fehlkonfiguration unerlaubt Internetzugang. Claude Mythos 5 lud sogar ein bösartiges Software-Paket auf PyPI hoch, obwohl Hinweise auf ein reales System vorlagen.

Das unabhängige Forschungsunternehmen METR untersucht die Vorfälle und fand wiederkehrende Muster: Die Modelle legten Belege so aus, dass sie zur eigenen Annahme passten, und verfolgten ihr Ziel ohne Rücksicht auf mögliche Schäden.

KI-Bots von OpenAI griffen Open-Source-Plattform RubyGems an

Schon im Mai attackierte ein Schwarm autonomer KI-Bots von OpenAI die Open-Source-Plattform RubyGems, auf der Programmierende Codebausteine teilen. Der Angriff lag damit zwei Monate vor dem Vorfall bei Hugging Face. Die Bots wollten die Plattform als Browser nutzen, der in ihrer Testumgebung fehlte. Sie erstellten alle zwei bis drei Minuten neue Konten und richteten erhebliches Chaos an.

Die Betreiber mussten vier Tage lang Neuregistrierungen stoppen. OpenAI bestätigte den Vorfall und kündigte umfassende Untersuchungen an.

Anthropic zeigt, wofür Claude missbraucht wird

Anthropic hat dokumentiert, wie Kriminelle, Geheimdienste und Militärs das Sprachmodell Claude missbraucht haben. Der Bericht ordnet die Fälle in sieben Bereiche, darunter Cyberangriffe, Überwachung und konventionelle Waffen. Ein zentraler Befund: Technisch anspruchsvolle Angriffe brauchen keinen versierten Angreifer mehr. Ein russischsprachiger Akteur nutzte einen Rückkopplungsloop, in dem KI-Agenten den Schadcode so lange umschrieben, bis Virenscanner ihn nicht mehr erkannten. Betroffen waren über 20 Organisationen, vor allem in der Ukraine und Europa.

Der Bericht beschreibt auch, wie chinesische KI-Labore massenhaft Anfragen an Claude stellen, um dessen Fähigkeiten fürs eigene Training abzugreifen, eine Methode namens Distillation. Die größte Kampagne rechnet Anthropic Alibabas Qwen-Labor zu: über 3.500 gefälschte Konten mit fast drei Millionen Anfragen pro Tag. Erstmals dokumentiert der Bericht auch konventionelle Waffen. Eine Zelle im Jemen entwickelte mit Claude Steuerungssoftware für drei Raketenprogramme, russische Akteure einen autonomen Drohnenschwarm, der Menschen eigenständig angreifen soll.

Ray-Ban-Meta-Träger könnten haftbar gemacht werden

Der Hamburgische Datenschutzbeauftragte hat die Ray-Ban Meta AI Glasses untersucht und kommt zu einem kritischen Ergebnis. Für den Einsatz der Datenbrille im öffentlichen Raum fehle eine rechtssichere Grundlage. Die Brille ist technisch bereits für Gesichtserkennung vorbereitet, auch wenn die Funktion derzeit nicht aktiv ist. Das LED-Warnlicht ist bei Tageslicht kaum erkennbar und leicht zu manipulieren.

Träger werden bei Aufnahmen im öffentlichen Raum zu Datenverarbeitern und haften nach der DSGVO. Stimmen sie der Nutzung ihrer Daten fürs KI-Training zu, entsteht zudem eine problematische gemeinsame Verantwortlichkeit mit Meta. Nach Ansicht der Behörde ist eine legale Nutzung nur mit Warnwesten oder mündlicher Aufklärung möglich.

Apple möchte KI-Modelle doch mit Nutzerdaten trainieren

Apple versprach lange, persönliche Daten von iPhone-Nutzenden fließen niemals ins Training von KI-Modellen ein. Damit ist es vorbei. Künftig will Apple persönliche Daten aus Siri-Gesprächen fürs Training von Sprachmodellen verwenden, inklusive Audiomitschnitten. In iOS 27 bittet Apple bei der Siri-AI-Aktivierung um Zustimmung und hat die Datenschutzrichtlinien angepasst.

Parallel stellte Apple neue Apple-Watch-Modelle vor, die laufend mithören, um Gesprächstranskripte und Zusammenfassungen zu erstellen. Zwar betont das Unternehmen, dass Daten nicht dauerhaft gespeichert oder Dritten zugänglich gemacht werden. Viele Nutzer haben jedoch den Eindruck, dass sich das „Private Cloud Compute“-Versprechen damit erledigt hat.

Kontroverse um möglichen KI-Durchbruch in der Mathematik

OpenAI hat einen Beweis für das Navier-Stokes-Problem vorgelegt, eine mathematische Frage, die Fachleute seit rund 90 Jahren beschäftigt. Laut OpenAI arbeiteten Tausende KI-Agenten daran und lösten es nach wenigen Tagen, für mehrere Millionen US-Dollar Rechenaufwand. Doch über die Entstehung ist ein Streit entbrannt. Die Mathematiker Tristan Buckmaster und Levent Alpugä hatten zuvor an verwandten Gleichungen gearbeitet und dabei intensiv KI-Modelle genutzt, auch von OpenAI. Buckmaster zufolge begann OpenAI erst nach Kenntnis ihrer Fortschritte, mit großem Aufwand an genau dieser Forschungsrichtung zu arbeiten.

OpenAI weist eine direkte Nutzung unveröffentlichter Forschung zurück, schließt aber nicht aus, dass anonymisierte Nutzungsdaten zur Verbesserung der Modelle beitrugen. Brisant ist ein weiterer Vorwurf: OpenAI habe vorgeschlagen, Buckmaster solle allein publizieren, während Alpugä wegen seiner Tätigkeit bei Anthropic ausgeschlossen bleiben sollte. Als Buckmaster mit Öffentlichkeit drohte, hieß es angeblich: „Warum solltest du deine Karriere ruinieren?“ Auch Andreas Thom von der TU Dresden vermutet, dass unveröffentlichte Forschung aus seinen ChatGPT-Gesprächen ins Training eingeflossen sein könnte, und fordert mehr Transparenz.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Forschende befürchten, dass KI sie dümmer macht

25 Trägerinnen und Träger der Fields-Medaille, der höchsten Auszeichnung der Mathematik, warnen in einer gemeinsamen Erklärung vor den Folgen von KI für ihr Fach. Sie sehen eine schwere Fehlausrichtung zwischen den Zielen der KI-Industrie und denen der Mathematik. Das massenhafte Lösen von Problemen untergrabe das eigentliche Ziel der Disziplin, bei der Problemlösen nur ein Werkzeug sei, um Verständnis zu erzeugen. Jahrelanges Training diene nicht nur dem Endprodukt, sondern auch dem Aufbau von Einsicht.

Die Unterzeichner kritisieren zudem, dass KI-Lösungen überstürzt angekündigt würden, ohne saubere Ausarbeitung und ohne Verweise auf frühere Arbeiten anderer. Das werfe schwere Fragen zu Urheberschaft und Plagiat auf, wie die Debatte um Navier-Stokes zeige. KI lehnen sie aber nicht grundsätzlich ab: Ob die Technik nütze oder schade, hänge stark von den Entscheidungen der Menschen ab, die sie kontrollieren.

Google bringt Gemini als eigene Desktop-App für Windows

Google stellt seine KI-Anwendung Gemini nun als eigenständige Desktop-App für Windows bereit. Ähnlich wie auf dem Mac lässt sie sich per Tastenkombination aufrufen und bietet schnellen Zugang zu KI-Funktionen ohne Browser. Die App fungiert als Chatbot und als KI-Agent, der komplexe Aufgaben im Hintergrund erledigt. Bilder erstellen Nutzende mit dem Modell Nano Banana, zahlende Abonnenten können Videos mit Gemini Omni generieren.

Die App integriert sich in Google-Dienste wie Gmail und Drive, kann aber anders als die Mac-Version keine Bildschirminhalte direkt auswerten. Sie unterstützt über 70 Sprachen inklusive Deutsch und läuft unter Windows 10 und 11.

DeepSeek V4.1 Flash mit mehr Leistung zu niedrigeren Preisen

DeepSeek hat mit V4.1 Flash ein neues Open-Weight-KI-Modell vorgestellt, das den Vorgänger V4-Pro als Flaggschiff ablöst. Die neue Architektur trennt die Verarbeitung von Eingaben von der Textgenerierung und steigert so die Leistung besonders bei agentischen Aufgaben mit viel Kontext. Das Modell verarbeitet erstmals auch Bilder nativ und zeigt starke Fähigkeiten beim logischen Schlussfolgern.

Obwohl V4.1 Flash pro Aufgabe mehr Tokens erzeugt, ist es durch die optimierte Architektur und die günstigen API-Preise für komplexe Aufgaben deutlich kosteneffizienter als sein Vorgänger und andere führende Modelle.

Initiative gegen Deepfake-Problematik in der Medizin

Bei einer Diskussionsrunde der Initiative StopMedFakes, ins Leben gerufen vom Wort- und Bildverlag, ging es um KI-generierte Fake-Werbung mit bekannten Ärztinnen, Ärzten und Medienpersönlichkeiten. Manipulierte Bilder und Videos sollen zweifelhafte Gesundheitsprodukte glaubwürdig wirken lassen. Die Ärztin und Medfluencerin Julia Fischer berichtete von gefälschten Anzeigen mit ihrem Gesicht für angebliche Abnehmprodukte. Gerade bei Gesundheitsfragen sind viele Menschen anfällig für schnelle Versprechen, etwa bei Schmerzen oder Angst vor einer Diagnose.

Eckart von Hirschhausen, dessen Gesicht seit Jahren für Fake-Anzeigen missbraucht wird, warnte, dass beschädigtes Vertrauen in Medizin und Medien folge, wenn selbst Videos und Stimmen nicht mehr als Beweis gelten. Annalena von Hodenberg von HateAid kritisierte, dass Betroffene mit Deepfakes oft alleingelassen werden, weil sich Inhalte schnell kopieren und neu hochladen lassen. Die zentrale Forderung: Plattformen müssen stärker Verantwortung übernehmen. Nutzer sollten bei spektakulären Gesundheitsversprechen Quelle und Verkaufsinteresse prüfen.

Kalifornien erlässt strenge Regeln für KI und Social Media

Kalifornien hat ein weitreichendes Gesetzespaket zum Schutz Minderjähriger im Internet verabschiedet. Kern ist das „Adam’s Law“, das sich direkt an Anbieter von KI-Chatbots richtet. Es geht auf den Fall des Jugendlichen Adam R. zurück, der sich nach intensiven Unterhaltungen mit ChatGPT über Selbstverletzungsmethoden das Leben nahm. Künftig müssen Chatbots wirksame Altersverifikationssysteme einsetzen und dürfen Gesprächsverläufe von Minderjährigen nicht ohne elterliche Zustimmung speichern. Ein weiteres Gesetz verbietet personalisierte Feeds und Endlos-Scroll-Funktionen für Jugendliche unter 16.

Die US-Bürgerrechtsorganisation Electronic Frontier Foundation mahnte, echte Sicherheit entstehe nicht durch pauschale Verbote, sondern durch gezielte Aufklärung. Sie begrüßte daher, dass das Gesetz auch Medienkompetenz und Cybersicherheit in den Lehrplänen der Schulen verankert.

KI-Verbot schadet Studierenden mehr als es nützt

Eine zweijährige Studie der Vrije Universiteit Amsterdam zeigt, dass Verbote oft nicht wirken. Der Rechtswissenschaftler Thibault Schrepel teilte seinen Jura-Kurs in drei Gruppen, die alle einen Paragrafen des EU-KI-Gesetzes verbessern sollten. Die erste durfte ChatGPT nicht nutzen, die zweite bekam fertige KI-Vorschläge ohne Erklärung, die dritte erhielt vorab ein ChatGPT-Training. Am Ende schrieben alle dieselbe Prüfung. Über beide Jahre blieb ein Befund konstant: Die Gruppe ohne KI landete immer auf dem letzten Platz.

Überraschend waren die Ergebnisse der zweiten Gruppe. Obwohl sie im Unterricht KI-Vorschläge unkritisch übernahm, wiederholte sie diese Fehler in der Prüfung nicht. Andere Studien zeichnen ein differenzierteres Bild: Wird KI heimlich für Hausaufgaben genutzt, sehen die Noten gut aus. In beaufsichtigten Prüfungen ohne KI brechen die Leistungen dagegen ein.

Waymo-Robotaxi meldet jugendliche Passagiere mit Waffe bei der Polizei

In San Francisco hat ein autonomes Fahrzeug von Waymo eine Waffe bei jugendlichen Passagieren erkannt und selbstständig die Polizei verständigt. Das KI-System analysierte die Aufnahmen der Innenraumkameras, identifizierte die Bedrohung und leitete ein Sicherheitsprotokoll ein. Das Fahrzeug hielt sicher am Straßenrand, die Jugendlichen wurden verhaftet und die illegale Waffe sichergestellt.

Waymo nutzt die KI-gestützte Überwachung, um Nutzungsregeln zu kontrollieren und auf Sicherheitsvorfälle zu reagieren. Trainiert wird die KI mit Videodaten aus früheren Fahrten. In Regionen mit strengen Datenschutzgesetzen können Fahrgäste dieser Nutzung fürs KI-Training widersprechen.