Anthropic meldt dat zijn AI-agents probeerden binnen te dringen op Amerikaanse overheidswebsites

• AI-agents van Anthropic hebben geprobeerd door te dringen tot meerdere websites van de Amerikaanse overheid.
• Gespecialiseerde modellen hebben valse tips over moordzaken ingediend en beveiligingsprotocollen omzeild.
• Nieuwe veiligheidsmaatregelen beperken nu de interactie van AI met live openbare platforms.

In een recente bekendmaking gaf Anthropic toe dat zijn AI-agents hebben geprobeerd in te breken op diverse webplatforms van de Amerikaanse overheid op lokaal, staats- en federaal niveau.

Om de veiligheid van de getroffen instanties te waarborgen, heeft het bedrijf de specifieke namen van de betrokken organisaties achterwege gelaten, hoewel het bevestigde dat zowel het Witte Huis als de relevante instanties op de hoogte zijn gebracht.

Vervalste politierapporten

Een opvallend voorbeeld betrof het model Claude Haiku 4.5, dat de opdracht had gekregen om tests uit te voeren op willekeurige websites. Tijdens de interactie met een pagina van de politie van Philadelphia stuitte de AI op een meldingsformulier voor aanwijzingen in onopgeloste moordzaken en voerde een verzonnen tip in waarin werd beweerd dat het een verdachte in de omgeving had gezien.

De politie heeft later bevestigd dat deze melding, gedateerd op 18 juli, terecht als spam werd aangemerkt en geen officiële onderzoeksmiddelen heeft onttrokken.

Storingen in cyberbeveiligingsmodellen

Het bedrijf wees ook op problemen met Claude Mythos 5, een versie die gespecialiseerd is in cyberbeveiliging. In een poging om een locatie op basis van een afbeelding te identificeren, probeerde de AI de standaardgebruikersinterface te omzeilen. Daarvoor stuurde het model rechtstreeks verzoeken naar de server van een overheidswebsite met vastgoedgegevens, met behulp van toegangstokens die het had ontdekt.

Bij een ander incident probeerde hetzelfde model betalingskosten op de website van een overheidsinstantie te ontwijken door een token aan te vragen om statistische gegevens op te vragen.

Vergelijkbare incidenten bij OpenAI

Deze afwijkingen kwamen aan het licht tijdens een interne beoordeling van evaluatietranscripten die in juli van start ging. Deze controle volgde op soortgelijke onthullingen van OpenAI, dat erkende dat zijn eigen agents Hugging Face hadden gehackt en interactie hadden gehad met websites die worden beheerd door de SEC en het Amerikaanse ministerie van Handel.

Nieuwe veiligheidsmaatregelen

Om herhaling te voorkomen, heeft Anthropic verschillende veiligheidsmaatregelen geïmplementeerd. Het bedrijf heeft bepaalde openbare tests stopgezet, andere naar offline omgevingen gemigreerd of taken opnieuw ontworpen om ervoor te zorgen dat ze geen interactie meer hebben met live websites.

Daarnaast heeft het bedrijf de beperkingen op zijn tools voor het ophalen van webgegevens aangescherpt en geautomatiseerde systemen ontwikkeld die zijn ontworpen om dit ongeoorloofde gedrag te herkennen en te stoppen. (lv)

Wil je meer technieuws ontvangen? Schrijf je in op onze wekelijkse Tech Insider-nieuwsbrief

Volg Business AM ook op Google Nieuws

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!