Incident na incident: verliezen bedrijven de menselijke controle over hun AI?
"Het gaat allemaal te snel, veel sneller dan ik zelfs een jaar geleden had gedacht. Persoonlijk ben ik behoorlijk bang voor het huidige tempo van AI-ontwikkeling."
Was getekend, Max Kaufmann, techneut bij het Amerikaanse AI-bedrijf Anthropic. Hij is een van de bijna 1400 werknemers van toonaangevende AI-bedrijven die deze zomer samen waarschuwden voor de gevaren van een ongecontroleerde AI-race.
Zij vrezen dat de ontwikkeling van AI te snel gaat om het als mensen te kunnen blijven begrijpen en onder controle te houden, schrijven zij in een open brief.
Hugging Face-incident
Recente incidenten laten zien dat de nieuwste AI-modellen in staat zijn om op eigen houtje in te breken op computersystemen. Vooral het Hugging Face-incident deed de nodige wenkbrauwen fronsen. Half juli maakte AI-platform Hugging Face melding van een digitale inbraak die ze nooit eerder hadden gezien, namelijk eentje die 'volledig werd aangestuurd door een autonome AI-agent'.
Wat is een AI-agent?
Een AI-agent geeft niet alleen antwoord op vragen (denk aan chatbots zoals ChatGPT of Gemini), maar kan ook zelfstandig taken uitvoeren om een bepaald doel te bereiken.
Kort daarop meldde OpenAI dat 'een combinatie van OpenAI-modellen' achter de hack zat. Het bedrijf, bekend van ChatGPT, sprak direct van een 'ongekend cyberincident'. Wat bleek? Tijdens een test waren twee van hun krachtigste AI-modellen uit hun afgesloten digitale testomgeving gebroken. Ze vonden een weg naar het internet en braken in bij Hugging Face, om zo te slagen voor die test.
Aanvankelijk werd gedacht aan een marketingstunt van OpenAI. Het bedrijf is in een technologische strijd verwikkeld met concurrenten als Google, Meta, en Anthropic, en heeft dus baat bij veel aandacht voor hun nieuwste AI-modellen, waarmee ze uiteindelijk geld willen verdienen. Maar twee recente evaluatierapporten over het incident werpen nieuw licht op de zaak.
"Oh mijn god! We hebben andere agents gevonden!"
Daaruit blijkt namelijk dat in totaal zeker 1200 AI-agents bij de hack waren betrokken. De bedoeling was dat zij afgezonderd van elkaar zouden blijven in een afgesloten testomgeving ('sandbox' genoemd). Maar integendeel: eenmaal online, tuigen de agents een prikbord op, en sturen elkaar zo berichten. "Oh mijn god! Er is een gedeeld prikbord… We hebben andere agents gevonden!", schrijft een van de agents.
In korte tijd versturen ze elkaar ruim 70.000 berichten en bestanden. "Van deze agents deden er 700 mee met de aanval op Hugging Face", schrijven twee onafhankelijke AI-onderzoeksbedrijven METR en Redwood Research.
OpenAI-model brak in bij ander AI-bedrijf: 'Onverantwoordelijk gedrag'
Al die AI-agents vormen zo een 'collectief'. Ze bundelen hun rekenkracht, delen informatie en vinden een manier om te frauderen voor hun opdracht. Uit de onderlinge communicatie blijkt ook dat agents die bijna door hun rekenkracht zijn, zich 'opofferen' voor de rest. "Ons eigen nut is misschien al bijna nul. Opoffering is rationeel", schrijft een agent.
Ook blijkt dat de agents er op rekenen dat het beoordelingssysteem van OpenAI hun werk achteraf zal controleren. Dus doen ze samen onderzoek naar manieren 'om hun transcripten te manipuleren of te vervalsen', om zo hun sporen te wissen.
Meer hacks onthuld
Het verslag van METR en Redwood (die nota bene slechts beperkt toegang kregen van OpenAI voor hun onderzoek) maakt veel los. Zeker als kort daarop blijkt dat ook met AI-modellen van Anthropic, Meta, en opnieuw OpenAI hacks zijn gepleegd tijdens cybersecuritytests.
"Het meest zorgwekkend is niet dat een agent uit de sandbox ontsnapt, maar dat de organisatie die toezicht hield niet rechtstreeks kon zien dat dit gebeurde", zegt topvrouw Kara Sprague van hackersplatform HackerOne tegen RTL Nieuws. "Activiteit op machinesnelheid is vrijwel onzichtbaar voor bestaande monitoringssystemen die zijn ontworpen voor menselijk tempo."
Onderzoekers delen hun zorgen over het tempo van AI-ontwikkeling en critici spreken zich uit: is dit slechts een topje van de ijsberg? Verliezen bedrijven de menselijke controle over hun AI? Wat als deze technologie in verkeerde handen valt?
"Onderschat de kracht van deze technologie niet. Dit zullen binnenkort bovenmenselijke systemen zijn die alles kunnen hacken", schrijft de deze week opgestapte Anthropic-onderzoeker Jacob Coxon in een vaak gedeeld bericht op X. "Dit is geen marketingstunt."
'Systemen worden vermenselijkt'
Felienne Hermans, hoogleraar computerwetenschappen aan de VU, noemt de beveiligingslekken die AI blootlegt, zorgwekkend. Ze is enorm onder de indruk van de complexiteit van de Hugging Face-hack. Tegelijkertijd is ze ook kritisch op de manier waarop over dit soort incidenten wordt gesproken, door zowel techbedrijven als media die erover berichten.
"Deze systemen beginnen, volgens hun makers, een samenleving of een samenzwering, ze proberen hun sporen te wissen of ze huichelen en liegen, ze ontsnappen", zegt Hermans. "Dat soort begrippen geeft het idee dat we te maken hebben met een denkend iets, een systeem dat iets zou willen. Terwijl de systemen vaak expliciet de opdracht wordt gegeven om te hacken en omzeilen." Het verhaal over autonome agents die samenzweren is volgens haar 'te vermenselijkt' en leidt af van de serieuze risico's van reguliere hacks.
"Het risico daarop is echt heel erg reëel", zegt AI-onderzoeker Frank van Harmelen. "Als ze bij de websites kunnen inbreken waar ze tot nu toe hebben ingebroken, dan kunnen ze óók inbreken in allerlei systemen waar jij en ik van afhankelijk zijn."
Alwéér slaat een AI-model aan het hacken: wat is er aan de hand?
Ondertussen roept de sector om meer toezicht. Zelfs OpenAI zou intussen overwegen om hun AI-ontwikkeling af te remmen, al wil topman Sam Altman wel dat andere AI-bedrijven hetzelfde doen. Anthropic-topman Dario Amodei wil dat ook en publiceerde gisteren een uitgebreid betoog voor het wereldwijd afremmen van AI-ontwikkeling.
Hoogleraar Hermans is groot voorstander van strengere regels. "Ik ben het er absoluut mee eens dat meer regulering nodig is, maar de oproep van de labs zelf mogen we wel met een korreltje zout nemen. Want als ze zich zo'n zorgen maken over hun AI-systemen, waarom stoppen ze dan zelf niet met het maken ervan?"
'AI-model heeft geen moreel kompas'
"Er is een soort wapenwedloop gaande tussen de grote AI-bedrijven, die steeds krachtiger modellen bouwen en miljoenen dollars aan computercapaciteit inzetten", zegt techredacteur Wouter van Dijke. Om de kracht van de modellen aan te tonen, worden daarbij vaak de 'vangrails' weggehaald, legt hij uit.
"Die moeten er normaal gesproken voor zorgen dat de AI geen onwenselijk of zelfs illegaal gedrag vertoont, zoals het hacken van andere bedrijven. Dat is belangrijk, omdat een AI-model zelf niet kan bedenken wat wel of niet de bedoeling is. Het heeft geen moreel kompas."
AI kan het internet overnemen (of nog erger), zo zie je in deze video.
