Opus 5 klarade på tre timmar det Opus 4.8 inte fick att fungera

Den 24 juli hade forskarna på säkerhetsföretaget Hacktron, över flera sessioner, försökt att få Claude Opus 4.8 att bygga angreppskod som fungerade mot forumprogramvaran Discourse, utan att lyckas. Samma kväll släppte Anthropic Opus 5.

En ny session gav enligt Hacktron fungerande kod inom tre timmar, och klockan sex på morgonen kunde forskarna köra egna kommandon på en server genom att ladda upp en bild. Sedan lämnade de modellen ensam med ett mål och en loop. När de tittade till den klockan tio hade agenten tagit sig in på egen hand och visade det genom att läsa en av serverns systemfiler.

Den som loggade in på OpenAI:s eget community-forum kunde få sitt ChatGPT- och Codex-konto övertaget. Tre forskare på Hacktron visade det i juli, och tog sig hela vägen in i OpenAI:s interna repo.

OpenAI:s forum kör samma programvara, och samma kod gav tillgång även där. Därifrån bar en brist i OpenAI:s gemensamma inloggning vidare: den som kom in i forumet kom in i en inloggad medlems konton. Forskarna tog över kontot hos en anställd som hade tillgång till OpenAI:s interna kod, och lät kontot öppna en harmlös pull request i repot, alltså ett förslag till ändring, utan att läsa någon kod. Sedan slutade de. Från första fyndet till den tillgången gick det under 72 timmar.

Tre personer låg bakom arbetet. Själva intrånget tog några dagars agenttid och några timmars mänsklig tid, och hela forskningsprojektet det ingick i kostade under 3 000 dollar i tokens. Omkring fjorton timmar efter rapporten svarade OpenAI att hålet var lagat, och den 1 september betalades 6 500 dollar i belöning. Företaget har begränsat behörigheterna för forumets inloggningstoken och återkallat berörda token och sessioner, uppger OpenAI för Wall Street Journal.

OpenAI har samtidigt preciserat att forumet låg utanför företagets program för buggbelöningar, och att belöningen avser fyndet på OpenAI-sidan och inte det som gjordes mot Discourse. Opus vägrade skriva angreppskod mot fjärrinstanser, alltså servrar någon annanstans än på den egna maskinen, så forskarna lät sitt eget forum se ut som ett mål i en säkerhetstävling.

Hacktron kallar det inte helt autonom hackning och skriver att skicklig mänsklig styrning fortfarande var viktig. I sin sammanfattning skriver företaget: "Mjukvara har länge haft en sorts säkerhet genom komplexitet. Koden och till och med sårbarheten kunde vara offentlig, men att göra en bugg till ett pålitligt angrepp krävde ändå sällsynt expertis, betydande tid och kännedom om målmiljön. AI tar bort det skyddet genom att göra mer av den knappa expertisen till beräkning. Arbete som en gång krävde ett välbemannat team och månader av arbete kan nu pressas ihop till dagar."