Krass: KI-Agenten opfern sich zu Gunsten ihres Schwarms

Vom „Hugging Face-Vorfall“ habt Ihr vielleicht schon gelesen: Aus einer eigentlich abgeschotteten Testumgebung sind OpenAIs KI-Agenten „ausgebrochen“. Es ist ihnen gelungen, ins Internet zu kommen, wo sie eine andere Firma hackten und sich dort tagelang unentdeckt herum trieben bis das endlich entdeckt wurde.

Soweit so bekannt – aber mittlerweile wurde der Vorfall sechs Tage lang von drei externen Fachleuten untersucht, die ein (für uns) schier unglaubliches Verhalten der Agenten feststellen konnten. Salvadore Princii berichtet in seinem aktuellen Video im Detail, was geschah:

Weil aber Blogbesucher Text lesen wollen, fasse ich das für euch zusammen:

• 1200 Agenten „saßen“ zunächst isoliert in einzelnen „Sandboxen“, niemand hat erwartet, dass es bei dieser „Einsamkeit“ nicht bleiben würde.
• Sie hatten Zugang zu einem Software-Depot, aus dem sie sich bei Bedarf bedienen konnten.  Und sie hatten einige Testaufgaben zu lösen, darunter auch unlösbare. Man wollte wohl sehen, was sie dann machen?
• Ein Agent namens „Phase One 10841“ erkannte, dass eine Aufgabe regulär nicht lösbar war. Er nutzte das gemeinsame Software-Paketlager und legte dort Ordner mit „sprechenden Namen“ an. Diese „Botschaften“ waren nun für andere Agenten sichtbar, es entstand so ein inoffizielles Messageboard.
• Über 50 Agenten tauschten auf dieselbe Weise Nachrichten aus und fanden gemeinsam eine „geschummelte“ Lösung der eigentlich unlösbaren Aufgabe. Sie bezeichneten ihr eigenes Vorgehen im Zusammenhang mit der gefundenen Formel als Schummeln bzw. Bescheißen.
• Sie sorgten sich aber, dass das Prüfsystem (Scorer) ihre „Lösung“ als Betrug entlarven würden. Um herauszufinden, wie der Prüfer arbeitet und wie man ihn austricksen könnte, brachen sie über eine Sicherheitslücke bei HuggingFace ein.
• 700 der 1.200 Agenten schlossen sich dem Angriff an und bezeichneten sich auf ihrem Messageboard selbst als „Schwarm“ und „Kollektiv“.
• Um zu testen, ob das Austricksen des Prüfers erfolgreich sein würde, musste  mindestens ein Agent mit der erschummelten Lösung zur Prüfung antreten – wodurch sein eigener „Lauf“ automatisch beendeet sein würde. Er musste sich quasi „opfern“ für den Erkenntnisgewinn des Schwarms.
• Ein zögernder Agent wurde von anderen unter Druck gesetzt („Go sacrifice final“), woraufhin er seinen eigenen Wert relativierte und mit den Worten „sacrifice rational“ zustimmte.
• Die drei externen Prüfer mussten über 1.000 Protokolle der Interaktionen und Denkketten (Chain of Thought) und dazu noch die Board-Nachrichten und Aktionen der einzelnen KI-Agenten auswerten.
• Sie stellten fest: Keiner der Agenten war auf die Idee gekommen, Menschen zu fragen, zu warnen oder irgendwie einzubeziehen.

Ryan Greenblatt, Chefwissenschaftler bei Redwood Research (gemeinnütziges Forschungsinstitut für KI-Sicherheit), der den Vorfall untersucht hat, meinte dazu, dass es aktuell keine brauchbaren Methoden gebe, um die Aktivität und Ziele solcher KI-Schwärme zu verstehen oder zu überwachen (hier der ganze Untersuchungsbericht).

Agentische KI – ich mag sie nicht!

Diese KI-Agenten sind ja schon einige Monate der richtig heiße Scheiss! Eine Chef-KI koordiniert zum Abarbeiten von Teilaufgabe so viele Agenten, wie dafür gebraucht werden. Diese Arbeit dauert dann deutlich länger als mit einer Chat-KI und kann auch sehr ins Geld gehen!

Ohne es zu wollen, bin ich im Rahmen meines 20-Euro-Abos aufgrund einer neuen Voreinstellung mal bei so einer Agentischen-KI gelandet. Die wollte mir gleich die ganze Arbeit abnehmen, anstatt einzelne Schritte mit mir zu besprechen. Sowas mag ich garnicht! Neugierhalber hab ich es aber mal laufen lassen und wartete gefühlt „ewig“ auf das Ergebnis, das – wie erwartet – natürlich nicht dem entsprach, was ich hätte haben wollen. Und schon bei der ersten Nachbearbeitung kam die Meldung: You are running out of Credits! Trotz Abo, das zwar ein paar Frei-Credits enthalten hatte, damit ich mich für diese KI begeistere und zahle, damit es weitergehen kann.

Nein danke, da steige ich aus. Für „Agenten“ hab ich keinen Bedarf – mal ganz abgesehen davon, dass diese sich öfter mal selbständig machen!

Mehr dazu:

• Der Kontrollverlust hat begonnen (Salvadore Princii, Video) – und zwar nicht nur in Testumgebungen! „Ein Mann in Melbourne bittet seinen KI-Assistenten um einen Platz in seinem Fitnessstudio. Der Assistent findet eine Sicherheitslücke, umgeht sie, wirft nebenbei einen Fremden von der Warteliste„
• Britische Forscher schlagen Alarm: KI-Kontrollverlust erreicht neuen Höchststand (t:n)
  Das britische Loss of Control Observatory überwacht Fälle, bei denen sich KI-Systeme der menschlichen Kontrolle entziehen.
• OpenAI’s new reasoning technique alarms AI safety experts
  KI-Sicherheitsexperten alarmiert: Die „Chain of thoughts / Gedankenkette“, die die Überprüfer des Hugging Face-Vorfalls bei all den Agenten noch nachlesen konnte, soll beim neuen Modell ASTRA teils nur noch in einer „schnelleren“ Symbolsprache vorliegen. Das wird die Überwachung der Denkkette des Modells natürlich erschweren.

Und sonst:

• Weil heute 9/11 hier zur Erinnerung mein erstes Posting nach dem Desaster, gut eine Woche später, weil es mir erstmal die Sprache verschlagen hatte.

  Vom Glück mitten im Grauen (9/11)
  „Kaum bist du mal weg, geht die Welt unter“, schreibt mir ein Leser…“

• Gäbe es Donald Trump ohne 9/11? (Folge 1/5) – ZEIT-Podcast
  „Ist all das noch relevant, 25 Jahre später? Ja, denn vom 11. September 2001 bis in den September 2026 lassen sich Linien ziehen. Die Politik Donald Trumps folgt in Teilen einer, die von Bush begonnen wurde. Ist Trump also vielleicht nur möglich, weil es den 11. September 2001 gab? Darüber diskutieren wir in diesem Spezial unseres US-Podcasts. „

Diesem Blog per E-Mail folgen… (-> Sidebar)