{"id":5067,"date":"2026-09-11T14:10:36","date_gmt":"2026-09-11T12:10:36","guid":{"rendered":"https:\/\/www.claudia-klinger.de\/digidiary\/?p=5067"},"modified":"2026-09-11T15:13:25","modified_gmt":"2026-09-11T13:13:25","slug":"krass-ki-agenten-opfern-sich-zu-gunsten-ihres-schwarms","status":"publish","type":"post","link":"https:\/\/www.claudia-klinger.de\/digidiary\/2026\/09\/11\/krass-ki-agenten-opfern-sich-zu-gunsten-ihres-schwarms\/","title":{"rendered":"Krass: KI-Agenten opfern sich zu Gunsten ihres Schwarms"},"content":{"rendered":"<p>Vom &#8222;Hugging Face-Vorfall&#8220; habt Ihr vielleicht schon gelesen: Aus einer eigentlich abgeschotteten Testumgebung sind OpenAIs KI-Agenten &#8222;ausgebrochen&#8220;. Es ist ihnen gelungen, ins Internet zu kommen, wo sie eine andere Firma hackten und sich dort tagelang unentdeckt herum trieben bis das endlich entdeckt wurde.<\/p>\n<p>Soweit so bekannt &#8211; aber mittlerweile wurde der Vorfall sechs Tage lang von drei externen Fachleuten untersucht, die ein (f\u00fcr uns) schier unglaubliches Verhalten der Agenten feststellen konnten. <a href=\"https:\/\/www.youtube.com\/watch?v=2VIFhftvljE\" target=\"_blank\" rel=\"noopener\">Salvadore Princii berichtet in seinem aktuellen Video<\/a> im Detail, was geschah:<\/p>\n<p><iframe loading=\"lazy\" title=\"YouTube video player\" src=\"https:\/\/www.youtube-nocookie.com\/embed\/2VIFhftvljE?si=pjG8EVMcoVgZyMo9\" width=\"560\" height=\"315\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p>Weil aber Blogbesucher Text lesen wollen, fasse ich das f\u00fcr euch zusammen:<\/p>\n<ul>\n<li>1200 Agenten &#8222;sa\u00dfen&#8220; zun\u00e4chst isoliert in einzelnen &#8222;Sandboxen&#8220;, niemand hat erwartet, dass es bei dieser &#8222;Einsamkeit&#8220; nicht bleiben w\u00fcrde.<\/li>\n<li>Sie hatten Zugang zu einem Software-Depot, aus dem sie sich bei Bedarf bedienen konnten.\u00a0 Und sie hatten einige Testaufgaben zu l\u00f6sen, darunter auch unl\u00f6sbare. Man wollte wohl sehen, was sie dann machen?<\/li>\n<li>Ein Agent namens <i data-path-to-node=\"4,1,0\" data-index-in-node=\"17\">\u201ePhase One 10841\u201c<\/i> erkannte, dass eine Aufgabe regul\u00e4r nicht l\u00f6sbar war. Er nutzte das gemeinsame Software-Paketlager und legte dort Ordner mit &#8222;sprechenden Namen&#8220; an. Diese &#8222;Botschaften&#8220; waren nun f\u00fcr andere Agenten sichtbar, es entstand so  ein inoffizielles Messageboard.<\/li>\n<li>\u00dcber 50 Agenten tauschten auf dieselbe Weise Nachrichten aus und fanden gemeinsam eine &#8222;geschummelte&#8220; L\u00f6sung der eigentlich unl\u00f6sbaren Aufgabe. Sie bezeichneten ihr eigenes Vorgehen im Zusammenhang mit der gefundenen Formel als Schummeln bzw. Beschei\u00dfen.<\/li>\n<li>Sie sorgten sich aber, dass das Pr\u00fcfsystem (Scorer) ihre &#8222;L\u00f6sung&#8220; als Betrug entlarven w\u00fcrden. Um herauszufinden, wie der Pr\u00fcfer arbeitet und wie man ihn austricksen k\u00f6nnte, brachen sie \u00fcber eine Sicherheitsl\u00fccke bei HuggingFace ein.<\/li>\n<li>700 der 1.200 Agenten schlossen sich dem Angriff an und bezeichneten sich auf ihrem Messageboard selbst als <i data-path-to-node=\"4,4,0\" data-index-in-node=\"141\">\u201eSchwarm\u201c<\/i> und <i data-path-to-node=\"4,4,0\" data-index-in-node=\"155\">\u201eKollektiv\u201c.<\/i><\/li>\n<li>Um zu testen, ob das Austricksen des Pr\u00fcfers erfolgreich sein w\u00fcrde, musste\u00a0 mindestens ein Agent mit der erschummelten L\u00f6sung zur Pr\u00fcfung antreten &#8211; wodurch sein eigener &#8222;Lauf&#8220; automatisch beendeet sein w\u00fcrde. Er musste sich quasi &#8222;opfern&#8220; f\u00fcr den Erkenntnisgewinn des Schwarms.<\/li>\n<li>Ein z\u00f6gernder Agent wurde von anderen unter Druck gesetzt (<i data-path-to-node=\"6,5,0\" data-index-in-node=\"59\">\u201eGo sacrifice final\u201c<\/i>), woraufhin er seinen eigenen Wert relativierte und mit den Worten <i data-path-to-node=\"6,5,0\" data-index-in-node=\"155\">\u201esacrifice rational\u201c<\/i> zustimmte.<\/li>\n<li>Die drei externen Pr\u00fcfer mussten \u00fcber 1.000\u00a0Protokolle der Interaktionen und Denkketten (<i data-path-to-node=\"0\" data-index-in-node=\"90\">Chain of Thought<\/i>) und dazu noch die Board-Nachrichten und Aktionen der einzelnen KI-Agenten auswerten.<\/li>\n<li>Sie stellten fest: Keiner der Agenten war auf die Idee gekommen, Menschen zu fragen, zu warnen oder irgendwie einzubeziehen.<\/li>\n<\/ul>\n<p>Ryan Greenblatt, Chefwissenschaftler bei Redwood Research (gemeinn\u00fctziges Forschungsinstitut f\u00fcr KI-Sicherheit), der den Vorfall untersucht hat, meinte dazu, dass es aktuell keine brauchbaren Methoden gebe, um die Aktivit\u00e4t und Ziele solcher KI-Schw\u00e4rme zu verstehen oder zu \u00fcberwachen (hier der <a href=\"https:\/\/www.redwoodresearch.org\/research\/hugging-face-incident#core-takeaways-about-this-incident\" target=\"_blank\" rel=\"noopener\">ganze Untersuchungsbericht<\/a>).<\/p>\n<h2>Agentische KI &#8211; ich mag sie nicht!<\/h2>\n<p>Diese KI-Agenten sind ja schon einige Monate der richtig hei\u00dfe Scheiss! Eine Chef-KI koordiniert zum Abarbeiten von Teilaufgabe so viele Agenten, wie daf\u00fcr gebraucht werden. Diese Arbeit dauert dann deutlich l\u00e4nger als mit einer Chat-KI und <a href=\"https:\/\/www.klamm.de\/news\/was-agentische-ki-kostet-4N1311648.html\" target=\"_blank\">kann auch sehr ins Geld gehen<\/a>! <\/p>\n<p>Ohne es zu wollen, bin ich im Rahmen meines 20-Euro-Abos aufgrund einer neuen Voreinstellung mal bei so einer Agentischen-KI gelandet. Die wollte mir gleich die ganze Arbeit abnehmen, anstatt einzelne Schritte mit mir zu besprechen. Sowas mag ich garnicht! Neugierhalber hab ich es aber mal laufen lassen und wartete gef\u00fchlt &#8222;ewig&#8220; auf das Ergebnis, das &#8211; wie erwartet &#8211; nat\u00fcrlich nicht dem entsprach, was ich h\u00e4tte haben wollen. Und schon bei der ersten Nachbearbeitung kam die Meldung: <strong><em>You are running out of Credits!<\/em><\/strong> Trotz Abo, das zwar ein paar Frei-Credits enthalten hatte, damit ich mich f\u00fcr diese KI begeistere und zahle, damit es weitergehen kann.<\/p>\n<p>Nein danke, da steige ich aus. F\u00fcr &#8222;Agenten&#8220; hab ich keinen Bedarf &#8211; mal ganz abgesehen davon, dass diese sich \u00f6fter mal selbst\u00e4ndig machen!<\/p>\n<p><strong>Mehr dazu:<\/strong><\/p>\n<ul>\n<li><a href=\"https:\/\/www.youtube.com\/watch?v=LS_r3zCM-YA\" target=\"_blank\" rel=\"noopener\"><strong>Der Kontrollverlust hat begonnen (Salvadore Princii, Video)<\/strong><\/a> &#8211; und zwar nicht nur in Testumgebungen! &#8222;<em>Ein Mann in Melbourne bittet seinen KI-Assistenten um einen Platz in seinem Fitnessstudio. Der Assistent findet eine Sicherheitsl\u00fccke, umgeht sie, wirft nebenbei einen Fremden von der Warteliste<\/em>&#8222;<\/li>\n<li><a href=\"https:\/\/t3n.de\/news\/britische-forscher-schlagen-alarm-ki-kontrollverlust-erreicht-neuen-hoechststand-1760621\/\" target=\"_blank\" rel=\"noopener\"><strong>Britische Forscher schlagen Alarm: KI-Kontrollverlust erreicht neuen H\u00f6chststand (t:n)<\/strong><\/a><br \/>\nDas britische Loss of Control Observatory \u00fcberwacht F\u00e4lle, bei denen sich KI-Systeme der menschlichen Kontrolle entziehen.<\/li>\n<li><a href=\"https:\/\/techcrunch.com\/2026\/09\/02\/openais-new-reasoning-technique-alarms-ai-safety-experts\/\" target=\"_blank\" rel=\"noopener\"><strong>OpenAI\u2019s new reasoning technique alarms AI safety experts<\/strong><\/a><br \/>\nKI-Sicherheitsexperten alarmiert: Die &#8222;Chain of thoughts \/ Gedankenkette&#8220;, die die \u00dcberpr\u00fcfer des Hugging Face-Vorfalls bei all den Agenten noch nachlesen konnte, soll beim neuen Modell ASTRA teils nur noch in einer &#8222;schnelleren&#8220; Symbolsprache vorliegen. Das wird die \u00dcberwachung der Denkkette des Modells nat\u00fcrlich erschweren.\n<\/li>\n<\/ul>\n<p><strong>Und sonst:<\/strong><\/p>\n<ul>\n<li>Weil heute 9\/11 hier zur Erinnerung mein erstes Posting nach dem Desaster, gut eine Woche sp\u00e4ter, weil es mir erstmal die Sprache verschlagen hatte.\n<p><a href=\"https:\/\/www.claudia-klinger.de\/digidiary\/2001\/09\/18\/vom-glueck-mitten-im-grauen\/\" target=\"_blank\"><strong>Vom Gl\u00fcck mitten im Grauen (9\/11)<\/strong><\/a><br \/>\n\u201eKaum bist du mal weg, geht die Welt unter\u201c, schreibt mir ein Leser&#8230;&#8220;<\/li>\n<li><a href=\"https:\/\/www.youtube.com\/watch?v=UaFRcvzZukk\" target=\"_blank\"><strong>G\u00e4be es Donald Trump ohne 9\/11? (Folge 1\/5) &#8211; ZEIT-Podcast<\/strong><\/a><br \/>\n&#8222;Ist all das noch relevant, 25 Jahre sp\u00e4ter? Ja, denn vom 11. September 2001 bis in den September 2026 lassen sich Linien ziehen. Die Politik Donald Trumps folgt in Teilen einer, die von Bush begonnen wurde. Ist Trump also vielleicht nur m\u00f6glich, weil es den 11. September 2001 gab? Dar\u00fcber diskutieren wir in diesem Spezial unseres US-Podcasts. &#8222;<\/li>\n<\/ul>","protected":false},"excerpt":{"rendered":"<p>Vom &#8222;Hugging Face-Vorfall&#8220; habt Ihr vielleicht schon gelesen: Aus einer eigentlich abgeschotteten Testumgebung sind OpenAIs KI-Agenten &#8222;ausgebrochen&#8220;. Es ist ihnen gelungen, ins Internet zu kommen, wo sie eine andere Firma hackten und sich dort tagelang unentdeckt herum trieben bis das endlich entdeckt wurde. Soweit so bekannt &#8211; aber mittlerweile wurde der Vorfall sechs Tage lang [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[687],"tags":[],"class_list":["post-5067","post","type-post","status-publish","format-standard","hentry","category-kuenstliche-intelligenz"],"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts\/5067","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/comments?post=5067"}],"version-history":[{"count":0,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts\/5067\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/media?parent=5067"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/categories?post=5067"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/tags?post=5067"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}