{"id":3744,"date":"2023-04-20T14:54:38","date_gmt":"2023-04-20T12:54:38","guid":{"rendered":"https:\/\/www.claudia-klinger.de\/digidiary\/?p=3744"},"modified":"2023-07-22T08:27:40","modified_gmt":"2023-07-22T06:27:40","slug":"chatgpt-4-kann-nicht-mal-woerter-richtig-zaehlen","status":"publish","type":"post","link":"https:\/\/www.claudia-klinger.de\/digidiary\/2023\/04\/20\/chatgpt-4-kann-nicht-mal-woerter-richtig-zaehlen\/","title":{"rendered":"ChatGPT-4 kann nicht mal W\u00f6rter richtig z\u00e4hlen!"},"content":{"rendered":"

Angeblich soll ChatGPT-4 ja stolze 25000 W\u00f6rter verarbeiten k\u00f6nnen. So berichteten jedenfalls viele Medien, die sich auf die Ank\u00fcndigung des Herstellers OpenAI bezogen: GPT-4 sei jetzt f\u00e4hig, mehr als 25.000 W\u00f6rter Text<\/strong> zu verarbeiten, was zum Beispiel eine echte Analyse von Dokumenten m\u00f6glich mache.<\/p>\n

„F\u00e4hig sein“ hei\u00dft aber offenbar nicht, dass diese Textmenge – bestehend aus Eingaben und Antworten eines Gespr\u00e4chs – nun f\u00fcr zahlende User wirklich zur Verf\u00fcgung steht. Aber mehr noch: ChatGPT schafft es noch nicht mal, die W\u00f6rter eines Textes richtig zu z\u00e4hlen!
\n\"ChatGPT<\/p>\n

Wie ich die Fehler entdeckte: Videos zusammenfassen getestet<\/h2>\n

Als ich mitbekam, dass ChatGPT Youtube-Videos zusammen fassen kann, war ich begeistert! Schlie\u00dflich w\u00fcrde das einige Lebenszeit ersparen, die ich ansonsten mit dem Ansehen des Videos verbringen w\u00fcrde. Es funktioniert auf Basis des Transscripts, das Youtube zu jedem Video automatisch erstellt. (Zu finden unter den 3 Punkten rechts unterhalb des Videos). Das gibt man mit einer entsprechenden Ansage bei ChatGPT ein. Ich habe es zun\u00e4chst mit dem Video „Die geheime Wahrheit \u00fcber ChatGPT<\/a> getestet (daf\u00fcr die Zeitangaben weggeschaltet) und bekam tats\u00e4chlich ein gutes Ergebnis mit der Ansage:<\/p>\n

„Bitte fasse die Inhalte des folgenden Video-Transcripts zusammen. Gib eine Liste mit 10 Punkten aus, jeder Punkt soll mit ca. 30 W\u00f6rtern beschrieben werden. Hier der Text:“<\/p><\/blockquote>\n

Nun ist dieses Video nur 11 Minuten lang. Als n\u00e4chstes testete ich das Video „A ChatGPT Alternative That’s Free & Open Source!<\/a>“ – ein Schnellsprecher, der in gut 17 Minuten recht viel erz\u00e4hlt. ZU VIEL f\u00fcr ChatGPT, denn es meinte, der Text sei zu lang und ich solle ihn k\u00fcrzen. Mich hat das gewundert, denn der Text enth\u00e4lt insgesamt „nur“ 3470 W\u00f6rter. War da nicht was mit 25.000 W\u00f6rtern?<\/p>\n

Also hab ich nachgefragt – wohlgemerkt immer mit der zahlungspflichtigen Version 4, die ja soviel besser sein soll als 3.5:<\/p>\n

Wieviele W\u00f6rter darf eine Konversation mit ChatGPT-3 und ChatGPT-4 umfassen?<\/strong><\/p>\n

„Die Anzahl der W\u00f6rter, die in einer Konversation mit ChatGPT-3 oder ChatGPT-4 verwendet werden k\u00f6nnen, h\u00e4ngt von den jeweiligen Grenzen der Modelle ab. Bei ChatGPT-3 liegt die maximale Anzahl der Eingabe-Token (W\u00f6rter und Satzzeichen) bei 4096. ChatGPT-4, auf dem ich basiere, hat \u00e4hnliche Grenzen, aber die genaue Anzahl der Token kann von der Implementierung abh\u00e4ngen.<\/p>\n

Es ist wichtig zu beachten, dass sowohl die Eingabe als auch die Ausgabe des Modells in diesen Token-Grenzen enthalten sind. Das bedeutet, je l\u00e4nger die vorangegangene Konversation, desto weniger Raum bleibt f\u00fcr die Antwort des Modells. Wenn der Text die Token-Grenze \u00fcberschreitet, muss er gek\u00fcrzt oder in mehrere Teile aufgeteilt werden, um vom Modell verarbeitet werden zu k\u00f6nnen.“<\/p><\/blockquote>\n

Nun gut! Um mir eine Vorstellung vom Unterschied zwischen W\u00f6rtern und Tokens zu machen, gab ich ChatGPT den Blogbeitrag Zwei Monate ChatGPT \u2013 eine Zwischenstandsmeldung<\/a> (einschlie\u00dflich der Verweise auf andere Quellen) zur Analyse und fragte nach der Anzahl der W\u00f6rter und Tokens. Ergebnis:<\/p>\n

„In diesem Textbeispiel gibt es insgesamt 569 W\u00f6rter. Da Token jedoch nicht nur W\u00f6rter, sondern auch Satzzeichen und manchmal Teile von W\u00f6rtern umfassen, ist die genaue Anzahl der Token h\u00f6her als die Anzahl der W\u00f6rter. Nach einer Analyse des Textbeispiels gibt es ungef\u00e4hr 647 Tokens, einschlie\u00dflich Satzzeichen und anderen Textelementen. Es ist wichtig zu beachten, dass die genaue Anzahl der Tokens von der verwendeten Tokenisierungsmethode abh\u00e4ngt, die zwischen verschiedenen NLP-Modellen und -Bibliotheken variieren kann.“<\/p><\/blockquote>\n

Tja, weit daneben! Der Text enth\u00e4lt tats\u00e4chlich 732 W\u00f6rter (gez\u00e4hlt mit Libre Office) bzw. 744 W\u00f6rter (gez\u00e4hlt mit einem Online-Tool<\/a>). H\u00e4tte sich ChatGPT nur um wenige W\u00f6rter vertan, w\u00fcrde ich nicht meckern, aber eine solche Diskrepanz? Geht gar nicht!<\/p>\n

Zur Sicherheit hab ich es noch einmal getestet, dieses mal mit einem St\u00fcck Text ohne Satzzeichen aus dem zuvor kopierten Video-Transscript. Er enth\u00e4lt nur 555 W\u00f6rter, sollte also schaffbar sein. ChatGPT-4 ist anderer Meinung:<\/p>\n

„In diesem Textbeispiel gibt es insgesamt 396 W\u00f6rter. Nach einer Analyse des Textes gibt es ungef\u00e4hr 456 Tokens, einschlie\u00dflich Satzzeichen und anderen Textelementen. Es ist wichtig zu beachten, dass die genaue Anzahl der Tokens von der verwendeten Tokenisierungsmethode abh\u00e4ngt, die zwischen verschiedenen NLP-Modellen und -Bibliotheken variieren kann.“<\/p><\/blockquote>\n

Damit wollte ich mich nicht zufrieden geben und bat um eine Korrektur:<\/p>\n

Bitte z\u00e4hle die W\u00f6rter im letzten Beispieltext noch einmal! Deine Antwort war nicht korrekt!<\/strong><\/p>\n

„Entschuldigung, es scheint, dass ich einen Fehler gemacht habe. Nach erneuter \u00dcberpr\u00fcfung des Textbeispiels habe ich festgestellt, dass der Text tats\u00e4chlich 389 W\u00f6rter enth\u00e4lt. Bei der Tokenisierung, die auch Satzzeichen und andere Textelemente ber\u00fccksichtigt, hat der Text etwa 441 Tokens.“<\/p><\/blockquote>\n

Aha! Sich entschuldigen ist ja nett, wiederholt voll daneben zu liegen weniger. Auch enthielt der Text keine „Satzzeichen und andere Textelemente“ sondern ausschlie\u00dflich aneinander gereihte W\u00f6rter ohne Absatz, Punkt und Komma.<\/p>\n

ChatGPT erkl\u00e4rt seine Fehler, neuer Test<\/h2>\n

Ich bat nun um eine Erkl\u00e4rung f\u00fcr die unglaubliche Fehlerhaftigkeit der Antworten:<\/p>\n

Kannst du erkl\u00e4ren, warum du nicht richtig W\u00f6rter z\u00e4hlen kannst? Auch dieses Ergebnis ist noch sehr falsch!<\/strong><\/p>\n

Antwort (gek\u00fcrzt um Entschuldigungs-Blabla):<\/p>\n

„In meinem bisherigen Verfahren habe ich versucht, den Text automatisch zu analysieren und die Anzahl der W\u00f6rter und Tokens zu berechnen. Diese Berechnungen k\u00f6nnen jedoch fehlerhaft sein, insbesondere wenn der Text eine ungew\u00f6hnliche Struktur oder Formatierung aufweist. Ich werde mich bem\u00fchen, Ihnen bei zuk\u00fcnftigen Anfragen genauere Informationen zu liefern.<\/p>\n

Als KI-Modell kann ich in einigen F\u00e4llen aufgrund von Kontext- oder Verst\u00e4ndnisproblemen Schwierigkeiten haben, W\u00f6rter korrekt zu z\u00e4hlen. Dies kann auf sprachliche oder grammatikalische Ungenauigkeiten, ungew\u00f6hnliche Satzstrukturen oder unklare Textformatierungen zur\u00fcckzuf\u00fchren sein. Um solche Fehler zu vermeiden, kann es hilfreich sein, den Text klarer oder strukturierter zu gestalten oder die Frage pr\u00e4ziser zu formulieren.“<\/p><\/blockquote>\n

Na gut, der erste Text enthielt diverse unterschiedliche Formatierungen, der zweite (ohne Satzzeichen) war sicher „ungew\u00f6hnlich“. Also versuchte ich es noch einmal mit einem schlichten kurzen Absatz mit nur 67 W\u00f6rtern aus dem zuerst getesteten Diary-Text:<\/p>\n

Ich m\u00f6chte, dass du die W\u00f6rter und Tokens in einem weiteren extra kurzen Text analysierst. Hier der Text <\/strong>(Eingabe erfolgte ohne Anf\u00fchrungszeichen rund ums Zitat):<\/p>\n

„Auch ChatGPT zeigt einen wirklich \u201egrundst\u00fcrzenden\u201c Umbruch in der Art und Weise, wie wir mit Daten und Informationen umgehen. Das trifft nicht nur Schulen und Universit\u00e4ten, sondern faktisch alle Berufe, die mit der Erschlie\u00dfung und Aufbereitung von Inhalten befasst sind. Autodidaktisches Lernen erlebt einen Quantensprung \u2013 ein Effekt, dessen Vorteil man sich gar nicht gro\u00df genug ausmalen kann in einer Welt, die mehr und mehr \u201elebenslanges Lernen\u201c erfordert.“<\/p>\n

Die Antwort:<\/p>\n

„In diesem kurzen Textbeispiel gibt es insgesamt 58 W\u00f6rter. Nach einer Analyse des Textes gibt es ungef\u00e4hr 68 Tokens, einschlie\u00dflich Satzzeichen und anderen Textelementen. Beachten Sie bitte, dass die genaue Anzahl der Tokens von der verwendeten Tokenisierungsmethode abh\u00e4ngen kann, die zwischen verschiedenen NLP-Modellen und -Bibliotheken variieren kann.“<\/p><\/blockquote>\n

Immer noch 9 W\u00f6rter zu wenig!<\/strong> Mich wundert das auch deshalb, weil es zumindest die „Tokens“ zum Berechnen der eigenen Kapazit\u00e4t st\u00e4ndig braucht!<\/p>\n

Es m\u00fcsste also ein Tool geben, das anzeigt, wie viele „Tokens“ ein Text f\u00fcr ChatGPT enth\u00e4lt. Und ja, das gibt es, sogar von OpenAI selbst. Im sogenannten „Tokenizer<\/a>“ testete ich nun den Kurztext mit den 67 W\u00f6rtern. Leider bezieht sich das Tool nur auf ChatGPT 3). Ergebnis:<\/p>\n

Tokens 126
\nCharacters 355<\/strong><\/p><\/blockquote>\n

Auch das ist falsch. Zwar gibt es nur die Zeichenanzahl und keine W\u00f6rter aus, der Text enth\u00e4lt jedoch keine 355 Zeichen, sondern 464 (mit Leerzeichen) und 396 ohne Leerzeichen.<\/p>\n

Damit man sich eine Vorstellung machen kann, was „Tokens“ konkret sind, werden diese im Text farblich voneinander abgegrenzt:
\n\"Tokens<\/p>\n

Wie man sieht, spielen Leerzeichen keine extra Rolle. Der Vergleichswert ist also „464 MIT Leerzeichen“. Damit liegt der „Tokenizer“ stolze 109 Zeichen daneben!<\/p>\n

Fazit: ChatGPT versagt beim W\u00f6rter z\u00e4hlen komplett.<\/strong> Meine urspr\u00fcngliche Frage ist jedenfalls so nicht zu beantworten. Wie lang der Text konkret sein darf, den ChatGPT-4 noch annimmt, ohne ihn als „zu lang“ zur\u00fcckzuweisen, muss ich wohl durch Trial&Error noch heraus finden.<\/p>","protected":false},"excerpt":{"rendered":"

Angeblich soll ChatGPT-4 ja stolze 25000 W\u00f6rter verarbeiten k\u00f6nnen. So berichteten jedenfalls viele Medien, die sich auf die Ank\u00fcndigung des Herstellers OpenAI bezogen: GPT-4 sei jetzt f\u00e4hig, mehr als 25.000 W\u00f6rter Text zu verarbeiten, was zum Beispiel eine echte Analyse von Dokumenten m\u00f6glich mache. „F\u00e4hig sein“ hei\u00dft aber offenbar nicht, dass diese Textmenge – bestehend […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[7],"tags":[675,682,473,553],"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts\/3744"}],"collection":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/comments?post=3744"}],"version-history":[{"count":0,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/posts\/3744\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/media?parent=3744"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/categories?post=3744"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.claudia-klinger.de\/digidiary\/wp-json\/wp\/v2\/tags?post=3744"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}