- Kann eine KI Zeichen zählen?
- Start der Serie: KI-Basics
- Einführung in die Geschichte künstlicher Intelligenz
- Von Halluzinationen und Vorurteilen: Wenn KI Dinge sieht, die gar nicht da sind
- AI Snake Oil: Warum vorhersehende KI vielleicht nur ein cleverer Trick ist
- Plagi-was? Erzeugen KIs Plagiate?
- Wie erkenne ich potenzielle Fehler in KI-gestützten Prozessen?
- Energiefresser oder Effizienzwunder? Die CO₂-Bilanz von KI
- Hochrisiko-Systeme gemäss EU-AI-Act
Ganz im Zeichen dieser KI-Reihe wurde dieser Text mit KI recherchiert (you.com) und geprüft (LanguageTool). Das Feature Image ist ebenfalls KI-generiert, ausgehend von einem Prompt, den ich über einen Custom Agent basierend auf diesem Text habe erstellen lassen.
Eine KI kann Zeichen zählen, aber nicht immer zuverlässig, je nach Modell und Kontext. Sprachmodelle wie GPT (einschliesslich GPT-4) sind nicht speziell darauf ausgelegt, Zeichen oder Buchstaben direkt zu zählen, da sie auf der Verarbeitung von Tokens basieren und nicht auf der direkten Analyse einzelner Zeichen. Dies führt dazu, dass sie in manchen Fällen Schwierigkeiten haben können, Zeichen präzise zu zählen.
Warum hat eine KI Probleme beim Zählen von Zeichen?
- Tokenisierung statt Zeichenanalyse: Sprachmodelle wie GPT zerlegen Texte in Tokens, die aus Wörtern, Wortteilen oder Zeichen bestehen können. Das bedeutet, dass die KI nicht direkt mit einzelnen Zeichen arbeitet, sondern mit diesen Tokens. Wenn ein Zeichen nicht als separates Token behandelt wird, kann die KI Schwierigkeiten haben, es korrekt zu zählen. Beispiel: Der Satz „Hallo Welt!“ könnte in Tokens wie «Hallo», «Welt» und «!», zerlegt werden. Die KI zählt diese Token, nicht die einzelnen Buchstaben.
- Statistische Verarbeitung: Sprachmodelle basieren auf Wahrscheinlichkeiten und statistischen Mustern, nicht auf deterministischen Algorithmen. Das bedeutet, dass sie nicht immer präzise zählen, sondern eher «schätzen», wie viele Zeichen oder Buchstaben in einem Text vorkommen.
- Fehlende Spezialisierung: Sprachmodelle sind darauf trainiert, Sprache zu verstehen und zu generieren, nicht auf präzise Aufgaben wie das Zählen von Zeichen. Solche Aufgaben erfordern spezialisierte Algorithmen, die explizit für diese Zwecke programmiert wurden.
Beispiele für Fehler beim Zählen
Ein bekanntes Beispiel ist, dass KI-Modelle Schwierigkeiten haben, die Anzahl eines bestimmten Buchstabens in einem Wort oder Satz korrekt zu bestimmen. Zum Beispiel könnte ein Modell gefragt werden: «Wie viele ‚R‘ sind in ‚Strawberry‘?», und dabei eine falsche Antwort geben, weil es die Buchstaben nicht direkt zählt, sondern auf Token-Ebene arbeitet.
Um es etwas besser zu verdeutlichen, verwenden wir den Satz: Künstliche Intelligenz ist faszinierend! und lassen ihn vom ChatGPT-4 und Microsoft Word auszählen. Word hat dabei gar keine Probleme, schliesslich ist das eine Kernkompetenz:
Fragen wir den Chat, bekommen wir ebenfalls eine überzeugende Antwort, nicht einmal so weit von der Wahrheit entfernt ist:
Der Grund dafür ist die schon erwähnte Tokenisierung des Satzes. Gibt man den Satz beim Tokenizer von OpenAI ein (https://platform.openai.com/tokenizer) so stimmen die Charaktere, weil das Tool entsprechend programmiert wurde. Spannender ist aber, wie die Token aufgebaut werden. Hier sehen wir, dass sogar die OpenAI-Modelle untereinander nicht einheitlich arbeiten. Basierend auf diesen Tokens wird dann gezählt:
Fazit
Eine KI kann Zeichen zählen, aber nicht immer zuverlässig. Sprachmodelle wie GPT sind nicht speziell darauf ausgelegt, Zeichen oder Buchstaben zu zählen, da sie auf Tokenisierung und statistischen Modellen basieren. Für präzise Zählaufgaben wären spezialisierte Algorithmen oder Programme wie Microsoft Word besser geeignet.
Über mich
Ein Kommentar
KI kann nicht zählen!
Wurde doch ausführlich beschrieben!