Token bei KI: Bedeutung, Berechnung und Kosten einfach erklärt

Donaudampfschifffahrtsgesellschaftskapitän braucht bei GPT-4o genau 13 Token, ein einziges deutsches Wort zerlegt in 13 Bruchstücke. Genau das ist ein Token bei KI: die kleinste Texteinheit, mit der ChatGPT, Claude, Gemini und Copilot überhaupt arbeiten können. Kein Modell liest Buchstaben oder ganze Sätze, es liest ausschließlich Token, und jedes einzelne davon kostet Rechenzeit, Kontextfenster und bei API-Nutzung auch Geld.

Wer verstehen will, warum eine Chat-Antwort plötzlich abbricht, warum lange deutsche Wörter teurer sind als englische, oder warum ChatGPT die Buchstaben in einem simplen Wort manchmal falsch zählt, kommt an diesem Konzept nicht vorbei. Dieser Artikel erklärt Token von Grund auf, mit echten, live geprüften Beispielen statt bloßer Theorie.

Was sind Token bei KI?

Ein Token ist die kleinste Einheit, in die ein KI-Modell Text zerlegt, bevor es ihn verarbeitet. Der Begriff stammt ursprünglich aus der Computerlinguistik und dem Übersetzerbau, wo er einzelne Bausteine eines Textes oder Programmcodes bezeichnet. Bei modernen Sprachmodellen, den sogenannten Large Language Models, hat sich dieselbe Idee durchgesetzt: ChatGPT, Claude, Gemini und Copilot zerlegen jede Eingabe in Token, wandeln diese in Zahlen um und arbeiten intern ausschließlich mit dieser numerischen Darstellung.

Ein Token kann ein ganzes Wort sein, ein Wortteil, ein einzelnes Zeichen oder ein Satzzeichen. Wie fein die Zerlegung ausfällt, hängt vom jeweiligen Tokenizer des Modells ab, nicht von festen Regeln.

Wie funktioniert Tokenisierung technisch?

Fast alle modernen Sprachmodelle nutzen für die Zerlegung ein Verfahren namens Byte-Pair-Encoding, kurz BPE. Die Grundidee: Der Tokenizer beginnt bei einzelnen Zeichen und fasst die Zeichenpaare, die im Trainingstext am häufigsten nebeneinander auftauchen, schrittweise zu größeren Einheiten zusammen. Häufige Wörter wie „der“ oder „und“ landen dadurch irgendwann als ein einziges Token im Wortschatz, seltene oder zusammengesetzte Wörter bleiben in mehrere Bruchstücke zerlegt.

OpenAI implementiert dieses Verfahren in der offenen Bibliothek Tiktoken, die auch diesem Artikel als Grundlage für alle Zahlenbeispiele dient. Wichtig zu wissen: Jede Modellfamilie bringt einen eigenen, unterschiedlich trainierten Tokenizer mit. GPT-4o und neuere OpenAI-Modelle nutzen die Kodierung o200k_base mit rund 200.000 Token im Wortschatz, ältere GPT-3.5- und GPT-4-Modelle die kleinere Kodierung cl100k_base. Claude und Gemini verwenden jeweils eigene, nicht öffentlich als Bibliothek verfügbare Tokenizer, das Grundprinzip Byte-Pair-Encoding beziehungsweise verwandte Subword-Verfahren bleibt aber vergleichbar.

Am eigenen Satz lässt sich das direkt beobachten. Der folgende Satz zerfällt bei GPT-4o in 13 einzelne Bruchstücke, nicht in 8 Wörter:

Wie viele Token hat mein eigener Text? Zwei Tools im Vergleich

Theorie ist das eine, der eigene Text das andere. Zwei kostenlose Tools zeigen die tatsächliche Zerlegung, ohne dass eine Codezeile nötig ist.

Claude bietet dagegen kein öffentliches Web-Tool zum Ausprobieren, sondern einen kostenlosen Token-Counting-Endpunkt in der API, gedacht für Entwickler, die die Kosten einer Anfrage vorab prüfen wollen, bevor sie tatsächlich gesendet wird.

Warum ist Deutsch teurer als Englisch in Token?

Die meisten großen Sprachmodelle wurden überwiegend mit englischsprachigen Texten trainiert. Ihr Wortschatz an fertigen Token-Bausteinen ist dadurch für Englisch optimiert, gängige englische Wörter landen häufiger als ein einziges Token im Vokabular. Deutsch fällt seltener zusammen, vor allem wegen langer Komposita und starker Flexion, und wird deshalb im Schnitt in mehr, kleinere Bruchstücke zerlegt.

Am deutlichsten wird der Unterschied bei langen Komposita, einer deutschen Spezialität. Das folgende, tatsächlich existierende Wort zerfällt bei GPT-4o in 13 einzelne Token, mehr als mancher komplette Satz:

Ein Effekt, der sich direkt auf Kosten auswirkt: Wer denselben Prompt auf Englisch statt Deutsch formuliert, spart bei ansonsten identischem Inhalt spürbar Token, gerade bei System-Prompts, die bei jeder einzelnen Anfrage neu mitgeschickt werden.

Warum zählt ChatGPT die Buchstaben in einem Wort manchmal falsch?

Ein bekanntes Phänomen: KI-Chatbots zählen gelegentlich die Buchstaben in einfachen Wörtern falsch, etwa wie oft ein bestimmter Buchstabe vorkommt. Die Ursache liegt exakt in der Tokenisierung. Ein Modell sieht niemals einzelne Buchstaben, sondern nur die Token-Bruchstücke, in die ein Wort zerlegt wurde.

Am deutschen Wort „Erdbeere“ lässt sich das direkt nachvollziehen. Es enthält viermal den Buchstaben „e“, GPT-4o zerlegt es aber in vier Token, die nicht an den Buchstabengrenzen ausgerichtet sind:

Das Modell „weiß“ also nicht auf einen Blick, wie viele „e“ in „Erdbeere“ stecken, es müsste die Information implizit aus den vier Bruchstücken rekonstruieren, eine Aufgabe, für die Sprachmodelle nicht optimiert sind. Genau derselbe Effekt sorgt dafür, dass KI-Modelle gelegentlich Wörter falsch buchstabieren oder Zeichenketten nicht korrekt umkehren können. Mehr dazu, inklusive weiterer Beispiele, im Artikel zu KI-Rechtschreibfehlern.

Wie hängen Token, Kosten und Kontextfenster zusammen?

Bei API-Zugängen von Claude, ChatGPT und Gemini wird nach Token abgerechnet, getrennt nach Eingabe- und Ausgabe-Token, meist zu unterschiedlichen Preisen. Das Kontextfenster wiederum ist die Obergrenze, wie viele Token ein Modell insgesamt gleichzeitig im Blick behalten kann, System-Prompt, bisheriger Chatverlauf und die aktuelle Antwort zusammengerechnet.

Wichtig: Das Kontextfenster in der Chat-Oberfläche eines Anbieters ist fast immer kleiner als das, was das zugrunde liegende Modell über die API technisch verarbeiten kann. Wer regelmäßig an Grenzen stößt, findet praktische Gegenmaßnahmen im Artikel Token sparen bei Claude und ChatGPT, von Prompt-Struktur bis zum richtigen Zeitpunkt für einen neuen Chat.

Token-Referenztabelle: Wie viele Token sind das eigentlich?

Abstrakte Zahlen wie „200.000 Token“ sagen wenig, ohne einen Vergleichswert aus dem Alltag. Die folgende Tabelle ordnet typische Textmengen ein, berechnet mit dem GPT-4o-Tokenizer beziehungsweise anhand des ermittelten deutschen Richtwerts von 1,75 Token pro Wort:

Wie wirken sich Sonderzeichen und Emojis auf Tokens aus?

Satzzeichen zählen fast immer als eigenes Token, unabhängig von der Sprache. Bei Emojis ist der Effekt größer und weniger vorhersehbar: Ein einfaches, häufiges Emoji wie 😀 landet oft als ein einziges Token im Wortschatz, weil es im Training oft genug vorkam. Kombinierte oder seltenere Emojis wie ✅⚡ dagegen werden auf Byte-Ebene zerlegt und können auf mehrere Token aufgeteilt werden, live geprüft waren es in diesem Fall drei Token für zwei Zeichen.

Für die Praxis bedeutet das: Wer viele Emojis oder ungewöhnliche Sonderzeichen in Prompts oder automatisierten Texten verwendet, sollte den tatsächlichen Verbrauch im Zweifel direkt mit einem Tokenizer-Tool prüfen, statt sich auf eine Faustregel zu verlassen.

Fazit: Warum Token mehr sind als eine technische Randnotiz

Token sind die Währung, mit der jedes Sprachmodell rechnet, egal ob im kostenlosen Chat oder über eine kostenpflichtige API. Wer versteht, wie Tokenisierung funktioniert, versteht auch, warum Deutsch teurer ist als Englisch, warum lange Komposita Kontextfenster schneller füllen, und warum selbst starke Modelle beim Buchstabenzählen scheitern können.

Nächster Schritt: Den eigenen Text im OpenAI Tokenizer oder Tiktokenizer live prüfen, dann im Artikel Token sparen bei Claude und ChatGPT nachlesen, wie sich der Verbrauch im Alltag konkret senken lässt.

Häufige Fragen zu Token bei KI