Kurz erklärt · Folge 15 · 0:39
Was ist ein Token? Wie die KI Text liest
Der Igel zerschnippelt mit der Schere einen langen Papierstreifen. Genau so geht eine KI mit deinem Text um: Sie liest ihn nicht Wort für Wort, sondern in kleinen Stücken, die Tokens heißen.
Bevor eine KI deinen Text verarbeitet, zerlegt sie ihn in Tokens. Das sind kleine Textstücke: Kurze Wörter bleiben oft ganz, lange oder seltene Wörter werden in mehrere Teile geschnitten. Weil die KI nur diese Stücke sieht und keine einzelnen Buchstaben, verzählt sie sich manchmal, wenn sie zum Beispiel Buchstaben in einem Wort zählen soll. Tokens spielen auch bei Preisen und Grenzen vieler KI-Dienste eine Rolle, denn oft wird in Tokens gerechnet statt in Wörtern. Die KI zählt also nicht Wörter, sondern Schnipsel.
Das Wichtigste auf einen Blick
- Text wird zerschnitten: Die KI zerlegt deinen Text in kleine Stücke, die Tokens heißen.
- Lange Wörter, mehr Stücke: Kurze Wörter bleiben oft ganz, lange werden in mehrere Teile geteilt.
- Auch für Grenzen wichtig: Preise und Grenzen vieler KI-Dienste richten sich nach Tokens.