Wat is een token (AI)?

Een token is een stukje tekst dat een AI-model verwerkt. Het is niet precies een woord. Soms is het een heel woord, soms een deel van een woord, soms een leesteken. Gemiddeld is 1 token ongeveer 0,75 woord in het Engels en iets minder in het Nederlands. Een zin van 20 woorden is dus zo'n 25-30 tokens. Waarom zijn tokens belangrijk? Omdat AI-modellen per token afrekenen. Meer tokens = hogere kosten. En elk model heeft een maximaal aantal tokens dat het tegelijk kan verwerken (het context window). Met model-routing kun je hier slim mee omgaan: simpele taken die weinig tokens nodig hebben stuur je naar goedkope modellen, complexe taken naar duurdere modellen. Zo houden we bij Elecho de API-kosten voor klanten laag.