Token

Teken, Munt, Jeton, Penning, Toegangsbewijs, Symbool, Waardebon, Fiche, Digitale munt, Authenticatietoken, Beveiligingstoken, API-token, Toegangstoken, Sessietoken
Een token is een basiseenheid van tekst die AI-modellen gebruiken om informatie te verwerken, vergelijkbaar met woorden of woorddelen. Tokens vormen de bouwstenen waarmee AI-systemen tekst begrijpen en genereren.
AI & Automatisering

Wat zijn Tokens?

Tokens zijn de fundamentele eenheden waarin AI-taalmodellen zoals GPT, Claude en andere Large Language Models (LLMs) tekst opdelen en verwerken. Een token kan een compleet woord zijn, maar ook een deel van een woord, een leesteken, of zelfs een spatie. Het proces waarbij tekst wordt opgedeeld in tokens heet tokenisatie.

Voor AI-modellen is het concept van tokens cruciaal omdat ze niet werken met complete woorden zoals mensen dat doen. In plaats daarvan converteren ze tekst naar numerieke representaties van tokens, die vervolgens door het neurale netwerk worden verwerkt. Dit maakt het mogelijk om efficiënt patronen te herkennen en nieuwe tekst te genereren.

Hoe werkt tokenisatie?

Bij tokenisatie wordt tekst opgedeeld volgens specifieke regels die per AI-model kunnen verschillen. Veelgebruikte woorden worden vaak als één token behandeld, terwijl zeldzamere of langere woorden in meerdere tokens kunnen worden opgesplitst. Bijvoorbeeld:

  • Het woord "huis" is meestal 1 token
  • Het woord "automatisering" kan 2-3 tokens zijn
  • Een spatie en leestekens tellen ook als tokens
  • In het Engels is "running" vaak 2 tokens: "run" + "ning"

Waarom zijn tokens belangrijk?

Tokens bepalen de kosten en beperkingen van AI-gebruik op meerdere manieren:

  • Kosten: De meeste AI-diensten rekenen per token, zowel voor input (prompt) als output (gegenereerde tekst)
  • Context window: Elk AI-model heeft een maximaal aantal tokens dat het tegelijk kan verwerken (bijvoorbeeld 4.000, 8.000 of 128.000 tokens)
  • Snelheid: Meer tokens betekent langere verwerkingstijd
  • Nauwkeurigheid: De manier waarop tekst getokeniseerd wordt, beïnvloedt hoe goed het model de betekenis begrijpt

Als vuistregel geldt dat in het Engels ongeveer 100 tokens overeenkomen met 75 woorden. In het Nederlands ligt deze verhouding iets anders door de langere samengestelde woorden die kenmerkend zijn voor de taal.

Toepassingen van Tokens

API-gebruik en kostenberekening

Bij het gebruik van AI-API's zoals OpenAI, Anthropic of Google is het essentieel om tokens te begrijpen voor kostenbeheersing. Elke API-aanroep verbruikt tokens voor zowel de vraag (input tokens) als het antwoord (output tokens). Door het aantal tokens te monitoren, kun je:

  • Budgetten nauwkeurig inschatten en beheren
  • Prompts optimaliseren om minder tokens te gebruiken
  • Het juiste model kiezen voor je specifieke use case
  • Onverwachte kosten voorkomen bij grootschalig gebruik

Prompt engineering en optimalisatie

Effectieve prompt engineering houdt rekening met tokengebruik. Door prompts efficiënter te formuleren, kun je:

  • Dezelfde resultaten bereiken met minder tokens
  • Meer context binnen de token-limiet kwijt
  • Snellere responstijden realiseren
  • Kosten per interactie verlagen

Bijvoorbeeld: in plaats van langdradige instructies kun je compactere formuleringen gebruiken die hetzelfde doel bereiken met minder tokens.

Content generatie en planning

Bij het genereren van content met AI is tokenbewustzijn belangrijk voor:

  • Artikelen en blogs: Plannen hoeveel tekst je kunt genereren binnen je token-budget
  • Productbeschrijvingen: Batch-verwerking optimaliseren voor e-commerce catalogi
  • Vertalingen: Inschatten van kosten voor meertalige content
  • Samenvatten: Lange documenten comprimeren binnen context-limieten

Chatbots en conversational AI

Voor chatbot-implementaties bepalen tokens de gespreksgeschiedenis die het systeem kan onthouden. Dit beïnvloedt:

  • Hoe lang een conversatie contextueel relevant blijft
  • Wanneer oudere berichten uit het geheugen verdwijnen
  • De kosten per gesprek of per gebruiker
  • De complexiteit van gesprekken die mogelijk zijn

Document analyse en verwerking

Bij het analyseren van documenten met AI zijn tokens bepalend voor:

  • Hoeveel tekst je in één keer kunt verwerken
  • Of je documenten moet opsplitsen in kleinere delen
  • Welke strategie je gebruikt voor lange documenten (chunking, summarization)
  • De nauwkeurigheid van extractie en analyse

Model selectie en architectuur

Verschillende AI-modellen hebben verschillende token-eigenschappen:

  • Context window: GPT-4 Turbo (128K tokens) vs GPT-3.5 (4K tokens)
  • Kosten per token: Kleinere modellen zijn goedkoper maar minder capabel
  • Snelheid: Modellen met kleinere context windows zijn vaak sneller
  • Tokenizer: Verschillende modellen gebruiken verschillende tokenisatie-methoden

Door de token-eigenschappen te begrijpen, kun je het juiste model kiezen voor je specifieke toepassing en budget.

Veelgestelde vragen

In het Engels komt één token gemiddeld overeen met ongeveer 0,75 woord, oftewel 100 tokens voor ongeveer 75 woorden. In het Nederlands ligt deze verhouding iets anders door de langere samengestelde woorden. Een Nederlands woord is gemiddeld 1,3 tot 1,5 tokens.

Enkele voorbeelden:

  • Korte, veelgebruikte woorden zoals "het", "een", "is" zijn meestal 1 token
  • Langere woorden zoals "automatisering" of "samenwerking" zijn vaak 2-3 tokens
  • Zeer lange samengestelde woorden kunnen 4-5 tokens zijn
  • Leestekens en spaties tellen ook mee als tokens

Het is belangrijk om te weten dat deze verhoudingen per AI-model kunnen verschillen, omdat elk model zijn eigen tokenisatie-methode gebruikt.

Er zijn verschillende strategieën om tokengebruik te optimaliseren zonder kwaliteitsverlies:

  • Compacte prompts: Gebruik heldere, beknopte instructies zonder onnodige woorden
  • Verwijder redundantie: Herhaal geen informatie die al in de context staat
  • Gebruik afkortingen: Waar logisch en duidelijk, kunnen afkortingen tokens besparen
  • Structureer efficiënt: Gebruik opsommingen en korte zinnen in plaats van lange paragrafen
  • Beperk voorbeelden: Geef alleen essentiële voorbeelden in je prompt
  • Kies het juiste model: Gebruik kleinere modellen voor eenvoudige taken
  • Implementeer caching: Hergebruik resultaten waar mogelijk

Voor langdurige gesprekken kun je ook een samenvatting maken van eerdere context om tokens te besparen terwijl je de relevante informatie behoudt.

Input tokens zijn de tokens in je prompt of vraag aan het AI-model. Dit omvat alle tekst die je naar het model stuurt, inclusief systeem-instructies, context, voorbeelden en de eigenlijke vraag.

Output tokens zijn de tokens die het AI-model genereert als antwoord. Dit is de tekst die het model produceert op basis van je input.

Het verschil is belangrijk omdat:

  • Kosten: Output tokens zijn vaak duurder dan input tokens (bijvoorbeeld 2-3x de prijs)
  • Controle: Je hebt volledige controle over input tokens, maar beperkte controle over output tokens
  • Limieten: Beide tellen mee voor de context window, maar je kunt output-lengte vaak beperken met parameters
  • Optimalisatie: Strategieën voor het verminderen van input vs output tokens zijn verschillend

Bij kostenbewaking is het verstandig om beide te monitoren, met extra aandacht voor output tokens vanwege de hogere kosten.

Auteur & updates

Auteur: Wouter
Publicatiedatum: 16-02-2026
Laatste update: 16-02-2026