Wat is een context window?

Een context window is de maximale hoeveelheid tekst die een AI-model tegelijk kan 'zien' en verwerken. Denk aan het werkgeheugen van de AI. Alles wat binnen het context window valt, kan het model meenemen in zijn antwoord. Alles daarbuiten is het 'vergeten'. Moderne modellen hebben steeds grotere context windows. Claude kan tot 200.000 tokens verwerken (dat is een heel boek). GPT-4o zit op 128.000 tokens. Dit maakt het mogelijk om hele documenten, e-mailconversaties of rapporten in één keer te analyseren. Maar groter is niet altijd beter. Een groot context window kost meer per aanvraag en modellen presteren soms slechter als er te veel irrelevante informatie in zit. Slim omgaan met je context (alleen relevante info meesturen) levert betere resultaten en lagere kosten.