Forklaring
Den minste tekstbiten en språkmodell regner med — omtrent en stavelse eller et kort ord.
Modeller leser og skriver i tokens, ikke tegn. Både pris og kapasitet måles i tokens, så de styrer direkte hva en AI-funksjon koster og hvor mye kontekst den klarer. Norsk bruker typisk flere tokens per ord enn engelsk, noe som gjør norske løsninger litt dyrere per setning enn engelske.