AI-ordbog

Token / Tokenization

De små stavelsesblokke som AI-modeller bryder tekst ned i for at behandle den. Ord som ‘København’ kan være en token mens ‘computeranlæg’ måske bliver tre tokens. Tokens bestemmer hvor mange ord du kan sende til en model og hvor dyr det er at bruge den.

01. Definition

Om Token

Tokenization er processen der bryder tekst ned i de små enheder – tokens – som en sprogmodel arbejder med. Et token kan være et helt kort ord, en del af et ord eller et tegn. På dansk er gennemsnittet ca. 1,3 tokens per ord. Tokenization sker automatisk og er det første trin når en model behandler input.

02. I praksis

Hvordan fungerer tokenization?

Sætningen “AI er fremtiden” kan blive tokenized som [“AI”, ” er”, ” fremtiden”] – tre tokens. Længere eller mere ukendte ord deles op i flere tokens: “kontekstvindue” kan blive fire tokens. Prissætning af API-adgang er baseret på tokens, så forståelse af tokenization hjælper med at estimere og optimere omkostninger ved AI-drift.

03. Forretningsværdi

Hvorfor er tokens vigtige for virksomheder?

Tokens bestemmer to kritiske ting: hvor meget data en model kan behandle ad gangen (kontekstvinduet) og hvad det koster. Effektiv brug af tokens – f.eks. ved kortere prompts og smart konteksthåndtering – kan reducere AI-omkostninger markant.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Intent Recognition

Evnen til at forstå hvad en bruger ønsker eller prøver at gøre baseret på deres tekst eller stemme.

Guardrails

Sikkerhedsmekanismer der begrænser hvad et AI-system kan gøre eller sige for at forhindre uønskede resultater.

Hyperparameter

Indstillinger i et AI-system der kontrollerer hvordan det lærer, såsom læringshastighed og antal træningskørelser. I modsætning til vægte der opdateres automatisk, sættes hyperparametre af mennesker før træning.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.