AI-ordbog

Token / Tokenization

De små stavelsesblokke som AI-modeller bryder tekst ned i for at behandle den. Ord som ‘København’ kan være en token mens ‘computeranlæg’ måske bliver tre tokens. Tokens bestemmer hvor mange ord du kan sende til en model og hvor dyr det er at bruge den.

01. Definition

Om Token

Tokenization er processen der bryder tekst ned i de små enheder – tokens – som en sprogmodel arbejder med. Et token kan være et helt kort ord, en del af et ord eller et tegn. På dansk er gennemsnittet ca. 1,3 tokens per ord. Tokenization sker automatisk og er det første trin når en model behandler input.

02. I praksis

Hvordan fungerer tokenization?

Sætningen “AI er fremtiden” kan blive tokenized som [“AI”, ” er”, ” fremtiden”] – tre tokens. Længere eller mere ukendte ord deles op i flere tokens: “kontekstvindue” kan blive fire tokens. Prissætning af API-adgang er baseret på tokens, så forståelse af tokenization hjælper med at estimere og optimere omkostninger ved AI-drift.

03. Forretningsværdi

Hvorfor er tokens vigtige for virksomheder?

Tokens bestemmer to kritiske ting: hvor meget data en model kan behandle ad gangen (kontekstvinduet) og hvad det koster. Effektiv brug af tokens – f.eks. ved kortere prompts og smart konteksthåndtering – kan reducere AI-omkostninger markant.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Embedding / Vector Embedding

En matematisk repræsentation af tekst, billeder eller anden data som tal som AI-systemer kan arbejde med. Embeddings lader modeller forstå betydning og ligheder mellem ord uden at arbejde med rå tekst.

Reinforcement Learning

En træningsmetode hvor AI-systemer lærer ved at få belønninger for gode handlinger og straf for dårlige. Det er som at træne en hund eller spille et spil hvor man får point for rigtig adfærd.

Human-in-the-loop (HITL)

En tilgang hvor mennesker og AI arbejder sammen iterativt, hvor mennesker giver feedback som forbedrer AI-systemet.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.