AI-ordbog

Token / Tokenization

De små stavelsesblokke som AI-modeller bryder tekst ned i for at behandle den. Ord som ‘København’ kan være en token mens ‘computeranlæg’ måske bliver tre tokens. Tokens bestemmer hvor mange ord du kan sende til en model og hvor dyr det er at bruge den.

01. Definition

Om Token

Tokenization er processen der bryder tekst ned i de små enheder – tokens – som en sprogmodel arbejder med. Et token kan være et helt kort ord, en del af et ord eller et tegn. På dansk er gennemsnittet ca. 1,3 tokens per ord. Tokenization sker automatisk og er det første trin når en model behandler input.

02. I praksis

Hvordan fungerer tokenization?

Sætningen “AI er fremtiden” kan blive tokenized som [“AI”, ” er”, ” fremtiden”] – tre tokens. Længere eller mere ukendte ord deles op i flere tokens: “kontekstvindue” kan blive fire tokens. Prissætning af API-adgang er baseret på tokens, så forståelse af tokenization hjælper med at estimere og optimere omkostninger ved AI-drift.

03. Forretningsværdi

Hvorfor er tokens vigtige for virksomheder?

Tokens bestemmer to kritiske ting: hvor meget data en model kan behandle ad gangen (kontekstvinduet) og hvad det koster. Effektiv brug af tokens – f.eks. ved kortere prompts og smart konteksthåndtering – kan reducere AI-omkostninger markant.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Mønstergenkendelse

Mønstergenkendelse er en AI-teknik, der identificerer gentagne strukturer i data og skaber indsigt til virksomheder.

Artificial Intelligence

Artificial Intelligence er teknologi, der giver computere evnen til at lære, ræsonnere og træffe beslutninger på måder, der ligner menneskelig intelligens.

Benchmark

Et AI-assistentprogram der arbejder ved siden af mennesker for at øge produktiviteten. Copilots giver forslag, udfylder kode, skriver emails eller analyserer data uden at erstatte menneskelig dømmekraft.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.