AI-ordbog

Token / Tokenization

De små stavelsesblokke som AI-modeller bryder tekst ned i for at behandle den. Ord som ‘København’ kan være en token mens ‘computeranlæg’ måske bliver tre tokens. Tokens bestemmer hvor mange ord du kan sende til en model og hvor dyr det er at bruge den.

01. Definition

Om Token

Tokenization er processen der bryder tekst ned i de små enheder – tokens – som en sprogmodel arbejder med. Et token kan være et helt kort ord, en del af et ord eller et tegn. På dansk er gennemsnittet ca. 1,3 tokens per ord. Tokenization sker automatisk og er det første trin når en model behandler input.

02. I praksis

Hvordan fungerer tokenization?

Sætningen “AI er fremtiden” kan blive tokenized som [“AI”, ” er”, ” fremtiden”] – tre tokens. Længere eller mere ukendte ord deles op i flere tokens: “kontekstvindue” kan blive fire tokens. Prissætning af API-adgang er baseret på tokens, så forståelse af tokenization hjælper med at estimere og optimere omkostninger ved AI-drift.

03. Forretningsværdi

Hvorfor er tokens vigtige for virksomheder?

Tokens bestemmer to kritiske ting: hvor meget data en model kan behandle ad gangen (kontekstvinduet) og hvad det koster. Effektiv brug af tokens – f.eks. ved kortere prompts og smart konteksthåndtering – kan reducere AI-omkostninger markant.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Graphics Processing Unit (GPU)

En GPU er en specialiseret processor, der muliggør massiv parallel databehandling og er en afgørende komponent i moderne AI, maskinlæring og deep learning.

Foundation Model / Frontier Model

En stor, generelt trænet AI-model der kan tilpasses til mange forskellige opgaver. Foundation Models som GPT-4, Claude og Gemini danner grundlaget for specialiserede chatbots og systemer.

Vision Language Model (VLM)

AI-modeller der kan se billeder og forstå indholdet samtidigt med at de kan læse og skrive tekst. GPT-4 Vision og Claude kan analysere skærmbilleder, diagrammer og fotos.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.