AI-ordbog

Context Window / Context Length

Mængden af tekst som en sprogmodel kan læse og huske på én gang, målt i tokens. Større kontekstvindue tillader modeller at håndtere længere dokumenter og huske tidligere dele af en samtale. GPT-4 kan typisk håndtere 8.000-128.000 tokens, langt mere end tidligere modeller.

01. Definition

Om Context Window

Et kontekstvindue måles i tokens og definerer den øvre grænse for hvad modellen kan “se” i én samtale. Alt der sendes til modellen – systeminstruktioner, samtalehistorik og brugerens spørgsmål – skal passe inden for vinduet. Større vinduer tillader analyse af længere dokumenter men koster mere i beregning og pris.

02. I praksis

Hvordan fungerer kontekstvinduer?

En model med 8.000 tokens kan analysere ca. 6.000 ord – nok til et kortere dokument. Modeller som GPT-4 Turbo og Claude 3 tilbyder op til 200.000 tokens, svarende til en hel bog. Ved implementering af RAG-systemer er kontekstvinduets størrelse afgørende for hvor meget relevant information der kan medtages i hvert svar.

03. Forretningsværdi

Hvorfor er kontekstvinduer vigtige for virksomheder?

Kontekstvinduets størrelse bestemmer hvilke opgaver en AI-model kan løse. For virksomheder der skal analysere lange kontrakter, rapporter eller samtalehistorik, er et stort kontekstvindue afgørende. Det påvirker også prisen, da større kontekst koster flere tokens.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Token / Tokenization

De små stavelsesblokke som AI-modeller bryder tekst ned i for at behandle den. Ord som ‘København’ kan være en token mens ‘computeranlæg’ måske bliver tre tokens.

MCP (Model Context Protocol)

En åben standard for hvordan AI-modeller forbinder til eksterne værktøjer og data-kilder uden at skulle tilpasses helt.

Intent Recognition

Evnen til at forstå hvad en bruger ønsker eller prøver at gøre baseret på deres tekst eller stemme.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.