AI-ordbog

Context Window / Context Length

Mængden af tekst som en sprogmodel kan læse og huske på én gang, målt i tokens. Større kontekstvindue tillader modeller at håndtere længere dokumenter og huske tidligere dele af en samtale. GPT-4 kan typisk håndtere 8.000-128.000 tokens, langt mere end tidligere modeller.

01. Definition

Om Context Window

Et kontekstvindue måles i tokens og definerer den øvre grænse for hvad modellen kan “se” i én samtale. Alt der sendes til modellen – systeminstruktioner, samtalehistorik og brugerens spørgsmål – skal passe inden for vinduet. Større vinduer tillader analyse af længere dokumenter men koster mere i beregning og pris.

02. I praksis

Hvordan fungerer kontekstvinduer?

En model med 8.000 tokens kan analysere ca. 6.000 ord – nok til et kortere dokument. Modeller som GPT-4 Turbo og Claude 3 tilbyder op til 200.000 tokens, svarende til en hel bog. Ved implementering af RAG-systemer er kontekstvinduets størrelse afgørende for hvor meget relevant information der kan medtages i hvert svar.

03. Forretningsværdi

Hvorfor er kontekstvinduer vigtige for virksomheder?

Kontekstvinduets størrelse bestemmer hvilke opgaver en AI-model kan løse. For virksomheder der skal analysere lange kontrakter, rapporter eller samtalehistorik, er et stort kontekstvindue afgørende. Det påvirker også prisen, da større kontekst koster flere tokens.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Inference

Når en trænet AI-model bruges til at lave forudsigelser på ny data. Hvis træning er læring er inference at tage prøve.

Application Management

Application Management er styring og vedligehold af softwareapplikationer gennem hele deres livscyklus – fra udvikling til drift og udfasning i virksomheden.

Human-in-the-loop (HITL)

En tilgang hvor mennesker og AI arbejder sammen iterativt, hvor mennesker giver feedback som forbedrer AI-systemet.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.