AI-ordbog

Context Window / Context Length

Mængden af tekst som en sprogmodel kan læse og huske på én gang, målt i tokens. Større kontekstvindue tillader modeller at håndtere længere dokumenter og huske tidligere dele af en samtale. GPT-4 kan typisk håndtere 8.000-128.000 tokens, langt mere end tidligere modeller.

01. Definition

Om Context Window

Et kontekstvindue måles i tokens og definerer den øvre grænse for hvad modellen kan “se” i én samtale. Alt der sendes til modellen – systeminstruktioner, samtalehistorik og brugerens spørgsmål – skal passe inden for vinduet. Større vinduer tillader analyse af længere dokumenter men koster mere i beregning og pris.

02. I praksis

Hvordan fungerer kontekstvinduer?

En model med 8.000 tokens kan analysere ca. 6.000 ord – nok til et kortere dokument. Modeller som GPT-4 Turbo og Claude 3 tilbyder op til 200.000 tokens, svarende til en hel bog. Ved implementering af RAG-systemer er kontekstvinduets størrelse afgørende for hvor meget relevant information der kan medtages i hvert svar.

03. Forretningsværdi

Hvorfor er kontekstvinduer vigtige for virksomheder?

Kontekstvinduets størrelse bestemmer hvilke opgaver en AI-model kan løse. For virksomheder der skal analysere lange kontrakter, rapporter eller samtalehistorik, er et stort kontekstvindue afgørende. Det påvirker også prisen, da større kontekst koster flere tokens.

Udforsk videre i AI-ordbogen

Se hele ordbogen

RLHF (Reinforcement Learning from Human Feedback)

Træningsmetode hvor mennesker vurderer AI-outputter som gode eller dårlige og systemet justeres baseret på feedback. Det gør AI-modeller brugervenlige og holder dem på linje med menneskelige værdier.

Temperature

En indstilling der kontrollerer hvor kreativ eller forudsigelig et AI-system er. Lav temperatur (0.1) = fokuseret og konsistent; høj temperatur (1.0) = kreativ men mindre pålidelig.

Autoencoder

En autoencoder er en neural netværksmodel, der lærer at komprimere data og rekonstruere dem igen – ideel til anomalidetektion og dimensionalitetsreduktion.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.