AI-ordbog

Distillation

Teknik hvor en større, langsommere model ‘lærer’ en mindre model at gøre det samme job. Denne mindre model kører hurtigere og bruger mindre ressourcer, perfekt til apps på telefoner eller hvor hastighed er vigtig. Det reducerer udgifterne uden at give slip på kvalitet.

01. Definition

Om Distillation

Under distillation fungerer den store model som “lærer” og den lille som “elev”. Læreren genererer svar på tusindvis af eksempler, og eleven trænes til at efterligne disse svar. Resultatet er en kompakt model der fanger essensen af den store models viden, men kører markant hurtigere og billigere.

02. I praksis

Hvordan fungerer model distillation?

En virksomhed kan bruge GPT-4 til at generere højkvalitets-svar på 10.000 typiske kundespørgsmål og derefter træne en mindre model til at reproducere dem. Den destillerede model kan køre lokalt på virksomhedens servere med lav latenstid og uden API-omkostninger. Det er særligt værdifuldt for applikationer der kræver hurtige svar, f.eks. real-time kundeservice.

03. Forretningsværdi

Hvorfor er distillation relevant for virksomheder?

Distillation giver virksomheder det bedste fra to verdener: kvaliteten fra store modeller og hastigheden fra små. Det reducerer driftsomkostninger, forbedrer svartider og gør det muligt at køre AI uden afhængighed af dyre cloud-API’er.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Text to Speech (TTS)

Text to Speech (TTS) er AI-teknologi, der omdanner skrevet tekst til naturligt klingende tale i realtid.

RLHF (Reinforcement Learning from Human Feedback)

Træningsmetode hvor mennesker vurderer AI-outputter som gode eller dårlige og systemet justeres baseret på feedback. Det gør AI-modeller brugervenlige og holder dem på linje med menneskelige værdier.

Speech to Text (STT)

Speech to Text (STT) er AI-teknologi, der omdanner talt sprog til skriftlig tekst med høj nøjagtighed.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.