AI-ordbog

Quantization

Teknik der reducerer størrelsen af en AI-model ved at bruge mindre præcise tal uden væsentligt at ødelægge kvalitet. En model på 70GB kan reduceres til 8GB gennem quantization. Virksomheder bruger det til at køre modeller billigere og hurtigere på svagere hardware.

01. Definition

Om Quantization

En AI-model gemmer sine vægte som tal, typisk i 32-bit eller 16-bit format. Quantization konverterer disse til 8-bit eller endda 4-bit, hvilket reducerer modellens størrelse med 4-8x. Den lille præcisionstab er i de fleste tilfælde ubetydelig for slutresultatet, mens besparelsen i hukommelse og hastighed er markant.

02. I praksis

Hvordan fungerer quantization?

En 70B-parameter model der normalt kræver 140 GB GPU-hukommelse kan efter 4-bit quantization køre på en enkelt GPU med 24 GB. Det gør det muligt at køre avancerede modeller på forbrugerhardware eller billigere cloud-instanser. Virksomheder bruger quantization til at sænke inferensomkostninger uden mærkbar kvalitetsforringelse.

03. Forretningsværdi

Hvorfor er quantization relevant for virksomheder?

Quantization kan halvere eller fjerdedele omkostningerne ved at køre AI-modeller. For virksomheder der hoster egne modeller er det en af de mest effektive optimeringsteknikker. Det gør også open source-modeller tilgængelige på billigere hardware.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Context Window / Context Length

Mængden af tekst som en sprogmodel kan læse og huske på én gang, målt i tokens. Større kontekstvindue tillader modeller at håndtere længere dokumenter og huske tidligere dele af en samtale.

Bias i AI

Bias i AI er systematiske skævheder i AI-modeller, der kan føre til uretfærdige eller diskriminerende resultater. Det skyldes ofte skæve træningsdata.

Billedgenerering (Image Generation)

Processen med at justere et AI-systems adfærd til at matche menneskelige værdier og ønskede resultater. Uden alignment kan selv kraftfulde AI-modeller give uønskede eller skadelige resultater.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.