AI-ordbog

Quantization

Teknik der reducerer størrelsen af en AI-model ved at bruge mindre præcise tal uden væsentligt at ødelægge kvalitet. En model på 70GB kan reduceres til 8GB gennem quantization. Virksomheder bruger det til at køre modeller billigere og hurtigere på svagere hardware.

01. Definition

Om Quantization

En AI-model gemmer sine vægte som tal, typisk i 32-bit eller 16-bit format. Quantization konverterer disse til 8-bit eller endda 4-bit, hvilket reducerer modellens størrelse med 4-8x. Den lille præcisionstab er i de fleste tilfælde ubetydelig for slutresultatet, mens besparelsen i hukommelse og hastighed er markant.

02. I praksis

Hvordan fungerer quantization?

En 70B-parameter model der normalt kræver 140 GB GPU-hukommelse kan efter 4-bit quantization køre på en enkelt GPU med 24 GB. Det gør det muligt at køre avancerede modeller på forbrugerhardware eller billigere cloud-instanser. Virksomheder bruger quantization til at sænke inferensomkostninger uden mærkbar kvalitetsforringelse.

03. Forretningsværdi

Hvorfor er quantization relevant for virksomheder?

Quantization kan halvere eller fjerdedele omkostningerne ved at køre AI-modeller. For virksomheder der hoster egne modeller er det en af de mest effektive optimeringsteknikker. Det gør også open source-modeller tilgængelige på billigere hardware.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Guardrails

Sikkerhedsmekanismer der begrænser hvad et AI-system kan gøre eller sige for at forhindre uønskede resultater.

Dimensionality Reduction

Dimensionality Reduction er en AI-teknik, der forenkler komplekse datasæt ved at reducere antallet af variable – uden at miste væsentlig information i processen.

Speech to Text (STT)

Speech to Text (STT) er AI-teknologi, der omdanner talt sprog til skriftlig tekst med høj nøjagtighed.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.