AI-ordbog

Quantization

Teknik der reducerer størrelsen af en AI-model ved at bruge mindre præcise tal uden væsentligt at ødelægge kvalitet. En model på 70GB kan reduceres til 8GB gennem quantization. Virksomheder bruger det til at køre modeller billigere og hurtigere på svagere hardware.

01. Definition

Om Quantization

En AI-model gemmer sine vægte som tal, typisk i 32-bit eller 16-bit format. Quantization konverterer disse til 8-bit eller endda 4-bit, hvilket reducerer modellens størrelse med 4-8x. Den lille præcisionstab er i de fleste tilfælde ubetydelig for slutresultatet, mens besparelsen i hukommelse og hastighed er markant.

02. I praksis

Hvordan fungerer quantization?

En 70B-parameter model der normalt kræver 140 GB GPU-hukommelse kan efter 4-bit quantization køre på en enkelt GPU med 24 GB. Det gør det muligt at køre avancerede modeller på forbrugerhardware eller billigere cloud-instanser. Virksomheder bruger quantization til at sænke inferensomkostninger uden mærkbar kvalitetsforringelse.

03. Forretningsværdi

Hvorfor er quantization relevant for virksomheder?

Quantization kan halvere eller fjerdedele omkostningerne ved at køre AI-modeller. For virksomheder der hoster egne modeller er det en af de mest effektive optimeringsteknikker. Det gør også open source-modeller tilgængelige på billigere hardware.

Udforsk videre i AI-ordbogen

Se hele ordbogen

Workflow Automation vs. Agentic Automation

Workflow automation følger faste trin end-to-end uden selv at gøre valg. Agentic automation lader AI selv beslutte hvad der skal gøres næste baseret på situationen.

Open-source Models

AI-modeller der frit kan downloades, bruges og tilpasses uden licens-begrænsninger eller betalinger. Modeller som Llama, Mistral og Falcon giver virkomheder uafhængighed fra proprietære udbydere og mindre omkostninger.

Snowflake

Snowflake er en cloud-baseret dataplatform, der samler data warehouse, data lake og AI-funktioner i ét skalerbart økosystem.

Indlæs mere

Klar til at komme i gang?

Lad os tage det første skridt sammen

Hos AIgentur møder vi jer dér, hvor I er, og hjælper jer med at omsætte jeres mål og udfordringer til konkrete løsninger.

Måske har I allerede en idé eller et konkret behov. Måske er I bare nysgerrige på, hvordan AI kan bruges i jeres forretning.

Uanset hvad, tager vi gerne en uforpligtende snak, og viser jer, hvordan en struktureret og fleksibel tilgang kan skabe resultater.