Bias i AI refererer til systematiske skævheder i en AI-models forudsigelser eller beslutninger, som kan opstå fra mange kilder. Den mest almindelige er biased træningsdata – hvis data ikke repræsenterer den samlede population retfærdigt, vil modellen lære og reproducere disse skævheder. Et klassisk eksempel er ansigtsgenkendelsesalgoritmer, der har lavere nøjagtighed på mennesker med mørkere hudfarve, fordi træningsdataene overvejende indeholdt lyse ansigter. Bias kan også opstå fra selve designet af modellen, de features der vælges, eller måden resultater evalueres på. Historiske data afspejler ofte samfundets historiske uligheder – hvis en model trænes på ansøgningsdata fra en branche, der traditionelt har favoriseret ét køn, vil modellen sandsynligvis videreføre denne bias. Det er vigtigt at forstå, at bias ikke er et teknisk problem, der kan løses med mere data eller bedre algoritmer alene. Det er et sociotekningnisk problem, der kræver, at man er bevidst om de sociale sammenhænge, data og beslutninger opstår i, og aktivt arbejder for retfærdighed i design og implementering.
