Rizika AI bias a diskriminace

Co je AI bias (zkreslení) a proč vzniká

AI bias znamená, že výstup AI modelu systematicky znevýhodňuje určitou skupinu lidí - nejčastěji podle pohlaví, etnicity, věku nebo socioekonomického postavení. Nevzniká tím, že by programátor model "naprogramoval na zlo" - typicky je důsledkem toho, že model se učí z historických dat, která už sama o sobě odrážejí existující společenské nerovnosti. Pokud v minulosti dostávali určitou pozici převážně muži, model se "naučí" tento vzorec považovat za normu a bude ho reprodukovat i do budoucna.

Reálný případ: systém COMPAS v americkém soudnictví

Nejcitovanějším příkladem AI zkreslení je americký nástroj COMPAS, používaný soudy k odhadu rizika recidivy u obžalovaných (např. při rozhodování o kauci nebo trestu). Analýzy ukázaly, že nástroj systematicky přiřazoval vyšší rizikové skóre černošským obžalovaným oproti bílým se srovnatelnou historií - podle odborných analýz šlo o důsledek toho, že model se učil na historických datech, která sama odrážela nerovnosti v systému trestní justice. Evropská komise tento případ výslovně citovala jako příklad při přípravě dopadové studie k nařízení AI Act.

Reálný případ: diskriminace v zobrazování pracovních inzerátů

Nizozemský orgán pro rovné zacházení konstatoval, že algoritmus na platformě Facebook (dnes Meta) při zobrazování pracovních inzerátů protiprávně diskriminoval ženy tím, že jim nepřiměřeně méně zobrazoval nabídky odpovídající historickým genderovým stereotypům o zaměstnání. Šlo o případ, kdy samotný systém pro doručování reklamy (ne samotný inzerent) vytvářel nerovný přístup k pracovním příležitostem.

Jak EU AI Act řeší otázku zkreslení

Nařízení EU AI Act zařazuje AI systémy s vysokým rizikem dopadu na základní práva (včetně těch používaných při náboru, úvěrování nebo v soudnictví) do kategorie vysoce rizikových systémů s povinností testování, dokumentace a lidského dohledu. Akademické analýzy z roku 2026 ale upozorňují, že nařízení je svou povahou blíže regulaci bezpečnosti produktu než komplexní právní úpravě diskriminace - to znamená, že samotné splnění požadavků AI Act nemusí automaticky vyloučit možnost, že systém bude v praxi někoho diskriminovat, a odborníci doporučují doplňkové nezávislé auditování a testování.

Co může udělat běžný uživatel

• Pokud máte podezření, že vás AI systém (při náboru, úvěrování, pojištění) nespravedlivě vyřadil, máte v EU často právo požádat o informaci o automatizovaném rozhodování a o lidské přezkoumání
• Zkreslení se netýká jen "velkých" systémů - i běžné chatboty mohou reprodukovat stereotypy naučené z trénovacích dat, zejména u citlivých témat
• Při důležitých rozhodnutích (úvěr, zaměstnání, zdravotní posouzení) berte AI výstup jako jeden vstup, ne jako neomylný verdikt

Proč je oprava AI zkreslení technicky obtížná

Odstranění zkreslení z AI modelu není jen o "vymazání" citlivého atributu (např. pohlaví nebo etnicity) z trénovacích dat - model si zkreslení často "odvodí" nepřímo z jiných korelovaných údajů (např. z adresy, jména nebo historie zaměstnání), které s citlivým atributem silně souvisí. Odborníci na fairness v AI proto doporučují systematické testování výstupů modelu na různých podskupinách populace (tzv. fairness audit), ne jen spoléhání na to, že odstranění jednoho pole v datech problém vyřeší.

Rozdíl mezi bias a diskriminací v právním smyslu

Technický pojem "bias" (statistické zkreslení výstupu) a právní pojem "diskriminace" (protiprávní znevýhodnění chráněné skupiny) se překrývají, ale nejsou totožné - agentura EU pro základní práva (FRA) upozorňuje, že prokázat diskriminaci u AI systému je právně obtížné právě proto, že model často používá nepřímé proxy znaky místo přímého chráněného atributu, a vnitřní fungování modelu (zejména u složitých neuronových sítí) bývá pro vnějšího pozorovatele neprůhledné ("black box" problém).

Jak firmy a výzkumníci testují AI modely na zkreslení před nasazením

Standardní postup zahrnuje tzv. fairness audit - systematické testování výstupů modelu na kontrolních skupinách, které se liší jen v citlivém atributu (např. identická žádost o úvěr podaná se jménem typickým pro různé etnické skupiny) a porovnání výsledků. Pokud se výsledky mezi skupinami významně liší bez objektivního důvodu, jde o signál zkreslení. Tento typ testování ale není zákonem všude povinný a kvalita a rozsah auditu se mezi firmami výrazně liší - nezávislé neziskové organizace a akademická pracoviště proto tlačí na standardizaci povinného testování.

Co dělat, pokud chcete minimalizovat dopad AI zkreslení na vlastní rozhodování

Pro běžného uživatele je praktické doporučení: u důležitých rozhodnutí (úvěr, zaměstnání, zdravotní posouzení) si vždy zjistěte, zda bylo rozhodnutí čistě automatizované, nebo zahrnovalo i lidské posouzení - a pokud máte pochybnosti o spravedlivosti výsledku, aktivně si vyžádejte vysvětlení nebo přezkoumání. U citlivých oblastí jako je zdraví nebo zaměstnání je vhodné brát AI doporučení jako jeden z podkladů pro rozhodnutí, ne jako konečný verdikt.

Případ COMPAS - jak vznikl pojem AI bias v praxi

Nejcitovanějším příkladem AI zkreslení zůstává nástroj COMPAS, používaný americkými soudy k odhadu rizika recidivy. Studie novinářské organizace ProPublica z roku 2016 zjistila, že nástroj označoval černošské obžalované jako vysoce rizikové výrazně častěji než bílé obžalované se srovnatelnou mírou skutečné recidivy. Evropská komise tento případ v roce 2021 citovala jako jeden z důvodů, proč AI Act zařadil hodnocení rizika v justici mezi vysoce rizikové kategorie AI systémů. Dalším často citovaným příkladem je interní náborový nástroj Amazonu, který firma v roce 2018 přestala používat poté, co se ukázalo, že systematicky znevýhodňuje životopisy žen - natrénovaný převážně na mužských životopisech z minulosti.

Co konkrétně vyžaduje AI Act u vysoce rizikových systémů

Nařízení EU v článcích věnovaných vysoce rizikovým systémům (mj. čl. 10 a 14) ukládá povinnost kvalitního řízení trénovacích dat a lidského dohledu. Zajímavostí je, že čl. 10 odst. 5 výjimečně povoluje zpracování citlivých údajů (např. rasa) právě za účelem odhalení a opravy zkreslení - jinak by to GDPR běžně zakazovalo. Kritici upozorňují, že klasifikace rizikovosti systému je z velké části na samotném poskytovateli (sebehodnocení), což ochranu oproti plně nezávislému posouzení omezuje.

Často kladené otázky

Co přesně znamená AI bias?

Systematické znevýhodnění určité skupiny lidí ve výstupech AI modelu, nejčastěji způsobené nerovnoměrnými historickými daty, na kterých se model učil.

Je COMPAS skutečný případ, nebo jen teoretický příklad?

Je to reálně zdokumentovaný a široce analyzovaný případ amerického nástroje pro odhad rizika recidivy, citovaný i Evropskou komisí.

Řeší EU AI Act problém diskriminace AI systémy úplně?

Podle akademických analýz z roku 2026 jde spíš o regulaci bezpečnosti produktu než komplexní právní úpravu diskriminace - doplňkové nezávislé testování se doporučuje.

Může být i běžný chatbot jako ChatGPT zkreslený?

Ano, může reprodukovat stereotypy naučené z trénovacích dat, zejména u citlivých témat jako pohlaví, etnicita nebo socioekonomický status.

Co mohu dělat, pokud mě AI systém podle mě nespravedlivě vyřadil?

V EU máte v řadě případů právo požádat o informaci o automatizovaném rozhodování a o lidské přezkoumání výsledku.

Je AI bias jen americký problém?

Ne, jde o obecný problém jakéhokoli AI modelu trénovaného na historických datech - v EU je proto regulován i formou AI Act.

Stačí z trénovacích dat odstranit pohlaví nebo etnicitu, aby model nebyl zkreslený?

Ne, model si zkreslení často odvodí nepřímo z jiných korelovaných údajů, jako je adresa nebo historie zaměstnání - proto je potřeba systematické testování výstupů, ne jen odstranění jednoho pole.

Je snadné právně prokázat, že konkrétní AI systém diskriminuje?

Podle agentury EU pro základní práva je to obtížné, protože model často používá nepřímé proxy znaky a jeho vnitřní fungování bývá pro vnějšího pozorovatele neprůhledné.

Co je to fairness audit u AI modelu?

Systematické testování výstupů modelu na kontrolních skupinách lišících se jen v citlivém atributu, aby se odhalilo případné systematické zkreslení.

Je testování AI modelů na zkreslení vždy zákonem povinné?

Ne všude a ne v plném rozsahu - kvalita a rozsah takového testování se mezi firmami výrazně liší, proto vznikají tlaky na jeho standardizaci.

Je COMPAS stále používaný?

Nástroj a podobné systémy hodnocení rizika recidivy se v části amerických soudů používají dál, kauza ale vyvolala širokou diskuzi o nutnosti auditu a transparentnosti takových systémů.

Musí firmy v EU své AI nástroje testovat na zkreslení?

U vysoce rizikových systémů (např. nábor, úvěry, justice) AI Act vyžaduje řízení kvality dat a dohled, konkrétní rozsah povinného testování se ale liší podle kategorie systému a stále se zpřesňuje v navazujících pokynech.