NIST AI Risk Management Framework – Govern, Map, Measure, Manage a vlastnosti důvěryhodné AI

Když firma, škola nebo obec nasazuje umělou inteligenci, vyvstávají otázky: Jak poznáme rizika? Kdo za ně odpovídá? Jak měříme, zda systém funguje a je spravedlivý? Co uděláme, když selže? Odpovědi poskytuje americký NIST AI Risk Management Framework (AI RMF 1.0), dobrovolný rámec vydaný v lednu 2023. Nejde o zákon, ale o praktický jazyk a postup, který používají organizace po celém světě, a dobře doplňuje evropský AI Act. Tento článek ho představuje srozumitelně a ukazuje, jak z něj vytěžit praktický přínos i v malém týmu.

Informace vycházejí z oficiální stránky NIST AI Risk Management Framework a z dokumentu NIST AI 100-1 – AI RMF 1.0 (stav k 14. 11. 2026). NIST uvádí, že rámec je dobrovolný a v současnosti je revidován v souvislosti s americkým akčním plánem pro AI; v dubnu 2026 byl publikován koncept profilu pro důvěryhodnou AI v kritické infrastruktuře. Nejde o právní poradenství ani certifikaci.

Související články: EU AI Act – co znamená pro uživatele, Firemní politika používání AI a Bezpečné používání AI – checklist.

Aktualizováno: listopad 2026.

K čemu rámec slouží

NIST rámec vznikl ve spolupráci soukromého a veřejného sektoru, aby pomohl řídit rizika, která AI přináší jednotlivcům, organizacím i společnosti. Jeho cílem je zlepšit schopnost zahrnout hlediska důvěryhodnosti do návrhu, vývoje, používání a hodnocení AI. V červenci 2024 NIST vydal také profil pro generativní AI (NIST-AI-600-1), který pomáhá rozpoznat rizika specifická pro generativní modely a navrhuje opatření.

Rámec má dvě části: popis, jak o rizicích přemýšlet a jaké vlastnosti má mít důvěryhodná AI, a „jádro“ (Core) se čtyřmi funkcemi.

Sedm vlastností důvěryhodné AI

Podle NIST AI 100-1 zahrnují charakteristiky důvěryhodných systémů AI:

1. Platné a spolehlivé (valid and reliable). Systém dělá, co má, v očekávaných podmínkách a po stanovenou dobu. NIST rozlišuje přesnost (jak blízko jsou výsledky pravdě), robustnost (udržení výkonu v různých podmínkách i při nečekaném použití) a spolehlivost (bezchybné fungování po dobu životnosti). Měření přesnosti má být spojeno s realistickými testovacími sadami reprezentativními pro očekávané použití.
2. Bezpečné (safe). Systém nesmí ohrožovat zdraví, život ani majetek.
3. Zabezpečené a odolné (secure and resilient). Chrání se proti útokům a zvládá narušení.
4. Odpovědné a transparentní (accountable and transparent). Odpovědnost předpokládá transparentnost: informace o systému a jeho výstupech jsou dostupné lidem, kteří s ním interagují, a to na úrovni přiměřené jejich roli.
5. Vysvětlitelné a interpretovatelné (explainable and interpretable). Vysvětlitelnost popisuje mechanismy fungování systému, interpretovatelnost význam jeho výstupu v kontextu účelu. Obě pomáhají provozovatelům i uživatelům pochopit funkci a důvěryhodnost.
6. Chránící soukromí (privacy-enhanced). Normy a postupy, které chrání lidskou autonomii, identitu a důstojnost, například omezení sledování a možnost rozhodovat o zveřejnění svých údajů.
7. Férové se zvládnutou škodlivou zaujatostí (fair with harmful bias managed). Férovost zahrnuje rovnost a spravedlnost a řeší škodlivé předsudky a diskriminaci. NIST upozorňuje, že systém se zmírněným zkreslením není automaticky férový: i vyvážené predikce mohou být nepřístupné pro lidi s postižením či ovlivněné digitální propastí.

Tyto vlastnosti je třeba vyvažovat podle kontextu použití; zanedbání některé z nich může zvyšovat pravděpodobnost i rozsah negativních následků.

Čtyři funkce NIST AI RMF – vlastní infografika

Čtyři funkce: Govern, Map, Measure, Manage

GOVERN (řízení) je průřezová funkce, která prostupuje ostatními. Zahrnuje:

• pravidla, procesy a postupy pro mapování, měření a zvládání rizik AI, včetně právních a regulačních požadavků,
• odpovědnost (kdo je pověřen a vyškolen) a odpovědnost vedení za rozhodnutí o rizicích,
• inventář systémů AI a postupy pro bezpečné vyřazení,
• kulturu s důrazem na kritické myšlení a bezpečnost,
• spolupráci s dotčenými stranami a řízení rizik třetích stran (dodavatelé softwaru a dat).

MAP (mapování) určuje kontext: účel systému, uživatele, očekávané přínosy a náklady, kategorizaci systému, rizika a přínosy všech komponent včetně třetích stran a dopady na jednotlivce, skupiny, komunity i společnost.

MEASURE (měření) hodnotí systém z hlediska důvěryhodných vlastností, zavádí mechanismy sledování rizik v čase a sbírá zpětnou vazbu o účinnosti měření. Ověřování platnosti a spolehlivosti obvykle zahrnuje průběžné testování či monitorování.

MANAGE (zvládání) upřednostňuje rizika podle výsledků mapování a měření, plánuje strategie pro maximalizaci přínosů a minimalizaci škod, řeší rizika třetích stran a dokumentuje reakci, obnovu a komunikační plány.

NIST zdůrazňuje, že činnosti nejsou kontrolním seznamem ani pevně daným pořadím. Po zavedení základů v GOVERN většina uživatelů začíná fází MAP a pokračuje MEASURE či MANAGE; proces má být iterativní.

Jak rámec použít v malé organizaci

Malý tým nepotřebuje stovky dokumentů. Stačí:

1. Inventář AI. Sepište, které nástroje AI se používají (chatboti, překladače, doporučovací systémy), kdo je vlastní a jaká data zpracovávají. Bez inventáře nelze rizika řídit.
2. Pověřená osoba. Určete, kdo za AI odpovídá.
3. Jednoduchá politika. Co smí a nesmí zaměstnanec vkládat do AI; viz Firemní politika používání AI.
4. Mapování rizik u každého nástroje: koho se výstupy týkají? Co se stane při chybě?
5. Testy na vlastních datech. Kvalitu a zkreslení ověřujte na reprezentativních vzorcích, nejen podle marketingu; viz Jak hodnotit AI modely – benchmarky.
6. Plán reakce. Co uděláte, když AI vydá chybnou odpověď, uniknou data nebo systém přestane fungovat?
7. Revize. Aspoň jednou ročně a při změně nástroje či účelu.

Souvislost s dalšími zdroji

• EU AI Act je právní předpis s povinnostmi zejména pro vysoce rizikové systémy; NIST AI RMF je dobrovolný, ale jeho pojmy (inventář, řízení rizik, dokumentace) se překrývají; viz EU AI Act.
• Anthropic doporučuje u agentních systémů začínat nejjednodušším řešením, testovat v izolovaném prostředí a měřit kvalitu; viz AI agent, nebo workflow? a Building effective agents.
• Bezpečnostní rizika konkrétních útoků (prompt injection, únik dat) viz Prompt injection a Únik dat do AI chatbotů.

Řízení rizik dodavatelů a třetích stran

Většina organizací AI nevyvíjí, ale používá cizí služby. NIST proto v rámci funkcí GOVERN a MANAGE klade důraz na rizika softwaru, dat a dalších prvků dodavatelského řetězce. Prakticky: ptejte se dodavatele, jak model funguje, jaká data zpracovává, kde je ukládá, jak dlouho a kdo k nim má přístup; vyžádejte si dokumentaci, podmínky použití a informace o bezpečnosti. Zkontrolujte, zda můžete vypnout používání vašich dat pro trénink. Pro otevřené modely se zaměřte na licenci a dostupnost informací o datech; viz Co je opravdu open-source AI. Pokud se služba změní (nový model, nové podmínky), spusťte krátké přehodnocení rizik.

Měření v praxi: co sledovat

Funkce MEASURE nevyžaduje složité statistiky. U malé organizace stačí sledovat několik ukazatelů:

• Správnost: podíl odpovědí, které odborník označí za správné (z náhodného vzorku).
• Chyby s vysokým dopadem: případy, kdy chyba způsobila škodu či stížnost.
• Zkreslení: zda systém funguje podobně pro různé skupiny uživatelů (například pro seniory, cizince, lidi s postižením).
• Dostupnost: jak často služba nefunguje.
• Incidenty: úniky dat, pokusy o zneužití, stížnosti.
• Zpětná vazba uživatelů: snadno dostupné tlačítko „nahlásit chybu“.

NIST upozorňuje, že měření přesnosti má vycházet z realistických testovacích sad reprezentativních pro očekávané použití a že některé typy selhání způsobují větší škodu, takže je třeba je upřednostnit; tam, kde systém neumí chybu odhalit či opravit, může být nutný zásah člověka.

Kdy se rámcem neřídit mechanicky

Rámec je dobrovolný a obecný; není návodem na obchodní rozhodnutí. Nepoužívejte jej jako „odškrtávací seznam“, který nahradí přemýšlení. Pro regulované oblasti (zdravotnictví, finance, veřejná správa) platí navíc zákonné požadavky; viz EU AI Act. Pokud si nejste jisti, poraďte se s odborníkem na regulaci a bezpečnost informací.

Další zdroje

Kromě rámce NIST se vyplatí sledovat dokumentaci poskytovatelů modelů, například pokyny OpenAI k uvažovacím modelům (včetně limitů tokenů a nákladů) a definici otevřené AI od OSI. Pro zákaznické použití a děti viz také AI chatboti a děti.

Praktický příklad (smyšlený)

Obec používá chatbota na webu pro dotazy občanů. Podle rámce sepíše inventář (jedna aplikace, dodavatel, zpracovávaná data), určí odpovědnou osobu a zmapuje rizika: špatná odpověď o termínech úředních lhůt, únik osobních údajů, nedostupnost pro seniory. Chatbota otestuje na stovce skutečných dotazů, přidá odkaz na kontakt s úředníkem a zavede měsíční kontrolu chyb. Příklad je smyšlený.

Kontrolní seznam – vlastní infografika

NIST AI RMF v kostce

Základní údaje – vlastní infografika

Výhody a nevýhody

Souhrn – vlastní infografika

Související články

V kategorii Základy a principy AI najdete také Co je umělá inteligence a AGI a superinteligence.

Shrnutí

NIST AI RMF 1.0 je dobrovolný rámec pro řízení rizik AI. Definuje sedm vlastností důvěryhodné AI (platnost a spolehlivost, bezpečnost, zabezpečení a odolnost, odpovědnost a transparentnost, vysvětlitelnost, soukromí, férovost) a čtyři funkce: Govern, Map, Measure, Manage. Pro malou organizaci stačí inventář AI, odpovědná osoba, pravidla, testy a plán reakce. Není to právní požadavek. Nejde o právní poradenství.

Často kladené otázky k NIST AI RMF