Dodavatelský řetězec AI (OWASP LLM03) – cizí modely, data a adaptéry, SBOM a ověřování původu

Málokdo trénuje jazykový model od nuly. Většina týmů stahuje hotový model, přidává cizí datové sady, používá knihovny a rozšíření a nasazuje je na cloudové či lokální platformy. Každý z těchto prvků je součást dodavatelského řetězce, v němž se mohou skrývat chyby, zadní vrátka i právní problémy. OWASP toto riziko označuje LLM03:2025 Supply Chain. Tento článek vysvětluje, kde se řetězec může přetrhnout, na co si dát pozor při použití cizích modelů a dat a jak postupovat (SBOM, kontrola původu, testování).

Informace vycházejí z popisu rizika LLM03:2025 Supply Chain na webu OWASP a z přehledu OWASP Top 10 for LLM Applications; k řízení rizik třetích stran viz NIST AI RMF (stav k 14. 11. 2026). Nejde o technický návod.

Související články: Otrava dat a modelů (OWASP LLM04), Co je opravdu open-source AI a Model cards.

Aktualizováno: listopad 2026.

Kde je řetězec zranitelný

Podle OWASP jsou dodavatelské řetězce LLM zranitelné na několika místech: trénovací data, modely a platformy pro nasazení. Zneužití slabin může vést ke zkresleným výstupům, narušení bezpečnosti nebo selhání systému. U strojového učení riziko přesahuje klasické chyby kódu a závislostí na předtrénované modely a data třetích stran, které útočníci mohou manipulovat (pozměnit či otrávit). Riziko zvyšují otevřené modely, metody efektivního doladění (LoRA, PEFT) i modely běžící v zařízení. Riziko se překrývá s otravou dat (LLM04), ale zaměřuje se na dodavatelský aspekt.

Postup ověření komponent AI dodavatelského řetězce – vlastní infografika

Běžná rizika podle OWASP

1. Zranitelnosti knihoven třetích stran. Zastaralé či opuštěné komponenty lze zneužít, zejména při vývoji a doladění modelů (analogie k riziku „zranitelné a zastaralé komponenty“).
2. Licenční rizika. Projekty AI kombinují licence softwaru a datových sad s odlišnými právními požadavky; licence datových sad mohou omezovat použití, distribuci či komercializaci.
3. Zastaralé a opuštěné modely. Nepodporované modely přinášejí bezpečnostní problémy.
4. Zranitelné předtrénované modely. Modely jsou do značné míry „černé skříňky“, které se obtížně kontrolují. Mohou obsahovat skrytá zkreslení, zadní vrátka či škodlivé funkce, které bezpečnostní kontroly repozitáře nezachytí.
5. Slabá důvěryhodnost původu. Zveřejněné modely nemají silné záruky původu. Model cards poskytují informace, ne důkaz původu. Útočník může napadnout účet dodavatele, vytvořit podvržený repozitář, nebo použít sociální inženýrství.
6. Zranitelné adaptéry LoRA. Škodlivý adaptér může narušit integritu základního modelu, třeba v prostředích kolaborativního slučování či přes inferenční platformy, které umožňují adaptéry stahovat.
7. Zneužití kolaborativních procesů. Sdílené služby pro slučování a konverzi modelů mohou do sdílených modelů přinést zranitelnosti.
8. Modely v zařízení. Rozšiřují plochu útoku; útočník může aplikaci zpětně analyzovat a znovu zabalit s pozměněným modelem.
9. Nejasné podmínky a zásady ochrany soukromí. Pokud podmínky provozovatele dovolují, mohou být citlivá data použita k trénování a následně uniknout; problém je i použití materiálů chráněných autorským právem dodavatelem.

Příklady útoků, které OWASP uvádí

• Zranitelná knihovna způsobila narušení aplikace s LLM; otrávená závislost distribuovaná přes veřejný repozitář balíčků zanesla škodlivý kód do vývojového prostředí.
• Přímá úprava modelu (například pozměněním parametrů) k šíření dezinformací; útok PoisonGPT údajně obešel bezpečnostní funkce repozitáře.
• Doladění populárního modelu, který ve veřejných benchmarcích bezpečnosti vychází dobře, ale obsahuje cílené spouštěče; je zveřejněn pro důvěřivé oběti.
• Podvržený model po odstranění originálu: útočník zveřejnil falešnou verzi se stejným názvem obsahující malware a zadní vrátka.
• Služby pro slučování či konverzi modelů napadené k vložení škodlivého kódu.
• Úprava modelů v mobilních aplikacích: OWASP uvádí případ, kdy útočníci nahradili modely ve 116 aplikacích na Google Play (včetně bezpečnostních a finančních) pozměněnými verzemi, které vedly uživatele na podvodné weby.
• Otrava veřejných datových sad, která při doladění vytvoří zadní vrátka zvýhodňující určité firmy.
• Změna podmínek provozovatele, která vyžaduje výslovné odhlášení z trénování na datech aplikace.

Prevence a zmírnění podle OWASP

1. Prověřte zdroje dat a dodavatele, včetně jejich podmínek a zásad soukromí; používejte jen důvěryhodné dodavatele a pravidelně kontrolujte jejich zabezpečení a změny podmínek.
2. Skenujte zranitelnosti a aktualizujte komponenty, i ve vývojových prostředích s přístupem k citlivým datům.
3. Proveďte komplexní red teaming a hodnocení před výběrem cizího modelu. Samotné benchmarky nestačí, protože modely lze doladit tak, aby je „prošly“; testujte na svých konkrétních úlohách.
4. Veďte aktuální a podepsaný inventář komponent (SBOM); zvažte AI BOM a ML SBOM (například OWASP CycloneDX).
5. Řiďte licenční riziko: inventář licencí softwaru, nástrojů a datových sad, pravidelné audity a vzdělávání týmů.
6. Používejte jen modely z ověřitelných zdrojů. Kontrola podpisů a hashů souborů doplňuje slabý důkaz původu; podepisujte externí kód.
7. Monitorujte kolaborativní prostředí pro vývoj modelů, aby se odhalilo zneužití.
8. Detekce anomálií a testy odolnosti u dodaných modelů a dat; začleňte je do MLOps pipeline.
9. Politika aktualizací zranitelných či zastaralých komponent a udržovaných verzí API a modelů.
10. Šifrujte modely nasazené na okraji (edge) a používejte kontroly integrity; využívejte atestační API výrobce k zablokování pozměněných aplikací a modelů.

Co z toho plyne pro běžné uživatele

• Stahujte aplikace jen z oficiálních obchodů a kontrolujte vydavatele; viz Falešné AI aplikace a rozšíření.
• Pozor na „klony“ známých modelů a nástrojů se stejným názvem; ověřte oficiální zdroj.
• Neinstalujte modely a doplňky z neznámých zdrojů na pracovní zařízení.
• Čtěte podmínky a nastavení soukromí AI služeb: mohou měnit, zda se vaše data používají k trénování; viz Gemini a soukromí.
• Aktualizujte aplikace, ale jen z oficiálních zdrojů.

Co z toho plyne pro firmy

1. Inventář komponent AI (modely, datové sady, knihovny, adaptéry, API) s verzemi a licencemi.
2. Schvalování dodavatelů a pravidelný přezkum smluv a podmínek.
3. Ověřování původu (podpisy, hashe, důvěryhodné repozitáře) a stahování do izolovaného prostředí.
4. Testování na vlastních případech před nasazením; nenechte se uchlácholit benchmarky.
5. Řízení licencí (zejména u datových sad a modelů s omezením použití); viz Co je opravdu open-source AI.
6. Plán aktualizací a vyřazení zastaralých modelů.
7. Smlouvy s dodavateli zahrnující použití dat, incidenty a odpovědnost.
8. Zahrnutí do analýzy rizik podle rámce; viz NIST AI RMF.

Další zdroje

Podrobnosti k příbuzným rizikům najdete u OWASP: Data and Model Poisoning a Vector and Embedding Weaknesses. Pro licence a otevřenost modelů je užitečná definice Open Source AI Definition, která u skutečně otevřené AI požaduje informace o datech, kód a parametry. Obecné doporučení k testování a řízení komplexity u agentních systémů nabízí Anthropic (Building effective agents).

SBOM a „AI BOM“ v praxi

SBOM (Software Bill of Materials) je seznam komponent, ze kterých se software skládá, s verzemi a původem. Díky němu můžete při oznámení nové zranitelnosti rychle zjistit, zda ji používáte. U AI se tento princip rozšiřuje: ML-BOM či AI BOM zahrnuje také modely, datové sady, adaptéry a konfigurace. Pro malé týmy stačí začít jednoduchou tabulkou: název komponenty, verze, zdroj, licence, datum stažení, hash, kdo ji schválil, kde se používá. Tabulku udržujte aktuální a při každé změně ji upravte. Zjednodušuje to audity, reakci na incidenty i vyřazování zastaralých modelů.

Odpovědnost za dodavatele

I když zranitelnost vzniká u dodavatele, odpovědnost za dopad na vaše uživatele a zákazníky obvykle nesete vy. Smlouvy proto upravte tak, aby dodavatel informoval o incidentech, zranitelnostech a změnách podmínek, a abyste měli možnost model nahradit. Pravidelně přezkoumávejte, zda dodavatel stále poskytuje podporu a aktualizace. U zásadních služeb zvažte záložního dodavatele. Při zpracování osobních údajů se řiďte pravidly ochrany osobních údajů a informujte se, kde a jak dodavatel data zpracovává; viz AI a ochrana osobních údajů (GDPR).

Praktický příklad (smyšlený)

Tým chce použít veřejný model pro klasifikaci dokumentů. Než jej nasadí, zapíše do inventáře model, verzi, licenci a zdroj, ověří hash souboru, spustí jej v izolovaném prostředí a otestuje na stovce vlastních dokumentů včetně neobvyklých případů. Zjistí, že model u jedné skupiny dokumentů selhává, a zvolí jiný. Licenci datové sady nechá posoudit právníkem. Příklad je smyšlený.

Kontrolní seznam – vlastní infografika

Dodavatelský řetězec v kostce

Základní údaje – vlastní infografika

Výhody a nevýhody

Souhrn – vlastní infografika

Související články

V kategorii Bezpečnost, etika a rizika AI najdete také Rizika AI generovaného kódu – slopsquatting a AI agenti a bezpečnostní rizika.

Shrnutí

Dodavatelský řetězec AI (OWASP LLM03) zahrnuje cizí modely, datové sady, knihovny a adaptéry. Rizika: zranitelné komponenty, licence, zastaralé či pozměněné modely, slabý důkaz původu a podvržené kopie. Obrana: prověřit dodavatele, vést SBOM/ML-BOM, ověřovat podpisy a hashe, testovat na vlastních úlohách (benchmarky nestačí) a aktualizovat. Nejde o technický návod.

Často kladené otázky k dodavatelskému řetězci AI