Detektory AI textu a nerodilí mluvčí – co ukázala studie o zkreslení (Liang, Zou a kol.)

Učitel pustí esej žáka přes detektor AI textu a ten hlásí „pravděpodobně napsáno umělou inteligencí“. Je to důkaz? Jedna z nejcitovanějších studií na toto téma říká, že detektory systematicky chybují na textech nerodilých mluvčích. Studie „GPT detectors are biased against non-native English writers“ (Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu a James Zou) ukazuje konkrétní čísla. Tento článek je shrnuje a vysvětluje, co z nich plyne pro školy. Pro jistotu hned na začátku: studie pracovala s angličtinou a detektory z roku 2023; nelze ji mechanicky přenést na češtinu ani na dnešní nástroje, ale její zjištění jsou důležitým varováním.

Zdroj: arXiv:2304.02819 (podáno 6. 4. 2023, verze 3 z 10. 7. 2023). Související: AI detektory textu – fungují spolehlivě a AI Assessment Scale.

Aktualizováno: listopad 2026.

Co studie testovala

Autoři vyzkoušeli sedm široce používaných detektorů na dvou souborech textů:

• 91 esejů z testu TOEFL (test angličtiny pro nerodilé mluvčí) napsaných lidmi, získaných z čínského vzdělávacího fóra,
• 88 esejů amerických osmáků z datasetu ASAP (Hewlett Foundation), napsaných lidmi.

Všechny texty napsali lidé. Správný výsledek proto byl pro každý text „napsal člověk“.

Postup opatrného zacházení s výsledkem detektoru AI – vlastní infografika

Výsledky

Podle studie detektory dosáhly téměř dokonalé přesnosti u esejů amerických osmáků. U esejů TOEFL ale více než polovinu chybně označily jako vytvořené AI: průměrná míra falešně pozitivních výsledků byla 61,22 %. Všech sedm detektorů se jednomyslně shodlo, že 18 z 91 esejů (19,78 %) psala AI, a alespoň jeden detektor označil za AI-generovaných 89 z 91 esejů (97,80 %). Jinými slovy: téměř každý text nerodilého mluvčího „vyvolal poplach“ aspoň u jednoho nástroje.

Proč se to děje: perplexita

Většina testovaných detektorů vychází z míry, které se říká perplexita: zjednodušeně, jak „překvapivý“ je text pro jazykový model. Nízká perplexita (předvídatelná slova a jednoduché věty) vypadá jako text generovaný AI. Autoři zjistili, že eseje TOEFL, které byly všemi detektory označeny jako AI, měly významně nižší perplexitu než ostatní. Vysvětlují to tím, že nerodilí mluvčí mívají omezenější slovní zásobu a menší rozmanitost vyjadřování, takže jejich texty působí „předvídatelněji“. Pro kontrolu analyzovali 1 574 přijatých článků z konference ICLR 2023 a zjistili, že abstrakty autorů z nerodilých anglicky mluvících zemí měly nižší perplexitu než abstrakty autorů z anglicky mluvících zemí; rozdíl zůstal i při zohlednění hodnocení článků.

Experiment: úprava slovní zásoby

Autoři požádali ChatGPT, aby v esejích TOEFL „zlepšil volbu slov, aby zněla více jako od rodilého mluvčího“. Míra falešně pozitivních výsledků klesla v průměru z 61,22 % na 11,77 % a jednomyslně byl označen už jen 1 esej z 91 (1,10 %). Opačně: když ChatGPT zjednodušil slova v esejích amerických osmáků, jako by je psal nerodilý mluvčí, průměrná míra chybného označení vzrostla z 5,19 % na 56,65 %. Autoři z toho vyvozují, že detektory trestají omezenou jazykovou rozmanitost.

Zajímavý a trochu paradoxní závěr: nerodilý mluvčí, který nechce být falešně obviněn, by mohl být nucen použít AI k „vylepšení“ slovní zásoby. To je přesně opak toho, co škola chce.

Obcházení detektorů

Studie ukázala také opačný problém: detektory lze snadno obejít. U 31 esejů vygenerovaných ChatGPT-3.5 detektory zpočátku fungovaly, ale po druhém kole zadání „povznes text pomocí literárního jazyka“ klesla míra odhalení z až 100 % na až 13 %. U vědeckých abstraktů klesla odhalenost z až 68 % na až 28 %. Detektory tedy mohou křivdit poctivým a zároveň nechytit ty, kdo podvádějí.

Omezení studie

Sami autoři uvádějí, že jde o pilotní studii s relativně malými vzorky, že většina testovaných detektorů používala jako základ model GPT-2 a že výsledky mohou být u novějších modelů jiné; zaměřili se také hlavně na detektory založené na perplexitě a učení s učitelem. Doporučují hodnotit zkreslení i u dalších metod. Pro školní praxi to znamená: nespoléhejte na konkrétní čísla, ale vezměte vážně princip: detektory mohou mít skryté zkreslení, které poškozuje určité skupiny žáků.

Doporučení autorů

Autoři důrazně varují před používáním detektorů GPT při hodnocení a ve vzdělávání, zejména u prací nerodilých mluvčích. Dále doporučují, aby budoucí metody neopíraly jen o perplexitu, ale zkoumaly pokročilejší techniky, například metody druhého řádu či vodoznaky (watermarking).

Co z toho plyne pro české školy

Studie se týká angličtiny a nerodilých mluvčích. Je rozumné se obávat, že podobný problém může postihnout i další žáky, jejichž písemný projev je stylisticky jednodušší (studie to netestovala, jde o úvahu autora článku): žáci s dyslexií či nižší jazykovou úrovní, cizinci, žáci s odlišnou mateřštinou a obecně ti, kdo píší přímočaře. Doporučení (doplnění autora článku):

1. Nepovažujte výsledek detektoru za důkaz. Je to nanejvýš signál k rozhovoru.
2. Porovnejte s dřívějšími pracemi žáka a zeptejte se na obsah, postup a zdroje.
3. Upravte zadání tak, aby šlo prokázat vlastní práci: průběžné verze, ústní obhajoba, práce ve třídě. Viz AI Assessment Scale.
4. Stanovte pravidla předem a informujte žáky.
5. Zvažte rovnost přístupu: nerodilí mluvčí potřebují zvláštní pozornost.
6. Zdokumentujte rozhodnutí a umožněte odvolání. Viz AI a plagiátorství – pravidla škol.

Co z toho plyne pro žáky

• Uchovávejte průběžné verze práce (návrhy, poznámky, historii úprav). Pomohou doložit vlastní práci.
• Umět vysvětlit, co jste napsali a proč, je nejlepší obrana.
• Nepokoušejte se „obcházet“ detektory pomocí AI; můžete tím porušit pravidla školy.
• Pokud vás někdo obviní, zachovejte klid, požádejte o rozhovor a nabídněte důkazy o postupu.

Alternativy k detekci

Místo hledání „stop“ AI v hotovém textu lze změnit způsob, jak se práce zadává a hodnotí. Pomáhá rozdělit práci na etapy s průběžnou kontrolou (osnova, první verze, zpětná vazba, konečná verze), požadovat krátkou ústní obhajobu či rozhovor o textu a zařadit psaní ve třídě tam, kde je důležité ověřit vlastní dovednost. Rámec AI Assessment Scale navíc umožňuje u každého úkolu předem určit, kolik AI je povoleno, takže žáci nemusejí hádat. Ochranu žáků před automatizovanými rozhodnutími popisuje i FAQ NPI „AI a právo ve škole“: o výsledku hodnocení musí rozhodovat člověk, který jej umí vysvětlit a obhájit.

Kde najít další informace

Původní studii najdete na arXiv. Doporučení NPI pro žáky obsahuje tento dokument, mezinárodní pohled nabízí UNESCO Guidance for generative AI in education and research. Pamatujte, že technologie detektorů se vyvíjejí; před jakýmkoli rozhodnutím proto ověřte aktuální dokumentaci nástroje a pravidla své školy.

Praktický příklad (smyšlený)

Žákyně z ukrajinské rodiny, která chodí do české školy teprve druhým rokem, napíše slohovou práci. Přísně formulované věty a jednoduchá slovní zásoba způsobí, že detektor označí text jako „pravděpodobně AI“. Učitelka detektor neposuzuje jako důkaz, porovná práci s předchozími texty, zeptá se na obsah a požádá žákyni o vysvětlení postupu. Ukáže se, že práci psala sama. Škola si poznamená, že detektory u žáků s odlišnou mateřštinou nejsou spolehlivé. Příklad je smyšlený.

Kontrolní seznam – vlastní infografika

Studie v kostce

Základní údaje – vlastní infografika

Výhody a nevýhody

Souhrn – vlastní infografika

Související články

V kategorii AI ve vzdělávání a psaní najdete také Jak poznat AI generovaný text ručně.

Shrnutí

Studie Liang a kol. ukázala, že sedm detektorů AI textu označilo eseje nerodilých mluvčích jako AI průměrně v 61,22 % případů, zatímco eseje amerických osmáků téměř bezchybně. Příčinou je nízká perplexita textů s omezenou slovní zásobou. Detektory lze navíc snadno obejít. Autoři varují před jejich použitím ve vzdělávání. Škola by výsledek detektoru neměla brát jako důkaz, ale jako signál k rozhovoru, a měla by zadání postavit tak, aby šlo doložit vlastní práci.

Často kladené otázky ke zkreslení detektorů AI