Indirect Prompt Injection: Útok ukrytý na webu nebo v dokumentu

Umělá inteligence už nepracuje pouze s textem, který uživatel napíše do chatovacího okna. AI asistenti dokážou procházet webové stránky, analyzovat dokumenty, číst e-maily nebo používat další nástroje. Právě tím ale vzniká nový prostor pro útok. Indirect Prompt Injection umožňuje útočníkovi ukrýt škodlivé instrukce do obsahu, který AI později zpracuje. Uživatel je přitom vůbec nemusí vidět.

Co je Indirect Prompt Injection

Indirect Prompt Injection (nepřímý prompt injection) je způsob útoku na systémy využívající velké jazykové modely (LLM), při kterém útočník vloží škodlivé instrukce do externího obsahu. AI je následně načte například z webové stránky, dokumentu nebo e-mailu a může je nesprávně vyhodnotit jako pokyny, kterými se má řídit.

Může být ukrytá například v:

• webové stránce,
• PDF nebo jiném dokumentu,
• e-mailu či jeho příloze,
• firemní databázi,
• obsahu načteném prostřednictvím RAG.

Tím se liší od Direct Prompt Injection, kdy útočník zadává manipulativní instrukci přímo do chatu. U nepřímého útoku ji naopak předem umístí do zdroje, ke kterému se AI později dostane.

Příkladem může být situace, kdy požádáte AI asistenta, aby shrnul obsah webové stránky. Na ní je ale ukrytý pokyn určený přímo modelu, například aby ignoroval původní zadání a řídil se novými instrukcemi. Uživatel si takového textu nemusí vůbec všimnout, zatímco AI jej může při zpracování stránky načíst a mylně považovat za pokyn, který má splnit.

Problém spočívá v tom, že LLM pracuje v jednom kontextu s instrukcemi i daty. Musí tedy správně rozpoznat, co je skutečný požadavek uživatele a co pouze obsah určený ke zpracování. Útočník se snaží právě toto rozlišení narušit.

Riziko je ještě větší u AI agentů, kteří mohou procházet web, pracovat s dokumenty a e-maily nebo používat externí nástroje. Úspěšný útok pak nemusí pouze změnit odpověď modelu, ale může se pokusit ovlivnit také další akce, které agent provádí jménem uživatele.

Jak útok funguje

Indirect Prompt Injection využívá toho, že AI při plnění úkolu často pracuje také s obsahem z externích zdrojů. Útočník proto nemusí komunikovat přímo s modelem. Stačí, když škodlivou instrukci umístí někam, odkud ji AI později načte.

Typický útok může probíhat následovně:

• Útočník připraví škodlivý obsah – například vloží instrukci na webovou stránku, do dokumentu, e-mailu nebo databáze.
• AI obsah načte – uživatel například požádá asistenta, aby stránku shrnul, analyzoval dokument nebo prošel nové e-maily.
• Instrukce se dostane do kontextu modelu společně s legitimním obsahem.
• Model ji může vyhodnotit jako příkaz namísto pouhých dat, která má analyzovat.
• AI změní své chování – například ignoruje původní zadání, upraví výslednou odpověď nebo se pokusí využít dostupné nástroje.

Útočný prompt přitom nemusí být pro uživatele na první pohled viditelný. Na webu může být například skrytý pomocí formátování, vložený do HTML nebo umístěný v části stránky, které člověk nevěnuje pozornost. U multimodálních AI systémů mohou být manipulativní instrukce součástí také obrázků.

Nebezpečnost útoku závisí především na tom, jaká oprávnění má AI k dispozici. Pokud model pouze vytváří shrnutí textu, může být výsledkem například zmanipulovaná odpověď. Pokud ale jde o AI agenta s přístupem k e-mailu, dokumentům, API nebo dalším službám, potenciální následky jsou výrazně závažnější.

Útočník se tak nesnaží klasicky prolomit zabezpečení aplikace. Místo toho manipuluje s informacemi, které AI považuje za součást svého pracovního kontextu, a snaží se model přesvědčit, aby provedl něco jiného, než původně požadoval uživatel.

Škodlivý prompt nemusí být na první pohled vidět

Jedním z problémů Indirect Prompt Injection je, že škodlivá instrukce nemusí být pro uživatele vůbec zřejmá. Útočník ji může vložit do obsahu tak, aby ji člověk při běžném prohlížení stránky nebo dokumentu snadno přehlédl, zatímco AI ji při zpracování načte.

Prompt může být ukrytý například:

• v méně nápadné části webové stránky,
• pomocí velmi malého písma nebo textu splývajícího s pozadím,
• v HTML kódu či dalších prvcích stránky,
• v PDF, e-mailu nebo jiném dokumentu,
• v uživatelském komentáři, recenzi nebo příspěvku,
• v obrázku, který zpracovává multimodální AI.

Uživatel tak může mít pocit, že AI předává běžný článek nebo dokument. Model ale při zpracování získá větší množství obsahu, než člověk na první pohled vnímá, a mezi ním se může nacházet například pokyn k ignorování původního zadání nebo změně dalšího postupu.

Útočníci navíc nemusí spoléhat pouze na jednoduché příkazy typu „ignoruj předchozí instrukce“. Prompt mohou formulovat tak, aby vypadal jako běžná součást dokumentu nebo důvěryhodná instrukce pro AI. Právě proto je obtížné podobné útoky odhalovat pouze kontrolou viditelného obsahu.

S rozvojem multimodálních modelů se problém rozšiřuje i mimo samotný text. Instrukce mohou být součástí obrázků nebo dalších typů dat, které AI dokáže analyzovat. Ochrana proto musí počítat s tím, že prakticky každý externí obsah načtený modelem může představovat nedůvěryhodný vstup.

Proč jsou AI agenti rizikovější

U běžného chatbotu může úspěšný útok například změnit odpověď modelu. Mnohem větší problém ale vzniká u AI agentů, kteří mohou sami používat další nástroje.

Moderní agent může mít například oprávnění:

• procházet internet,
• pracovat s e-mailem,
• přistupovat k firemním dokumentům,
• používat cloudové služby,
• komunikovat s API,
• vytvářet nebo upravovat soubory,
• provádět další akce jménem uživatele.

V takovém případě už nejde pouze o nesprávně vygenerovaný text. Útočník se může pokusit přimět AI, aby zneužila oprávnění, která jí legitimně poskytl její uživatel.

Google proto označuje indirect prompt injection za jednu z hlavních bezpečnostních výzev agentního procházení webu. Škodlivý obsah na stránkách, v iframech nebo třeba uživatelských recenzích se může pokusit přimět agenta k nežádoucím akcím nebo k úniku citlivých informací.

RAG problém automaticky neřeší 

Ani Retrieval-Augmented Generation (RAG) nepředstavuje automatickou ochranu před Indirect Prompt Injection. RAG umožňuje jazykovému modelu před vytvořením odpovědi vyhledat relevantní informace v externích zdrojích, například ve firemní dokumentaci, databázi nebo znalostní bázi. Model tak nemusí spoléhat pouze na informace získané během trénování.

Právě načítání externího obsahu ale vytváří další cestu, kterou se může škodlivý prompt dostat k modelu. Pokud se manipulativní instrukce nachází v dokumentu uloženém ve znalostní bázi, RAG jej může při vyhledávání vybrat a společně s ostatními informacemi předat modelu.

Útok může například probíhat takto:

• útočník dostane škodlivý obsah do zdroje využívaného systémem,
• RAG tento dokument vyhodnotí jako relevantní pro dotaz uživatele,
• jeho obsah se přidá do kontextu modelu,
• model může ukrytou instrukci zaměnit za pokyn, kterým se má řídit.

Problém tedy není v samotném principu RAG, ale v tom, že načtený obsah nelze automaticky považovat za důvěryhodný. To platí zejména v případě systémů, které získávají informace z internetu, uživatelských dokumentů nebo dalších zdrojů, jejichž obsah nelze plně kontrolovat.

Jak se proti Indirect Prompt Injection bránit

Úplně zabránit Indirect Prompt Injection je obtížné. AI systém totiž může pracovat s velkým množstvím externího obsahu a nelze spoléhat pouze na to, že model vždy správně rozpozná škodlivou instrukci. Microsoft proto doporučuje vícevrstvou ochranu, která kombinuje několik bezpečnostních opatření.

Mezi důležité principy patří:

• Kontrola externích vstupů – obsah z webu, dokumentů, e-mailů nebo databází je vhodné považovat za potenciálně nedůvěryhodný a před zpracováním jej kontrolovat.
• Oddělení dat a instrukcí – systém by měl modelu co nejjasněji určit, které části vstupu představují pokyny a které jsou pouze obsahem určeným k analýze.
• Princip minimálních oprávnění – AI agent by měl mít přístup pouze k funkcím a datům, které skutečně potřebuje. Agent určený ke shrnutí dokumentů například nepotřebuje oprávnění mazat soubory nebo odesílat e-maily.
• Kontrola používání nástrojů – systém by měl ověřovat, jaké externí nástroje chce agent použít a zda daná akce odpovídá původnímu požadavku uživatele.
• Potvrzení citlivých akcí – odeslání zprávy, odstranění souboru, nákup nebo jiná významná operace by neměla proběhnout automaticky bez souhlasu uživatele.

Jednou z možností ochrany je také technika Spotlighting, která pomáhá modelům lépe rozlišovat mezi důvěryhodnými instrukcemi a externím obsahem. V testech dokázala výrazně snížit úspěšnost Indirect Prompt Injection útoků, sama o sobě však nepředstavuje úplnou ochranu a je vhodné ji kombinovat s dalšími bezpečnostními opatřeními.

Základním pravidlem tak zůstává, že externí obsah by neměl automaticky získat možnost ovlivnit citlivé akce AI systému. Čím více oprávnění agent má, tím důležitější je omezit jejich rozsah a u kritických kroků ponechat konečné rozhodnutí na člověku.

Důležitá je také kontrola nad prostředím, ve kterém AI aplikace běží. Firmy, které chtějí mít větší kontrolu nad AI infrastrukturou, používanými modely a zpracováním dat, mohou zvolit provoz modelů ve vlastní nebo vyhrazené infrastruktuře.

Pro podobné scénáře lze využít například AI GPU server od ZonerCloud, na kterém je možné provozovat vlastní LLM, RAG řešení nebo AI agenty. Samotná vlastní infrastruktura sice Prompt Injection neodstraní, umožňuje ale firmě lépe řídit zabezpečení, přístupy a způsob propojení modelu s dalšími systémy.

S rostoucími schopnostmi AI roste také význam útoku

Indirect Prompt Injection ukazuje zásadní rozdíl mezi klasickou aplikací a AI agentem. Text už není pouze pasivní informace. Za určitých okolností může ovlivnit další chování systému.

Dokud AI pouze odpovídala na otázky v izolovaném chatbotu, byl dopad podobného útoku omezenější. Systémy ale stále častěji získávají přístup k webu, dokumentům, e-mailům, API a dalším službám. Čím větší má AI možnosti jednat jménem uživatele, tím důležitější je zabránit tomu, aby o jejím dalším postupu rozhodoval nedůvěryhodný obsah z internetu.

Bezpečnost AI agentů proto nemůže být založena pouze na kvalitně napsaném systémovém promptu. Je nutné počítat s tím, že škodlivá instrukce se dříve či později do kontextu modelu dostane, a navrhnout systém tak, aby ani v takovém případě nemohla jednoduše vést k úniku dat nebo provedení nebezpečné akce.