Jak řešit verzování promptů a AI nastavení: Proč už nestačí ukládat jen zdrojový kód

Prompty se stávají stejně důležitou součástí aplikací jako samotný zdrojový kód. Stačí drobná úprava instrukcí nebo parametrů modelu a výsledky AI se mohou výrazně změnit. Jak prompty správně verzovat, testovat a spravovat, aby byl vývoj AI aplikací předvídatelný a pod kontrolou?

Proč je verzování promptů důležité

Ve většině AI projektů nevznikají problémy kvůli samotnému modelu, ale kvůli změnám v instrukcích, které model dostává. Vývojáři postupně upravují systémové prompty, přidávají nová pravidla, mění teplotu generování nebo rozšiřují kontext.

Po několika týdnech ale často nikdo přesně neví:

• která verze promptu je aktuálně nasazená,
• proč byla provedena konkrétní změna,
• kdy došlo ke zhoršení výsledků,
• jak vrátit aplikaci do předchozího stavu.

Bez verzování je velmi obtížné dohledat příčinu problémů nebo porovnat výkonnost jednotlivých variant promptů.

Podle doporučení OpenAI je vhodné zachovávat konzistentní proces testování a vyhodnocování promptů, protože i malé změny mohou výrazně ovlivnit kvalitu odpovědí. Stejný přístup doporučuje také Google ve svých materiálech pro vývojáře AI systémů.

Prompt je součást aplikace

Prompt není jen textová instrukce, ale důležitá součást AI aplikace. Stejně jako změna zdrojového kódu může ovlivnit fungování programu, může i drobná úprava promptu změnit kvalitu odpovědí, jejich délku nebo způsob komunikace.

Například změna instrukce z „odpovídej stručně“ na „odpovídej podrobně a uváděj příklady“ může výrazně zvýšit počet generovaných tokenů, změnit uživatelskou zkušenost i provozní náklady. Podobný dopad může mít úprava systémového promptu, bezpečnostních pravidel nebo kontextových instrukcí používaných v RAG aplikacích.

V praxi to znamená, že prompty by měly být verzované, dokumentované a procházet stejným schvalovacím procesem jako zdrojový kód. Díky tomu lze snadno dohledat, kdy byla změna provedena, proč vznikla a jaký měla dopad na chování AI aplikace.

Co všechno verzovat

Při správě AI aplikací nestačí verzovat pouze samotný prompt. Na výsledné odpovědi má vliv celá řada dalších nastavení, která se mohou v průběhu času měnit.

Doporučuje se evidovat:

• Systémové prompty – základní instrukce, které určují chování modelu. Definují například tón komunikace, formát odpovědí, bezpečnostní omezení nebo roli AI asistenta.
• Uživatelské šablony promptů – předpřipravené prompty používané v aplikaci nebo workflow. I drobná změna formulace může ovlivnit kvalitu a konzistenci výsledků.
• Použité modely – konkrétní model a jeho verze. Přechod například z jednoho modelu na novější variantu může změnit styl odpovědí, přesnost i výkon.
• Teplotu (temperature) – parametr určující míru kreativity a náhodnosti odpovědí. Vyšší hodnoty vedou k rozmanitějším výstupům, nižší k předvídatelnějším a konzistentnějším výsledkům.
• Top_p – nastavení ovlivňující výběr slov během generování. Pomáhá řídit variabilitu odpovědí a často se používá společně s parametrem temperature.
• Maximální počet tokenů – limit délky odpovědi. Jeho změna může ovlivnit úplnost výstupu, náklady na provoz i uživatelskou zkušenost.
• RAG konfiguraci – nastavení systémů využívajících Retrieval-Augmented Generation. Patří sem například způsob vyhledávání informací, počet vrácených dokumentů nebo práce s kontextem.
• Embedding modely – modely používané pro převod textu do vektorové podoby. Jejich změna může ovlivnit kvalitu vyhledávání a relevanci poskytovaných informací.
• Bezpečnostní pravidla – instrukce a filtry určující, jak má AI reagovat na citlivé dotazy, jaké informace nesmí poskytovat nebo jak má pracovat s firemními daty.
• Evaluační testy – sady testovacích scénářů a referenčních odpovědí používané k měření kvality. Díky nim lze porovnávat jednotlivé verze promptů a odhalovat případné zhoršení výsledků.

Pouze kombinace všech těchto informací umožňuje zpětně dohledat, proč se chování AI změnilo, a v případě potřeby se vrátit k předchozí funkční konfiguraci. Proto stále více týmů ukládá prompty, nastavení modelů i evaluační scénáře do stejného verzovacího systému jako zdrojový kód aplikace.

Jak dostat správu promptů pod kontrolu

Samotné ukládání promptů nestačí. Pokud má být AI aplikace dlouhodobě spolehlivá, je potřeba řešit také správu verzí, testování a bezpečné nasazování změn.

 1) Git jako základ – prompty a AI konfiguraci se vyplatí ukládat do stejného repozitáře jako zdrojový kód. Získáte tak historii změn, možnost code review, snadný návrat ke starší verzi i přehled o tom, jaká konfigurace byla nasazena v konkrétní verzi aplikace.

2) Oddělení prostředí – nové prompty by neměly mířit rovnou do produkce. Osvědčený postup je využívat prostředí development, staging a production, kde lze změny nejprve otestovat a až poté bezpečně nasadit uživatelům.

3) Automatické testování promptů – pomocí evals lze ověřovat správnost odpovědí, dodržování instrukcí, konzistenci i bezpečnost výstupů. Testy pomáhají rychle odhalit, zda nová verze promptu přináší zlepšení, nebo naopak zhoršení výsledků.

4) Experimenty a A/B testování – různé verze promptů lze porovnávat na reálných uživatelích pomocí A/B testů, canary deploymentu nebo postupného rolloutu. Rozhodování o změnách se tak opírá o data a měřitelné výsledky, nikoli pouze o subjektivní dojem.

Prompty a AI konfigurace by měly být spravovány stejně pečlivě jako zdrojový kód. Verzování, evaluační testy a postupné nasazování změn pomáhají udržet AI aplikace stabilní, předvídatelné a snadněji spravovatelné.

Specializované nástroje pro správu promptů

S rostoucím využitím generativní AI vznikají také nástroje zaměřené přímo na správu promptů, testování a vyhodnocování AI aplikací. Zatímco u menších projektů často postačí Git a vlastní procesy, větší týmy obvykle potřebují pokročilejší správu verzí, sledování experimentů a automatické vyhodnocování výsledků.

Mezi nejoblíbenější nástroje patří:

• LangSmith – mezi nejznámější platformy patří LangSmith, který umožňuje sledovat běh AI aplikací, porovnávat různé verze promptů a analyzovat kvalitu odpovědí. Vývojáři mohou jednoduše dohledat, proč konkrétní dotaz dopadl určitým způsobem, a porovnat chování aplikace po změně promptu nebo modelu.
• PromptLayer – dalším řešením je PromptLayer, který funguje jako vrstva mezi aplikací a jazykovým modelem. Umožňuje ukládat historii promptů, sledovat změny, testovat nové varianty a vyhodnocovat jejich výkon bez nutnosti budovat vlastní infrastrukturu.
• Weights & Biases Weave – pro experimentování a evaluaci AI workflow se často využívá také Weights & Biases Weave, který pomáhá sledovat metriky, organizovat testy a porovnávat jednotlivé verze AI aplikací. Výhodou je přehledné vyhodnocování experimentů a možnost sledovat změny v čase.
• Helicone – popularitu si získává také Helicone, který se zaměřuje na monitoring AI aplikací. Umožňuje sledovat náklady na API, výkon modelů, latenci odpovědí i kvalitu jednotlivých promptů.

Tyto nástroje pomáhají zavést do vývoje AI aplikací podobnou úroveň kontroly, jaká je běžná u moderního softwarového vývoje. Díky nim lze efektivněji spravovat prompty, testovat změny a udržovat kvalitu AI systémů i při jejich rychlém rozvoji.

AI aplikace potřebují stejnou disciplínu jako software

S rostoucím významem umělé inteligence se prompty stávají důležitou součástí aplikací. Přístup „upravit prompt a vyzkoušet, co se stane“ může fungovat u prototypů, ale v produkčním prostředí rychle naráží na limity.

Stejně jako verzujeme zdrojový kód, infrastrukturu nebo databázové migrace, je vhodné verzovat také prompty, modely a AI konfiguraci. Díky tomu lze jednoduše dohledat změny, testovat nové varianty a udržet AI systémy pod kontrolou.

Pokud AI aplikace provozujete ve vlastním prostředí, vyplatí se stejnou pozornost věnovat také infrastruktuře. AI agenti, RAG systémy nebo interní asistenti často běží na cloudových serverech a pracují s firemními daty, proto je důležitá nejen správa promptů, ale také spolehlivý provoz.

V tomto směru mohou pomoci například cloudové služby a GPU servery od ZonerCloudu, které poskytují potřebný výkon pro moderní AI projekty.