Jev: AI model, který místo psaní textů pomáhá aplikacím rozhodovat

Umělá inteligence v aplikacích často řeší úkoly, jejichž výsledkem je jediná kategorie, skóre nebo rozhodnutí ano či ne. Právě na ně se zaměřuje Jev od společnosti TypeSafe AI. Vrací strukturované odpovědi a odhady pravděpodobnosti, podle kterých může software třídit požadavky, určovat priority nebo řídit další kroky. Jak tento model funguje a co je potřeba zvážit před jeho nasazením?

Co je Jev a k čemu slouží

Jev je AI model společnosti TypeSafe AI, který se zaměřuje na rychlé vyhodnocování vstupů a vracení strukturovaných výsledků. Aplikace jej mohou využít při třídění zpráv, určování priorit nebo rozhodování o dalším kroku zpracování, píše Digital Ocean.

Výrobce jej řadí do vlastní kategorie System One models. Název odkazuje na rychlé, intuitivní myšlení, které popsal psycholog Daniel Kahneman. U Jev vystihuje zaměření na konkrétní, úzce vymezené otázky, které se v softwaru opakují.

Modelu se předá vstupní kontext a otázky s definovanými možnostmi odpovědi. Kontextem může být e-mail zákazníka, recenze nebo hlášení chyby. Jev tyto informace posoudí a vrátí výsledky, podle kterých může aplikace pokračovat.

V praxi může sloužit například pro:

• Třídění zákaznických požadavků – určí, zda zpráva patří technické podpoře, fakturaci nebo obchodnímu oddělení.
• Posuzování naléhavosti – odhadne, zda nahlášený problém vyžaduje okamžitou pozornost.
• Hodnocení závažnosti chyb – zařadí problém podle předem popsaných úrovní dopadu na uživatele.
• Předběžnou kontrolu obsahu – označí komentáře nebo zprávy, které mají projít kontrolou moderátora.
• Směrování úloh mezi AI modely – pomůže vybrat model podle charakteru požadavku a nastavených kritérií.

Jev negeneruje souvislé texty, programový kód ani vysvětlení svého úsudku. Může však spolupracovat s generativním modelem. Nejprve zařadí zákaznický požadavek a druhý model následně připraví návrh odpovědi.

Strukturovaný výstup usnadňuje zpracování, ale nezaručuje správné rozhodnutí. Pravidla pro automatické akce nastavuje vývojář, který musí také ověřit přesnost na vlastních datech a určit, kdy má případ převzít člověk.

Jak funguje rozhodování bez generování textu

Požadavek obsahuje vstupní kontext označovaný jako state a otázky, které má model posoudit. Kontextem může být například zpráva zákazníka. Otázky určí, zda potřebuje rychlou reakci, kterému oddělení patří a jak zákazník hodnotí situaci.

Podle dokumentace se jednotlivé otázky vyhodnocují paralelně a nezávisle nad stejným vstupem. Více otázek tak lze spojit do jediného volání. Přidání dalších otázek ovšem stále znamená další vstupní tokeny.

Důležité je, že odpověď na jednu otázku automaticky neslouží jako podklad pro druhou. Pokud má další rozhodnutí záviset na předchozím výsledku, návaznost musí zajistit kód aplikace nebo další požadavek.

Prakticky se vyplatí rozdělit složitý úsudek na dílčí posouzení. Místo otázky „Co máme s tímto zákazníkem udělat?“ lze samostatně zjistit typ problému, naléhavost a požadované řešení. Výsledné pravidlo pak sestaví vývojář.

Tři typy otázek: Choice, Score a Noul

Rozhraní nabízí tři základní typy otázek. Každý se hodí pro jiný způsob vyhodnocování: 

Choice vrací vybranou možnost, pravděpodobnosti jednotlivých možností a hodnotu confidence. Pokud seznam nepokrývá všechny situace, je vhodné přidat možnost „ostatní“ nebo „žádná z uvedených“.

Score pracuje se slovně popsanými úrovněmi. U chyby může jít o kosmetický problém, omezenou funkčnost s náhradním řešením a úplné zablokování práce. Výsledné skóre může ležet i mezi úrovněmi. Nejde tedy vždy o celé číslo.

Noul vrací číslo mezi 0 a 1 vyjadřující odhad pravděpodobnosti, že posuzované tvrzení platí. Výsledek 0,9 znamená odhad 90 %, nikoli potvrzení správnosti.

Kde může Jev pomoci v praxi

Přirozeným využitím je třídění příchozích zpráv. Aplikace může získat kategorii požadavku a při nejednoznačném výsledku jej předat pracovníkovi podpory. Generativní model lze zapojit až následně pro přípravu odpovědi.

Další možností je směrování úloh mezi jazykovými modely. Jednoduché požadavky mohou využít levnější model, složitější úlohy výkonnější variantu. LangChain pro tento způsob zapojení popisuje integrační komponentu ModelRouterMiddleware.

Jev může také poskytovat pomocný signál při kontrole akcí AI agenta. LangChain ukazuje použití pro posouzení rizikovosti volání nástrojů před jejich spuštěním. Takové posouzení je však vhodné kombinovat s pevně nastavenými oprávněními a pravidly aplikace.

Podobný princip lze využít při prvním třídění komentářů. Model označí obsah ke kontrole a člověk rozhodne o nejasných případech. Při návrhu je potřeba zohlednit i důsledky chybného označení legitimního obsahu.

Rozhodovací vrstva vedle generativní AI

Jev ukazuje využití AI tam, kde aplikace potřebuje opakovaně vyhodnotit úzce vymezenou otázku. Výsledkem může být přehlednější propojení modelu s běžným kódem: AI posoudí vstup a aplikace podle předem nastavených pravidel provede další krok.

O přínosu rozhodne konkrétní úloha. Pro psaní, vysvětlování a tvorbu kódu zůstává potřeba generativní model. Pro třídění a dílčí hodnocení může specializovaná rozhodovací vrstva dávat smysl, pokud na vlastních datech prokáže odpovídající přesnost, rychlost a celkové náklady.