TypeSafe lanserar Jev som bara väljer bland fördefinierade svar

TypeSafe AI har lanserat en modell som kallas Jev och som är byggd för att poängsätta fördefinierade svarsalternativ i stället för att skriva fri text. Enligt en tidigare OpenAI-forskare kan den här ansatsen ge snäva omdömen inuti programvara på tiotals till hundratals millisekunder. Poängen är att få en maskin som fattar små, återkommande beslut snabbt och förutsägbart, snarare än att producera välformulerade stycken som ändå inte går att använda i ett arbetsflöde.

Enligt The Decoder riktar sig Jev mot sådana bakgrundsbeslut som företag redan försöker automatisera: sortera kundmeddelanden, uppskatta avsikt eller avgöra när en människa ska kopplas in. Utvecklaren formulerar frågorna och de tillåtna svaren, och Jev svarar med etiketter och sannolikheter. I exemplet som beskrivs skickar kundtjänstprogrammet meddelanden om ”betalningsproblem” till ekonomifunktionen och markerar ärenden som sannolikt gäller återbetalning för närmare granskning. Modellens säljargument är inte uppfinningsrikedom utan begränsning: den kan inte lämna den tillåtna utmatningsstrukturen, vilket lockar företag som bränt sig på samtalsmodeller som skriver trovärdig men i praktiken oanvändbar prosa.

Det här speglar också en förskjutning i hur så kallad artificiell intelligens tas i drift. Många verksamheter behöver inte en pratmaskin; de behöver en snabb och billig klassificerare som kan anropas om och om igen som en del av ett arbetsflöde, även som kontroll av andra modeller. The Decoder uppger att TypeSafe hävdar att Jev svarar på ungefär 70 till 500 millisekunder genom att räkna ut flera utfall parallellt, och att fler frågor i samma anrop knappt ökar svarstiden. Om det stämmer under verklig belastning blir ”döm innan du agerar”-upplägg mer realistiska: en första assistent skriver ett förslag, medan en andra modell poängsätter följdriktighet, regeluppfyllelse eller om ett återbetalningskrav faktiskt ser ut som ett återbetalningskrav.

Men begränsning är inte detsamma som riktighet. Jev hittar inte på en ny kategori, men den kan fortfarande välja fel, och den efterföljande programvaran kommer ändå att köra de regler som företaget kopplat till den etiketten. The Decoder påpekar att vanliga språkmodeller också kan tvingas in i förinställda kategorier med strukturerade utdata, även i erbjudanden från OpenAI, vilket gör att skillnader i praktiken handlar om hastighet, pris och träffsäkerhet i oberoende utvärderingar. TypeSafes publicerade tester, enligt The Decoder, jämför arbetsflöden som företaget byggt självt och använder andra modeller som referenspunkter snarare än externt verifierad facitdata.

TypeSafe anger ett pris på 0,042 dollar per miljon inmatningstoken och tar inget betalt för utdata, en konstruktion som uppmuntrar många små anrop. Tillsammans med löftet om förutsägbara utdata riktar det sig rakt mot företag som vill automatisera utan att ta den anseenderisk som följer när en samtalsmodell improviserar offentligt.

Jev marknadsförs som en modell som inte kan ”hallucinera” utanför det tillåtna formatet. Den svårare frågan för köpare blir hur ofta den gör fel val inom formatet, och vad deras egna system gör när det händer.