Snabbare AI-beslut med Jev öppnar för mer automation
Jev gör små AI-beslut snabbare och billigare genom att välja bland förbestämda svar. Det kan göra fler steg möjliga att automatisera.
AI-modellen Jev skriver ingen text, utan tar emot ett underlag och frågor där svarsalternativen är bestämda i förväg. Sedan svarar Jev med ett av alternativen och en siffra på hur säker den är. Ett program kan då använda svaret direkt och för sådana avgränsade beslut är Jev byggd för att vara betydligt snabbare och billigare än att använda en vanlig språkmodell.
Hos molnföretaget Vercel, där utvecklare kopplar sina program till AI-modeller från olika leverantörer, hade nästan 13 procent av de betalande kundteamen använt Jev efter ett dygn, skriver företaget. Ingen tidigare modell har fått så stor spridning där under sitt första dygn, och ingen annan som lanserats på senare tid har ens nått upp till 7 procent på lika lång tid.
Jev släpptes den 15 september av bolaget TypeSafe AI. Underlaget kan till exempel vara ett kundmejl, och frågorna vilken avdelning som ska ha ärendet, hur brådskande det är och om en människa behöver läsa det. Jev svarar på alla frågor samtidigt. Därefter är det vanlig programkod som avgör vad som händer, till exempel att allt där modellen är mindre än 95 procent säker går till en människa.
Enligt TypeSafes egna mätningar svarar Jev på mellan 70 och 500 millisekunder, och bolaget tar bara betalt för det som skickas in, inte för svaren. TechCrunch har talat med två utvecklare som har provat modellen. Hos Vercel bytte de ut en modell från OpenAI som bedömde om kommandon var säkra att köra, och fick svar 5 till 18 gånger snabbare och med högre träffsäkerhet. En utvecklare på ett annat bolag lät Jev och Googles Gemini sortera affärsmejl. Gemini var något träffsäkrare men 10 till 20 gånger dyrare.
TypeSafe skriver att Jev inte kan hallucinera. Med det menar bolaget att svaret aldrig kan ligga utanför de alternativ som utvecklaren har ställt upp. I TypeSafes egen dokumentation står att Jev läser frågor bokstavligt, varken räknar eller jämför datum pålitligt och kan påverkas av text som är skriven för att lura den. Utvecklaren Armin Ronacher säger till TechCrunch att modellen lämnar över en del av hallucinationsproblemet till användaren, som måste bestämma hur hög sannolikhet som krävs för att lita på ett svar.
Svaren från Jev går till programmet, inte till den som använder tjänsten. Modellen fattar små beslut i bakgrunden. Enligt TypeSafe kan det handla om att gå igenom stora mängder data, fatta beslut i realtid inne i ett program eller kontrollera vad en annan AI-modell har svarat. Hur säkert ett svar måste vara för att räcka bestämmer den som bygger tjänsten. Återstår att se om Jevs initiala popularitet håller i sig.
Fråga upplyst.ai
Varför spelar det roll?
Snabbheten är det som ändrar vad AI går att använda till. Enligt TypeSafes egna mätningar svarar Jev på under en halv sekund, och bolaget tar bara betalt för det som skickas in. Då går det att låta en modell fatta beslut i realtid inne i ett program, gå igenom stora mängder data eller kontrollera vad en annan AI-modell har svarat. Svaren går till programmet, inte till den som använder tjänsten.
Vad är bakgrunden?
TypeSafe AI är ett nystartat amerikanskt bolag, grundat av en forskare som tidigare arbetade på OpenAI med metoderna bakom ChatGPT. Jev är bolagets första modell. Vercel driftar webbplatser och appar och säljer tillgång till AI-modeller från flera leverantörer, så siffran därifrån visar hur många av Vercels egna kunder som provade Jev.
Vad är osäkert?
Svarstiden och prismodellen är TypeSafes egna uppgifter. De två testerna är rapporterade av TechCrunch, det ena gjordes hos Vercel, och i det andra var Gemini något träffsäkrare än Jev. Vercels siffra gäller bara det första dygnet. TypeSafes egen dokumentation säger att Jev läser frågor bokstavligt, varken räknar eller jämför datum pålitligt och kan påverkas av text som är skriven för att lura den.