Utforska varianter och övervakningsalternativ

Under produktionen vill du optimera och distribuera ditt flöde. Slutligen vill du övervaka dina flöden för att förstå när det är nödvändigt att förbättra dina flöden.

Du kan optimera ditt flöde med hjälp av varianter, du kan distribuera ditt flöde till en slutpunkt och du kan övervaka ditt flöde genom att utvärdera viktiga mått.

Utforska varianter

Frågeflödesvarianter är versioner av en verktygsnod med distinkta inställningar. För närvarande stöds varianter endast i LLM-verktyget, där en variant kan representera ett annat promptinnehåll eller en annan inställning för anslutning. Med varianter kan användarna anpassa sin metod för specifika uppgifter, till exempel sammanfattning av nyhetsartiklar.

Några fördelar med att använda varianter är:

• Förbättra kvaliteten på din LLM-generation: Att skapa mångfaldiga varianter av en LLM-nod hjälper till att hitta den bästa uppmaningen och inställningarna för högkvalitativt innehåll.
• Spara tid och ansträngning: Varianter möjliggör enkel hantering och jämförelse av olika promptversioner, effektiviserar historisk spårning och minskar arbetet med snabbjustering.
• Öka produktiviteten: De förenklar optimeringen av LLM-noder, vilket möjliggör snabbare skapande och hantering av variationer, vilket leder till bättre resultat på kortare tid.
• Underlätta enkel jämförelse: Varianter möjliggör resultatjämförelser sida vid sida, vilket underlättar valet av den mest effektiva varianten baserat på datadrivna beslut.

Distribuera ditt flöde till en slutpunkt

När du är nöjd med flödets prestanda kan du välja att distribuera det till en onlineslutpunkt. Slutpunkter är URL:er som du kan anropa från valfritt program. När du gör ett API-anrop till en onlineslutpunkt kan du förvänta dig (nästan) omedelbara svar.

När du distribuerar ditt flöde till en onlineslutpunkt genererar promptflödet en URL och nyckel så att du på ett säkert sätt kan integrera flödet med andra program eller affärsprocesser. När du anropar slutpunkten körs ett flöde och utdata returneras i realtid. Därför kan distribution av flöden till slutpunkter till exempel generera chatt- eller agentiska svar som du vill returnera i ett annat program.

Övervaka utvärderingsmått

I snabbflöde är övervakning av utvärderingsmått nyckeln till att förstå LLM-programmets prestanda, se till att de uppfyller verkliga förväntningar och leverera korrekta resultat.

För att förstå om ditt program uppfyller praktiska behov kan du samla in feedback från slutanvändare och utvärdera programmets användbarhet. Ett annat sätt att förstå om din applikation presterar bra är att jämföra LLM-förutsägelser med förväntade eller faktiska svar för att mäta noggrannhet och relevans. Att utvärdera LLM:s förutsägelser är avgörande för att LLM-program ska vara tillförlitliga och effektiva.

Mätvärden

De nyckelmått som används för att övervaka och utvärdera i promptflödet ger unika insikter i LLM:ers prestanda.

• Grundlighet: Mäter LLM-programmets utdatas överensstämmelse med indatakällan eller databasen.
• Relevans: Utvärderar hur relevanta LLM-programmets utdata är för de angivna indata.
• Enhetlighet: Utvärderar det logiska flödet och läsbarheten för LLM-programmets text.
• Fluency (Fluency): Utvärderar grammatisk och språklig noggrannhet i LLM-programmets utdata.
• Likhet: Kvantifierar den kontextuella och semantiska matchningen mellan LLM-programmets utdata och grundsanningen.

Mått som grund,relevans, konsekvens, flyt och likhet är viktiga för kvalitetssäkring, vilket säkerställer att interaktioner med dina LLM-program är korrekta och effektiva. När ditt LLM-program inte fungerar som förväntat måste du återgå till experimentering för att iterativt utforska hur du kan förbättra flödet.