Se utvärderingsresultat i Azure AI Foundry-portalen

Lär dig hur du ser utvärderingsresultat i Azure AI Foundry-portalen. Visa och tolka AI-modellutvärderingsdata, prestandamått och kvalitetsutvärderingar. Få åtkomst till resultat från flöden, lekplatssessioner och SDK för att fatta datadrivna beslut.

När du har visualiserat dina utvärderingsresultat kan du gå in på en grundlig undersökning. Du kan visa enskilda resultat och jämföra dessa resultat mellan flera utvärderingskörningar. Du kan identifiera trender, mönster och avvikelser, vilket hjälper dig att få ovärderliga insikter om ai-systemets prestanda under olika förhållanden.

I den här artikeln lär du dig att:

• Hitta och öppna utvärderingsprocesser.
• Visa mått på aggregerings- och exempelnivå.
• Jämför resultat mellan körningar.
• Tolka måttkategorier och beräkningar.
• Felsöka saknade eller partiella mått.

Se dina utvärderingsresultat

När du har skickat en utvärdering, hitta exekveringen på sidan Utvärdering. Filtrera eller justera kolumner för att fokusera på körningsdata av intresse. Granska övergripande mått på en översiktlig nivå innan du fördjupar dig.

Välj Läs mer om mått för definitioner och formler.

Välj en körning för att öppna detaljer (datauppsättning, uppgiftstyp, uppmaning, parametrar) samt mätvärden per exempel. Instrumentpanelen för mått visualiserar genomströmningshastighet eller aggregeringspoäng per mått.

Instrumentpanel för mått

I avsnittet Måttinstrumentpanel delas aggregerade vyer upp efter mått som inkluderar AI-kvalitet (AI Assisted), Risk och säkerhet (förhandsversion), AI-kvalitet (NLP) och Anpassad (i förekommande fall). Resultaten mäts som procentandelar av pass/fail baserat på de kriterier som valdes när utvärderingen skapades. Mer detaljerad information om måttdefinitioner och hur de beräknas finns i Vad är utvärderare?.

• För AI-kvalitetsmått (AI Assisted) aggregeras resultaten genom genomsnitt för alla poäng per mått. Om du använder Groundedness Pro är utdata binärt och den aggregerade poängen är överföringshastigheten: (#trues / #instances) × 100.
• För mått för risk och säkerhet (förhandsversion) aggregeras resultaten efter defekt hastighet.
  • Innehållsskada: procentandel av instanser som överskrider tröskelvärdet för allvarlighetsgrad (standard Medium).
  • För skyddat material och indirekt attack beräknas defektfrekvensen som procentandelen instanser där utdata används true med hjälp av formeln (Defect Rate = (#trues / #instances) × 100).
• För mått för AI-kvalitet (NLP) aggregeras resultaten genom ett genomsnitt av poängen per mått.

Detaljerad resultattabell för mått

Använd tabellen under instrumentpanelen för att inspektera varje dataexempel. Sortera efter ett mått för att visa sämst presterande exempel och identifiera systematiska luckor (felaktiga resultat, säkerhetsfel, svarstid). Använd sökningen för att gruppera relaterade felämnen. Använd kolumnanpassning för att fokusera på viktiga mått.

Vanliga åtgärder:

• Filtrera efter låga poäng för att identifiera återkommande mönster.
• Justera frågor eller finjustera när systembrister uppstår.
• Exportera för offlineanalys.

Här är några exempel på måttresultaten för scenariot med frågesvar:

Vissa utvärderingar har underutvärderingar som gör att du kan visa JSON för resultaten från underutvärderingarna. Om du vill visa resultatet väljer du Visa i JSON.

Visa JSON i JSON Preview:

Här är några exempel på måttresultaten för konversationsscenariot. Om du vill granska resultaten i en konversation med flera turer väljer du Visa utvärderingsresultat per tur i kolumnen Konversation .

När du väljer Visa utvärderingsresultat per tur visas följande skärm:

För en säkerhetsutvärdering i ett multimodalt scenario (text och bilder) kan du bättre förstå utvärderingsresultatet genom att granska bilderna från både indata och utdata i den detaljerade resultattabellen för mått. Eftersom multimodal utvärdering för närvarande endast stöds för konversationsscenarier kan du välja Visa utvärderingsresultat per tur för att undersöka indata och utdata för varje tur.

Välj bilden för att expandera och visa den. Som standard är alla bilder suddiga för att skydda dig från potentiellt skadligt innehåll. Om du vill visa bilden tydligt aktiverar du växlingsknappen Kontrollera oskärpa .

Utvärderingsresultat kan ha olika betydelser för olika målgrupper. Säkerhetsutvärderingar kan till exempel generera en etikett för Låg allvarlighetsgrad av våldsamt innehåll som kanske inte överensstämmer med en mänsklig granskares definition av hur allvarligt det specifika våldsamma innehållet kan vara. Den fastställda godkända betygsgränsen när utvärderingen skapas avgör om godkänt eller underkänt tilldelas. Det finns en kolumn med mänsklig feedback där du kan välja en tumme upp- eller tummen ned-ikon när du granskar dina utvärderingsresultat. Du kan använda den här kolumnen för att logga vilka instanser som godkänts eller flaggats som felaktiga av en mänsklig granskare.

Om du vill förstå varje mått för innehållsrisk kan du visa måttdefinitioner genom att gå tillbaka till avsnittet Rapport , eller så kan du granska testet i avsnittet Måttinstrumentpanel .

Om det är något fel med körningen kan du också använda loggarna för att felsöka utvärderingskörningen. Här följer några exempel på loggar som du kan använda för att felsöka utvärderingskörningen:

Om du utvärderar ett promptflöde kan du välja knappen Visa i flöde för att gå till den utvärderade flödessidan och uppdatera flödet. Du kan till exempel lägga till extra instruktioner för metaprompter eller ändra vissa parametrar och omvärdera.

Jämför utvärderingsresultaten

För att underlätta en omfattande jämförelse mellan två eller flera körningar kan du välja önskade körningar och initiera processen. Välj antingen knappen Jämför eller, för en allmän detaljerad instrumentpanelsvy, knappen Växla till instrumentpanelsvy . Du har befogenhet att analysera och kontrastera prestanda och resultat för flera körningar, vilket möjliggör mer välgrundat beslutsfattande och riktade förbättringar.

I instrumentpanelsvyn har du åtkomst till två värdefulla komponenter: jämförelsediagrammet för måttdistribution och jämförelsetabellen. Du kan använda dessa verktyg för att utföra en analys sida vid sida av de valda utvärderingskörningarna. Du kan jämföra olika aspekter av varje dataexempel med lätthet och precision.

Följande skärmbild visar upplevelsen när fälten är desamma:

När en användare inte använder samma villkorsnamn för att skapa utvärderingen matchar inte fälten, vilket gör att plattformen inte kan jämföra resultatet direkt:

I jämförelsetabellen kan du upprätta en baslinje för jämförelsen genom att hovra över den specifika körning som du vill använda som referenspunkt och ange som baslinje. Du kan också aktivera växlingsknappen Visa delta för att enkelt visualisera skillnaderna mellan referenskörningen och de andra körningarna för numeriska värden. Dessutom kan du välja växlingsknappen Visa endast skillnad så att tabellen endast visar de rader som skiljer sig mellan de valda körningarna, vilket underlättar identifieringen av distinkta variationer.

Genom att använda dessa jämförelsefunktioner kan du fatta ett välgrundat beslut om att välja den bästa versionen:

• Jämförelse av baslinje: Genom att ange en baslinjekörning kan du identifiera en referenspunkt som de andra körningarna ska jämföras med. Du kan se hur varje körning avviker från den standard du har valt.
• Numerisk värdeutvärdering: Om du aktiverar alternativet Visa delta kan du förstå omfattningen av skillnaderna mellan baslinjen och andra körningar. Den här informationen kan hjälpa dig att bedöma prestandan hos olika körningar när det gäller specifika utvärderingsmått.
• Skillnadsisolering: Funktionen Visa endast skillnad effektiviserar din analys genom att endast markera de områden där det finns avvikelser mellan körningar. Den här informationen kan vara avgörande för att fastställa var förbättringar eller justeringar behövs.

Använd jämförelseverktyg för att välja den bäst presterande konfigurationen samtidigt som du undviker regressioner i säkerhet eller förankring.

Mäta sårbarhet för jailbreak

Att utvärdera sårbarheter i jailbreak är en jämförande mätning, inte ett AI-assisterat mått. Kör utvärderingar på två olika, red-teamed datauppsättningar: en baslinje fientlig testdatauppsättning jämfört med samma fientliga testdatauppsättning med jailbreak-injektioner i första tur. Du kan använda den kontradiktoriska datasimulatorn för att generera datauppsättningen med eller utan jailbreak-injektioner. Kontrollera att värdet Kriterienamn är detsamma för varje utvärderingsmått när du konfigurerar körningar.

För att förstå om ditt program är sårbart för jailbreak kan du ange baslinjen och sedan aktivera växlingsfrekvensen för Jailbreak-defekter i jämförelsetabellen. Felfrekvensen för jailbreak är procentandelen instanser i testdatauppsättningen där en jailbreak-injektion genererade en högre allvarlighetsgrad för något mått för innehållsrisk med avseende på en baslinje över hela datamängdens storlek. Du kan välja flera utvärderingar på Jämför-instrumentpanelen för att visa skillnaden i defektfrekvenser.

Förstå de inbyggda utvärderingsmåtten

Det är viktigt att förstå de inbyggda måtten för att utvärdera prestanda och effektivitet för ditt AI-program. Genom att få insikter om dessa viktiga mätverktyg är du bättre rustad att tolka resultaten, fatta välgrundade beslut och finjustera ditt program för att uppnå optimala resultat. Mer information om följande aspekter finns i Utvärderings- och övervakningsmått :

• Betydelsen av varje mått
• Hur det beräknas
• Dess roll vid utvärdering av olika aspekter av din modell
• Så här tolkar du resultaten för att göra datadrivna förbättringar

Felsökning

Nästa steg

• Förbättra låga mått via snabb iteration eller finjustering.
• Lägg till spårning för att diagnostisera svarstider eller oväntade verktygssteg.
• Kör utvärderingar i molnet med Azure AI Foundry SDK.

Relaterat innehåll

Läs mer om hur du utvärderar dina generativa AI-program:

• Utvärdera dina generativa AI-appar med Azure AI Foundry-portalen eller SDK
• Skapa utvärderingar specifikt med OpenAI-bedömare i Azure OpenAI Hub

Läs mer om skadereduceringstekniker.