Förstå observerbarhet

  • 2 minuter

Det finns många sätt att mäta generativ AI:s svarskvalitet. I allmänhet kan du tänka dig tre dimensioner för att utvärdera och övervaka generativ AI. Dessa inkluderar:

  • Prestanda- och kvalitetsutvärderingar: utvärdera noggrannhet, grund och relevans för genererat innehåll.
  • Risk- och säkerhetsutvärderingar: utvärdera potentiella risker som är kopplade till AI-genererat innehåll för att skydda mot innehållsrisker. Detta omfattar utvärdering av ai-systemets predisposition för att generera skadligt eller olämpligt innehåll.
  • Anpassade utvärderare: branschspecifika mått för att uppfylla specifika behov och mål.

Azure AI Foundry stöder observerbarhetsfunktioner som förbättrar prestanda och pålitlighet för generativa AI-svar. Utvärderare är specialiserade verktyg i Azure AI Foundry som mäter kvaliteten, säkerheten och tillförlitligheten hos AI-svar.

Några utvärderare är:

  • Konsistens: mäter hur konsekvent svaret är med avseende på den återvunna kontexten.
  • Relevans: mäter hur relevant svaret är för frågan.
  • Fluency: mäter kvalitet på naturligt språk och läsbarhet.
  • Enhetlighet: mäter logisk konsekvens och flöde av svar.
  • Innehållssäkerhet: omfattande bedömning av olika säkerhetsproblem.

Nu ska vi prova generativa AI-funktioner i Azure AI Foundry-portalen.