Hämtning av förhöjd generering och index

I den här artikeln beskrivs vikten och behovet av RAG (Retrieval Augmented Generation) och index i generativ AI.

Vad är RAG?

Några grunderna först. Stora språkmodeller (LLM: er) som ChatGPT tränas på offentliga Internetdata som var tillgängliga vid den tidpunkt då de tränades. De kan svara på frågor som rör de data som de har tränats på. Offentliga data kanske inte räcker för att uppfylla alla dina behov. Du kanske vill ha svar på frågor baserat på dina privata data. Eller så kan offentliga data bara vara inaktuella. Lösningen på det här problemet är RAG (Retrieval Augmented Generation), ett mönster som används i AI som använder en LLM för att generera svar med dina egna data.

Hur fungerar RAG?

RAG är ett mönster som använder dina data med en LLM för att generera svar som är specifika för dina data. När en användare ställer en fråga genomsöks datalagret baserat på användarens indata. Användarfrågan kombineras sedan med matchande resultat och skickas till LLM med hjälp av en uppmaning (explicita instruktioner till en AI- eller maskininlärningsmodell) för att generera önskat svar. Den här processen kan illustreras på följande sätt.

Vad är ett index och varför behöver jag det?

RAG använder dina data för att generera svar på användarfrågan. För att RAG ska fungera bra måste vi hitta ett sätt att söka efter och skicka dina data på ett enkelt och kostnadseffektivt sätt till LLM:erna. Ett index löser det här problemet. Ett index är ett datalager som gör att du kan söka efter data effektivt. Det här indexet är mycket användbart i RAG. Ett index kan optimeras för LLM:er genom att skapa vektorer (textdata konverteras till talsekvenser med hjälp av en inbäddningsmodell). Ett bra index har vanligtvis effektiva sökfunktioner som nyckelordssökningar, semantiska sökningar, vektorsökningar eller en kombination av dessa funktioner. Det här optimerade RAG-mönstret kan illustreras på följande sätt.

Azure AI tillhandahåller en indextillgång som ska användas med RAG-mönster. Indextillgången innehåller viktig information som:

• Var lagras ditt index?
• Hur får du åtkomst till ditt index?
• Vilka lägen kan indexet sökas i?
• Har ditt index vektorer?
• Vilken inbäddningsmodell används för vektorer?

Azure AI-indexet använder Azure AI Search som primärt och rekommenderat indexarkiv. Azure AI Search är en Azure-resurs som stöder informationshämtning över dina vektor- och textdata som lagras i sökindex.

Nästa steg

• Skapa ett vektorindex