Kom igång med serverlös AI-chatt med RAG med Hjälp av LlamaIndex

Förenkla AI-apputvecklingen med RAG med hjälp av dina egna data som hanteras av LlamaIndex, Azure Functions och serverlösa tekniker. De här verktygen hanterar infrastruktur och skalning automatiskt, så att du kan fokusera på chattrobotfunktioner. LlamaIndex hanterar datapipelinen hela vägen från inmatning till det strömmade svaret.

Översikt över arkitektur

Programflödet innehåller:

• Använd chattgränssnittet för att ange en uppmaning.
• Skicka användarens uppmaning till det serverlösa API:et via HTTP-anrop.
• Ta emot användarens uppmaning och sedan använda LlamaIndex-ramverket för att bearbeta och strömma svaret. Det serverlösa API:et använder en motor för att skapa en anslutning till Azure OpenAI large language model (LLM) och vektorindexet från LlamaIndex.

En enkel arkitektur för chattappen visas i följande diagram:

Det här exemplet använder LlamaIndex för att generera inbäddningar och lagra i ett eget vektorlager. LlamaIndex tillhandahåller även integrering med andra vektordatalager inklusive Azure AI Search. Den integreringen visas inte i det här exemplet.

Var finns Azure i den här arkitekturen?

Programmets arkitektur förlitar sig på följande tjänster och komponenter:

• Azure OpenAI representerar DEN AI-provider som vi skickar användarens frågor till.
• LlamaIndex är det ramverk som hjälper oss att mata in, transformera och vektorisera vårt innehåll (PDF-fil) och skapa ett sökindex från våra data.
• Azure Container Apps är den containermiljö där programmet finns.
• Azure Managed Identity hjälper oss att säkerställa bästa möjliga klasssäkerhet och eliminerar kraven för dig som utvecklare att hantera autentiseringsuppgifter och API-nycklar.

LlamaIndex hanterar data från inmatning till hämtning

För att implementera ett RAG-system (Retrieval-Augmented Generation) med hjälp av LlamaIndex matchas följande viktiga steg med LlamaIndex-funktionerna:

Förutsättningar

En utvecklingscontainermiljö är tillgänglig med alla beroenden som krävs för att slutföra den här artikeln. Du kan köra utvecklingscontainern i GitHub Codespaces (i en webbläsare) eller lokalt med hjälp av Visual Studio Code.

Om du vill använda den här artikeln behöver du följande krav:

Öppna utvecklingsmiljön

Använd följande instruktioner för att distribuera en förkonfigurerad utvecklingsmiljö som innehåller alla nödvändiga beroenden för att slutföra den här artikeln.

Distribuera och kör

Exempellagringsplatsen innehåller alla kod- och konfigurationsfiler som du behöver för att distribuera den serverlösa chattappen till Azure. Följande steg beskriver hur du distribuerar exemplet till Azure.

Distribuera chattapp till Azure

1. Om du vill etablera Azure-resurserna och distribuera källkoden kör du följande Azure Developer CLI-kommando:

   azd up
   

2. Använd följande tabell för att besvara anvisningarna:

   Snabb	Svar
   Miljönamn	Håll det kort och med små bokstäver. Lägg till ditt namn eller alias. Till exempel john-chat. Den används som en del av resursgruppens namn.
   Abonnemang	Välj den prenumeration som resurserna ska skapas i.
   Plats (för värd)	Välj en plats nära dig i listan.
   Plats för OpenAI-modellen	Välj en plats nära dig i listan. Om samma plats är tillgänglig som din första plats väljer du det.

3. Vänta tills appen har distribuerats. Det kan ta 5–10 minuter för distributionen att slutföras.

4. När programmet har distribuerats visas två URL:er i terminalen.

5. Välj den URL som är märkt Deploying service webapp för att öppna chattprogrammet i en webbläsare.

   

Använda chattappen för att få svar från PDF-filer

Chattappen är förinstallerad med information om de fysiska standarderna för inrikes post från en PDF-filkatalog. Du kan använda chattappen för att ställa frågor om e-postmeddelandet och paketen. Följande steg beskriver hur du använder chattappen.

1. I webbläsaren väljer eller anger du Hur mycket kostar det att skicka ett stort paket till Frankrike?.

2. LlamaIndex härleder svaret använder PDF-filen och strömmar svaret.

   

   Svaret kommer från Azure OpenAI med påverkan från PDF-data som matas in i LlamaIndex-vektorlagret.

Rensa resurser

För att rensa resurser finns det två saker att åtgärda:

• Azure-resurser, du kan rensa resurserna med Azure Developer CLI, azd.
• Din utvecklarmiljö; antingen GitHub Codespaces eller DevContainers via Visual Studio Code.

Rensa Azure-resurser

De Azure-resurser som skapas i den här artikeln faktureras till din Azure-prenumeration. Om du inte förväntar dig att behöva dessa resurser i framtiden tar du bort dem för att undvika att debiteras mer.

Kör följande Azure Developer CLI-kommando för att ta bort Azure-resurserna och ta bort källkoden:

azd down --purge

Rensa utvecklarmiljöer

Få hjälp

Den här exempellagringsplatsen erbjuder felsökningsinformation.

Om ditt problem inte åtgärdas, rapportera ditt problem till repositoryns Issues.

Nästa steg