Belastningstestning av en Python chattapp med hjälp av RAG med Locust

Den här artikeln innehåller processen för att utföra belastningstestning i ett Python-chattprogram med hjälp av RAG-mönstret (Retrieval Augmented Generation) med Locust, ett populärt verktyg för belastningstestning med öppen källkod. Det primära målet med belastningstestning är att säkerställa att den förväntade belastningen i chattprogrammet inte överskrider den aktuella TPM-kvoten (Azure OpenAI Service Transactions per minut). Genom att simulera användarbeteende under hög belastning kan du identifiera potentiella flaskhalsar och skalbarhetsproblem i ditt program. Den här processen är avgörande för att säkerställa att chattprogrammet förblir responsivt och tillförlitligt, även när det ställs inför en stor mängd användarbegäranden.

Förutsättningar

• Ett Azure-abonnemang. Skapa en kostnadsfritt.

• Dev-containrar är tillgängliga för båda exemplen med alla beroenden som krävs för att slutföra den här artikeln. Du kan köra dev-containrarna i GitHub Codespaces (i en webbläsare) eller lokalt med hjälp av Visual Studio Code.

  • GitHub Codespaces (rekommenderas)
  • Visual Studio Code

  • Du behöver bara ett GitHub-konto.

• Python-chattapp med RAG. Om du har konfigurerat chattappen att använda någon av belastningsutjämningslösningarna hjälper den här artikeln dig att testa belastningsutjämningen. Lösningarna för belastningsutjämning omfattar Azure Container Apps.

Öppna exempelappen för belastningstest

Belastningstestet finns i python-chattappens lösning som ett Locust-test. Gå tillbaka till den artikeln, distribuera lösningen och använd sedan utvecklingsmiljön för utvecklingscontainrar för att slutföra följande steg.

Kör testet

1. Installera Locust-paketet för belastningstestet.

   python -m pip install locust
   

2. Starta Locust, som använder Locust-testfilen locustfile.py. Du hittar den i roten av arkivet. Exemplet har en ChatUser klass som simulerar en användare som ställer frågor och får svar från chattappen.

   locust ChatUser
   

3. Öppna den körande Locust-webbplatsen, till exempel http://localhost:8089.

4. Ange följande värden på webbplatsen Locust.

   Fastighet	Värde
   Antal användare	20
   Trappa upp	1
   värd	https://<YOUR-CHAT-APP-URL>.azurewebsites.net

   

5. Välj Starta Swarm för att starta testet.

6. Välj Diagram för att se test förloppet.

   

Rensa resurser

När du är klar med belastningstestningen rensar du resurserna. De Azure-resurser som skapas i den här artikeln faktureras till din Azure-prenumeration. Om du inte förväntar dig att behöva dessa resurser i framtiden tar du bort dem för att undvika att debiteras mer. När du har tagit bort resurser som är specifika för den här artikeln, kom ihåg att gå tillbaka till självstudien för den andra chattappen och följa stegen för att städa upp.

Gå tillbaka till chattappartikeln för att rensa resurserna.

Få hjälp

Om du har problem med att använda den här belastningstestaren lägger du till problemet på lagringsplatsens webbplats Problem .