Nätverksisolering i promptflöde

Du kan skydda promptflödet med hjälp av privata nätverk. I den här artikeln beskrivs kraven för att använda promptflöde i en miljö som skyddas av privata nätverk.

Berörda tjänster

När du utvecklar AI-program med hjälp av promptflöde behöver du en säker miljö. Du kan konfigurera nätverksisolering för följande tjänster:

Grundläggande Azure Machine Learning-tjänster

• Arbetsyta: Konfigurera Azure Machine Learning-arbetsytan som privat och begränsa dess inkommande och utgående trafik.
• Beräkningsresurs: Använd regler för inkommande och utgående trafik för att begränsa åtkomsten till beräkningsresurser på arbetsytan.
• Lagringskonto: Begränsa tillgängligheten för lagringskontot till ett specifikt virtuellt nätverk.
• Containerregister: Skydda ditt containerregister med hjälp av konfiguration av virtuella nätverk.
• Slutpunkt: Kontrollera vilka Azure-tjänster eller IP-adresser som kan komma åt dina distribuerade slutpunkter.

Azure AI-tjänster

• Azure OpenAI: Använd nätverkskonfiguration för att göra Azure OpenAI privat och använd sedan privata slutpunkter för Azure Machine Learning-kommunikation.
• Azure Content Safety: Konfigurera åtkomst till privata nätverk och upprätta privata slutpunkter för säker kommunikation.
• Azure AI Search: Aktivera inställningar för privata nätverk och använd privata slutpunkter för säker integrering.

Externa resurser

• Icke-Azure-resurser: För externa API:er som SerpAPI lägger du till FQDN-regler i dina utgående trafikbegränsningar för att upprätthålla åtkomsten.

Alternativ i olika nätverkskonfigurationer

I Azure Machine Learning har vi två alternativ för att skydda nätverksisolering: ta med ditt eget nätverk eller använda ett arbetsytehanterat virtuellt nätverk. Läs mer om säkra arbetsyteresurser.

Här är en tabell som illustrerar alternativen i olika nätverksinstallationer för promptflöde.

• I scenarier med privata virtuella nätverk rekommenderar vi att du använder ett arbetsyteaktiverat hanterat virtuellt nätverk. Det är det enklaste sättet att skydda din arbetsyta och relaterade resurser.
• Användning av hanterade virtuella nätverk och ditt eget virtuella nätverk i en enda arbetsyta stöds inte. Eftersom hanterad onlineslutpunkt endast stöds med ett hanterat virtuellt nätverk kan du inte distribuera promptflöde till hanterad onlineslutpunkt på en arbetsyta med ett aktiverat Bring Your Own Virtual Network.
• Du kan ha en arbetsyta för redigering av promptflöden med ditt eget virtuella nätverk och en annan arbetsyta för distribution av promptflöde med hjälp av en hanterad onlineslutpunkt med ett arbetsytehanterat virtuellt nätverk.

Skydda promptflöde med arbetsytehanterat virtuellt nätverk

Ett arbetsytestyrt virtuellt nätverk är det föredragna sättet att säkerställa nätverksisolering i prompt flow. Det ger en enkel konfiguration för att skydda din arbetsyta. När du har aktiverat hanterat virtuellt nätverk på arbetsytenivå använder resurser som är relaterade till arbetsytan i samma virtuella nätverk samma nätverksinställningar på arbetsytans nivå. Du kan också konfigurera arbetsytan så att den använder privata slutpunkter för att få åtkomst till andra Azure-resurser, till exempel Azure OpenAI, Azure-innehållssäkerhet och Azure AI Search. Du kan också konfigurera FQDN-regler för att godkänna utgående anslutningar till icke-Azure-resurser som används av ditt promptflöde, till exempel SerpAPI.

1. Följ den arbetsytehanterade nätverksisoleringen för att aktivera arbetsytehanterat virtuellt nätverk.

   Viktigt!

   Skapandet av det hanterade virtuella nätverket skjuts upp tills en beräkningsresurs skapas eller etableringen startas manuellt. Du kan använda följande kommando för att manuellt utlösa nätverksetablering.

   az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>
   

2. Lägg till arbetsplats-MSI som Storage File Data Privileged Contributor till lagringskontot som är länkat till arbetsytan.

   2.1 Gå till Azure-portalen och leta reda på arbetsytan.

   

   2.2 Hitta lagringskontot som är länkat till arbetsytan.

   

   2.3 Navigera till rolltilldelningssidan för lagringskontot.

   

   2.4 Hitta rollen dataprivilegierad bidragsgivare i lagringsfilen.

   

   2.5 Tilldela rollen privilegierad bidragsgivare avseende lagringsfildata till arbetsytans hanterade identitet.

   

   Kommentar

   Den här åtgärden kan ta flera minuter att börja gälla.

3. Om du vill kommunicera med privata Azure AI-tjänster måste du lägga till relaterade användardefinierade regler för utgående trafik till den relaterade resursen. Azure Machine Learning-arbetsytan skapar en privat slutpunkt i den relaterade resursen med automatiskt godkännande. Om statusen är fastlåst på väntande går du till den relaterade resursen för att godkänna den privata endpointen manuellt.

   

   

4. Om du begränsar utgående trafik till att endast tillåta specifika mål måste du lägga till en motsvarande användardefinierad utgående regel för att tillåta relevant FQDN.

   

5. I arbetsytor som aktiverar hanterade virtuella nätverk kan du bara distribuera promptflöde till hanterade onlineslutpunkter. Du kan följa Skydda dina hanterade onlineslutpunkter med nätverksisolering för att skydda din hanterade onlineslutpunkt.

Skydda promptflöde med ditt eget virtuella nätverk

• För att konfigurera Azure Machine Learning-relaterade resurser som privata, läs Skydda arbetsyteresurser.

• Om du har strikta regler för utgående trafik kontrollerar du att du har öppnat den offentliga Internetåtkomst som krävs.

• Lägg till arbetsplats-MSI som Storage File Data Privileged Contributor till lagringskontot som är länkat till arbetsytan. Följ steg 2 i Säkert promptflöde med arbetsytehanterat vNet.

• Om du använder serverlös beräkningstyp i flödesredigering måste du ange det anpassade virtuella nätverket på arbetsytans nivå. Läs mer om Att skydda en Azure Machine Learning-träningsmiljö med virtuella nätverk

  serverless_compute:
    custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
    no_public_ip: false # Set to true if you don't want to assign public IP to the compute
  

• Under tiden kan du följa privata Azure AI Services för att göra dem privata.

• Om du vill distribuera promptflöde på en arbetsyta som skyddas av ditt eget virtuella nätverk kan du distribuera det till ett AKS-kluster som finns i samma virtuella nätverk. Du kan följa den säkra inferensmiljön för Azure Kubernetes Service för att skydda DITT AKS-kluster. Läs mer om hur du distribuerar promptflöde till AKS-kluster via kod.

• Du kan antingen skapa en privat slutpunkt till samma virtuella nätverk eller använda peering för virtuella nätverk för att möjliggöra kommunikation mellan dem.

Kända begränsningar

• Hanterade onlineslutpunkter med vald utgående trafik kräver en arbetsyta med hanterat virtuellt nätverk. Om du använder ett eget virtuellt nätverk bör du tänka på den här metoden med två arbetsytor: – Använd en arbetsyta med ditt virtuella nätverk för redigering av promptflöde – Använd en separat arbetsyta med hanterat vNet för distribution av promptflöde via hanterad onlineslutpunkt

Nästa steg

• Skydda arbetsyteresurser
• Arbetsyta hanterad nätverksisolering
• Skydda Azure Kubernetes Service-inferensmiljön
• Skydda dina hanterade onlineslutpunkter med nätverksisolering
• Skydda dina RAG-arbetsflöden med nätverksisolering