Distribuera Azure AI Foundry-modeller till hanterad beräkning med betalning per användning

Azure AI Foundry Models innehåller en omfattande katalog med modeller ordnade i två kategorier – modeller som säljs direkt av Azure och modeller från partner och community. Modellerna från partner och gemenskapen, som du kan distribuera på hanterad datorkapacitet, är antingen öppna, eller skyddade modeller. Denna artikel lär dig hur du använder säkerhetsmodeller från partners och community, som erbjuds via Azure Marketplace, så att du kan distribuera detta på hanterade beräkningstjänster med betalning per användning.

Förutsättningar

• En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

• Om du inte har något skapar du ett hubbprojekt för Azure AI Foundry. Du kan distribuera till hanterad beräkning med hjälp av ett hubbprojekt. Ett Azure AI Foundry-projekt fungerar inte för det här ändamålet.

• Azure Marketplace-köp aktiverade för din Azure-prenumeration.

• Rollbaserade åtkomstkontroller i Azure (Azure RBAC) ger åtkomst till åtgärder i Azure AI Foundry-portalen. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas en anpassad roll med följande behörigheter. Användarkonton som tilldelats rollen Ägare eller Deltagare för Azure-prenumerationen kan också skapa distributioner. Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure AI Foundry-portalen.

• Under Azure-prenumerationen – för att prenumerera arbetsytan/projektet till Azure Marketplace-erbjudandet:

  • Microsoft.MarketplaceOrdering/avtal/erbjudanden/planer/läs
  • Microsoft.MarketplaceOrdering/avtal/erbjudanden/planer/signera/åtgärd
  • Microsoft.MarketplaceOrdering/erbjudandetyper/utgivare/erbjudanden/planer/avtal/läsa
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• I resursgruppen – för att skapa och använda SaaS-resursen:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• På arbetsytan – för att distribuera slutpunkter:

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.Maskininlärningstjänster/workspaces/onlineEndpoints/*

Prenumerationsomfång och måttenhet för Azure Marketplace-erbjudande

Azure AI Foundry ger en sömlös prenumeration och transaktionsupplevelse för skyddade modeller när du skapar och använder dina dedikerade modelldistributioner i stor skala. Distributionen av skyddade modeller på hanterad beräkning innebär betala-efter-användning-fakturering för kunden i två dimensioner.

• Azure Machine Learning-beräkningsfakturering per timme för de virtuella datorer som används i distributionen.
• Tilläggsfakturering för modellen som anges av modellutgivaren i Azure Marketplace-erbjudandet.

Betalning baserat på användning för Azure-datorkapacitet och modellavgift beräknas per minut baserat på drifttiden för de hanterade online-implementeringarna. Tillägget för en modell är ett pris per GPU-timme som anges av partnern (eller modellens utgivare) på Azure Marketplace för alla GPU:er som stöds som du kan använda för att distribuera modellen på azure AI Foundry-hanterad beräkning.

En användares prenumeration på Azure Marketplace-erbjudanden är begränsad till projektresursen i Azure AI Foundry. Om det redan finns en prenumeration på Azure Marketplace-erbjudandet för en viss modell i projektet informeras användaren i distributionsguiden om att prenumerationen redan finns för projektet.

Så här hittar du alla SaaS-prenumerationer som finns i en Azure-prenumeration:

1. Logga in på Azure-portalen och gå till din Azure-prenumeration.

2. Välj Prenumerationer och välj sedan din Azure-prenumeration för att öppna översiktssidan.

3. Välj Inställningar>Resurser för att se listan över resurser.

4. Använd filtret Typ för att välja Resurstyp för SaaS.

Den förbrukningsbaserade tilläggsavgiften går till den associerade SaaS-prenumerationen och debiterar användaren via Azure Marketplace. Du kan visa fakturan på fliken Översikt för respektive SaaS-prenumeration.

Prenumerera och utplacera på hanterad databehandling

1. Logga in på Azure AI Foundry.

2. Om du inte redan är med i projektet väljer du det.

3. Välj Modellkatalog i det vänstra fönstret.

4. Filtrera listan med modeller genom att välja den samling och modell som du väljer. I den här artikeln används cohere-kommando A från listan över modeller som stöds för illustration.

5. På modellens sida väljer du Använd den här modellen för att öppna distributionsguiden.

6. Om du ser köpalternativ väljer du Hanterad beräkning.

7. Om du inte har en dedikerad kvot markerar du kryssrutan bredvid instruktionen: Jag vill använda delad kvot och jag bekräftar att slutpunkten tas bort om 168 timmar.

8. Välj någon av de virtuella dator-SKU:er som stöds för modellen. Du måste ha En Azure Machine Learning-beräkningskvot för den SKU:n i din Azure-prenumeration.

9. Välj Anpassa för att ange distributionskonfigurationen för parametrar som antalet instanser. Du kan också välja en befintlig slutpunkt för distributionen eller skapa en ny. I det här exemplet anger du ett instansantal på 1 och skapar en ny slutpunkt för distributionen.

   

10. Välj Nästa för att gå vidare till prisuppdelningssidan .

11. Granska prisuppdelningen för distributionen, användningsvillkoren och licensavtalet som är kopplat till modellens erbjudande på Azure Marketplace. Prisuppdelningen visar vad den aggregerade prissättningen för den distribuerade modellen skulle vara, där tillägget för modellen är en funktion av antalet GPU:er i den VM-instans som du valde i föregående steg. Utöver den tillämpliga tilläggsavgiften för modellen gäller även Azure-beräkningsavgifter, baserat på distributionskonfigurationen. Om du har befintliga reservationer eller en Azure-sparplan kommer fakturan för beräkningsavgifterna att reflektera prissättningen för de rabatterade virtuella datorerna.

    

12. Markera kryssrutan för att bekräfta att du förstår och godkänner användningsvillkoren. Välj sedan Distribuera. Azure AI Foundry skapar din prenumeration på Marketplace-erbjudandet och skapar sedan distributionen av modellen på en hanterad beräkning. Det tar cirka 15–20 minuter för distributionen att slutföras.

Använda utplaceringar

När du har skapat distributionen följer du dessa steg för att använda den:

1. Välj Modeller + slutpunkter under Mina tillgångar i ditt Azure AI Foundry-projekt.
2. Välj din distribution på fliken Modelldistributioner .
3. Gå till fliken Test för exempelinferens till slutpunkten.
4. Gå tillbaka till fliken Information för att kopiera distributionens "Mål-URI", som du kan använda för att köra slutsatsdragning med kod.
5. Gå till fliken Förbruka i distributionen för att hitta kodexempel för förbrukning.

Nätverksisolering av distributioner

Du kan distribuera samlingar i modellkatalogen i dina isolerade nätverk med hjälp av ett hanterat virtuellt nätverk på arbetsytan. Mer information om hur du konfigurerar dina arbetsytehanterade nätverk finns i Konfigurera ett hanterat virtuellt nätverk för att tillåta utgående Internet.

Begränsning

Ett Azure AI Foundry-projekt med ingressåtkomst för offentligt nätverk inaktiverat kan bara stödja en enda aktiv distribution av en av de skyddade modellerna från katalogen. Försök att skapa mer aktiva distributioner resulterar i misslyckanden med att skapa distributioner.

Modeller som stöds

I följande avsnitt visas de modeller som stöds för hanterad beräkningsutplacering med fakturering enligt principen betala efter användning, grupperade efter kategori.

Paige AI

Sammanhållning

NVIDIA

NVIDIA-slutsatsdragningsmikrotjänster (NIM) är containrar som NVIDIA bygger för optimerade förtränad och anpassade AI-modeller som betjänar NVIDIA GPU:er. Du kan distribuera NVIDIA NIM:er som är tillgängliga i Azure AI Foundry-modellkatalogen med en Standard-prenumeration på NVIDIA NIM SaaS-erbjudandet på Azure Marketplace.

Några speciella saker att notera om NIM:er är:

• NIM:er innehåller en 90-dagars utvärderingsversion. Utvärderingsversionen gäller för alla NIM:er som är associerade med en viss SaaS-prenumeration och startar från den tidpunkt då SaaS-prenumerationen skapas.

• SaaS-prenumerationsomfång för ett Azure AI Foundry-projekt. Eftersom flera modeller är associerade med ett enda Azure Marketplace-erbjudande behöver du bara prenumerera en gång på NIM-erbjudandet i ett projekt, och sedan kan du distribuera alla NIM:er som erbjuds av NVIDIA i AI Foundry-modellkatalogen. Om du vill distribuera NIM:er i ett annat projekt utan någon befintlig SaaS-prenumeration måste du prenumerera på erbjudandet igen.

Utnyttja NVIDIA NIM-distributioner

När du har skapat distributionen följer du stegen i Förbruka distributioner för att använda den.

NVIDIA NIMs på Azure AI Foundry exponerar ett OpenAI-kompatibelt API. Mer information om nyttolasten som stöds finns i API-referensen . Parametern model för NIM:er i Azure AI Foundry är inställd på ett standardvärde i containern och krävs inte i nyttolasten för begäran till din onlineslutpunkt. Fliken Förbruka i NIM-distributionen på Azure AI Foundry innehåller kodexempel för slutsatsdragning med mål-URL:en för din distribution.

Du kan också använda NIM-distributioner med hjälp av Azure AI Foundry Models SDK, med begränsningar som omfattar:

• Inget stöd för att skapa och autentisera klienter med hjälp av load_client.
• Du bör anropa klientmetoden get_model_info för att hämta modellinformation.

Utveckla och köra agenter med NIM-slutpunkter

Följande NVIDIA NIM:er av uppgiftstypen chattavslut i modellkatalogen kan användas för att skapa och köra agenter med agenttjänsten med olika verktyg som stöds, med följande två extra krav:

1. Skapa en serverlös anslutning till projektet med hjälp av NIM-slutpunkten och nyckeln. Mål-URL:en för NIM-slutpunkten i anslutningen ska vara https://<endpoint-name>.region.inference.ml.azure.com/v1/.
2. Ange modellparametern i begärandetexten till formatet https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below> när du skapar och kör agenter.

Säkerhetsgenomsökning

NVIDIA säkerställer säkerheten och tillförlitligheten för NVIDIA NIM-containeravbildningar genom förstklassig sårbarhetsgenomsökning, rigorös korrigeringshantering och transparenta processer. Mer information om säkerhetsgenomsökning finns på säkerhetssidan. Microsoft arbetar med NVIDIA för att få de senaste patcharna av NIMs för att leverera säker, stabil och tillförlitlig produktionsklassad programvara inom Azure AI Foundry.

Du kan se den senaste uppdaterade tiden för NIM i den högra rutan på modellens översiktssida. Du kan omdistribuera för att använda den senaste versionen av NIM från NVIDIA på Azure AI Foundry.

Relaterat innehåll

• Så här distribuerar och härleder du en hanterad beräkningsdistribution
• Utforska Azure AI Foundry-modeller