Distributionstyper för Azure AI Foundry-modeller

Azure AI Foundry gör modeller tillgängliga med hjälp av modelldistributionskonceptet i Azure AI Foundry Services (kallades tidigare Azure AI Services). Modelldistributioner är också Azure-resurser och ger när de skapas åtkomst till en viss modell under vissa konfigurationer. En sådan konfiguration innehåller den infrastruktur som krävs för att bearbeta begäranden.

Azure AI Foundry-modeller ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Dessa alternativ översätts till olika distributionstyper (eller SKU:er) som är tillgängliga vid modelldistributionstiden i Azure AI Foundry-resursen.

Tjänsten erbjuder två huvudsakliga typer av distributioner: standard och etablerad. För en viss distributionstyp kan kunderna anpassa sina arbetsbelastningar efter databehandlingskraven. De kan välja ett Azure-geografiskt område (Standard eller Provisioned-Managed), en Microsoft-angiven datazon (DataZone- Standard eller DataZone Provisioned-Managed), eller ett globalt (Global-Standard eller Global Provisioned-Managed) bearbetningsalternativ.

För finjusterade modeller ger en ytterligare Developer distributionstyp ett kostnadseffektivt sätt att utvärdera anpassade modeller, men utan datahemvist.

Alla distributioner kan utföra exakt samma slutsatsdragningsåtgärder, men fakturering, skalning och prestanda skiljer sig avsevärt åt. Som en del av din lösningsdesign måste du fatta viktiga beslut i två kategorier:

• Plats för databearbetning
• Samtalsvolym

Databehandlingsplatser för Azure AI Foundry-distribution

För standarddistributioner finns det tre alternativ av distributionstyp att välja mellan: global, datazon och Azure-geografi. För etablerade distributioner finns det två alternativ av distributionstyp att välja mellan: global och Azure-geografi. Vi rekommenderar Global Standard som utgångspunkt.

Globala implementeringar

Globala distributioner använder den globala infrastrukturen i Azure för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden. Det innebär att global erbjuder högsta initiala dataflödesgränser och bästa modelltillgänglighet, men ändå ger vårt serviceavtal för drifttid och låg svarstid. För arbetsbelastningar med stora volymer över de angivna användningsnivåerna på Standard och Global Standard kan du uppleva ökad variation av svarstider. För kunder som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du använder våra etablerade distributionstyper.

Våra globala distributioner är den första platsen för alla nya modeller och funktioner. Beroende på samtalsvolym bör kunder med stora volymer och krav på varians med låg svarstid överväga våra etablerade distributionstyper.

Distributioner av datazoner

För alla distributionstyper med etiketten Global kan frågor och svar bearbetas i alla geografiska områden där relevant Azure AI Foundry-modell distribueras. Läs mer om regionstillgänglighet för modeller.

För alla distributionstyper som är märkta med DataZone kan frågor och svar bearbetas i alla geografiska områden inom den angivna datazonen, enligt microsofts definition. Om du skapar en DataZone-distribution i en Azure AI Foundry-resurs i USA kan frågor och svar bearbetas var som helst i USA. Om du skapar en DataZone-distribution i en Azure AI Foundry-resurs som finns i en eu-medlemsnation kan frågor och svar bearbetas i den eller någon annan medlem i EU.

För både globala distributionstyper och DataZone-distributionstyper lagras alla vilande data, till exempel uppladdade data, i det kundspecifika geografiska området. Endast platsen för bearbetningen påverkas när en kund använder en global distributionstyp eller datazondistributionstyp i en Azure AI Foundry-resurs. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.

Global Standard

• SKU-namn i kod: GlobalStandard

Globala distributioner är tillgängliga i samma Azure AI Foundry-resurser som icke-globala distributionstyper. De gör dock att du kan använda den globala infrastrukturen i Azure för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Global Standard ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde.

Global tilldelad

• SKU-namn i kod: GlobalProvisionedManaged

Globala distributioner är tillgängliga i samma Azure AI Foundry-resurser som icke-globala distributionstyper. De gör dock att du kan använda den globala infrastrukturen i Azure för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Globala reserverade distributioner ger reserverad modellbearbetningskapacitet för hög och förutsägbar genomströmning med hjälp av Azures globala infrastruktur.

Global Batch

• SKU-namn i kod: GlobalBatch

Global Batch är utformat för att effektivt hantera storskaliga och stora bearbetningsuppgifter. Du kan bearbeta asynkrona grupper av begäranden med separat kvot och en 24-timmars målomställning, till 50% mindre kostnad än Global Standard. Med batchbearbetning, i stället för att skicka en begäran i taget, skickar du ett stort antal begäranden i en enda fil. Globala Batch-begäranden har en separat köad tokenkvot för att undvika avbrott i dina onlinearbetsbelastningar.

De främsta användningsfallen är:

• Storskalig databearbetning: Analysera snabbt omfattande datauppsättningar parallellt.
• Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.
• Dokumentgranskning och sammanfattning: Automatisera granskning och sammanfattning av långa dokument.
• Kundsupportautomatisering: Hantera flera frågor samtidigt för snabbare svar.
• Extrahering och analys av data: Extrahera och analysera information från stora mängder ostrukturerade data.
• Uppgifter för bearbetning av naturligt språk (NLP): Utför uppgifter som attitydanalys eller översättning på stora datamängder.
• Marknadsföring och anpassning: Generera anpassat innehåll och rekommendationer i stor skala.

Standard för datazon

• SKU-namn i kod: DataZoneStandard

Data Zone Standard-distributioner är tillgängliga i samma Azure AI Foundry-resurs som alla andra Azure AI Foundry-distributionstyper. De gör dock att du kan använda den globala infrastrukturen i Azure för att dynamiskt dirigera trafik till datacentret i den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran. Data Zone Standard ger högre standardkvoter än våra geografiska distributionstyper i Azure.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter och gränser. För arbetsbelastningar som kräver varians med låg svarstid på stora volymer rekommenderar vi att du använder de etablerade distributionserbjudandena.

Provisionerad datazon

• SKU-namn i kod: DataZoneProvisionedManaged

Datazon-etablerade distribueringar är tillgängliga i samma Azure AI Foundry-resurs som alla andra typer av distribueringar i Azure AI Foundry. De gör dock att du kan använda den globala infrastrukturen i Azure för att dynamiskt dirigera trafik till datacentret i den Microsoft-angivna datazonen med bästa tillgänglighet för varje begäran. Etablerade distributioner i datazonen tillhandahåller reserverad kapacitet för modellbearbetning för högt och förutsägbart genomflöde genom att använda Azure-infrastruktur inom den Microsoft-specificerade datazonen.

Datazonbatch

• SKU-namn i kod: DataZoneBatch

Distributioner av Data Zone Batch har samma funktioner som globala Batch-distributioner. De gör dock att du kan använda den globala infrastrukturen i Azure för att dynamiskt dirigera trafik till endast datacenter i den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran.

Norm

• SKU-namn i kod: Standard

Standardutgåvor tillhandahåller en faktureringsmodell för betalning per anrop för den valda modellen. Den här modellen kan vara ett snabbt sätt att komma igång eftersom du bara betalar för det du förbrukar. Modeller som är tillgängliga i varje region samt genomströmningen kan vara begränsade.

Standarddistributioner är optimerade för arbetsbelastningar med låg- till medelhög volym och hög intensitet. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.

Regional provisionerad

• SKU-namn i kod: ProvisionedManaged

Med regionalt etablerade distributioner kan du ange vilken kapacitet du behöver i en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter, vilket är ett normaliserat sätt att representera dataflödet för distributionen. Varje modellversionspar kräver olika mängder etablerade dataflödesenheter som ska distribueras och ger olika mängder dataflöde per etablerad dataflödesenhet. Läs mer i artikeln om koncept för tilldelad bandbredd.

Inaktivera åtkomst till globala distributioner i din prenumeration

Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via efterlevnadsinstrumentpanelen tillhandahåller den en samlad bild för att bedöma det övergripande miljötillståndet, med möjligheten att gå ner på detaljnivå till per resurs och per policy. Du får också hjälp att säkerställa att resurserna efterlever kraven via massåtgärder för befintliga resurser och automatisk reparation för nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för AI-tjänster.

Du kan använda följande princip för att inaktivera åtkomst till valfri Azure AI Foundry-distributionstyp. Om du vill inaktivera åtkomst till en viss distributionstyp ersätter GlobalStandard du med SKU-namnet för den distributionstyp som du vill inaktivera åtkomst till.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Utvecklare (för finjusterade modeller)

• SKU-namn i kod: DeveloperTier

Finjusterade modeller stöder en Developer distribution som är utformad för att stödja utvärdering av anpassade modeller. Det erbjuder inte garantier för datahemvist eller ett serviceavtal. Mer information om hur du använder distributionstypen Developer finns i finjusteringsguiden.

Implementera modeller

Mer information om hur du skapar resurser och distribuerar modeller finns i guiden Skapa resurser.

Relaterat innehåll

• Kvoter och gränser
• Datasekretess och säkerhet för Azure AI Foundry-modeller