Implementatietypen voor Azure AI Foundry-modellen

Azure AI Foundry maakt modellen beschikbaar met behulp van het concept voor modelimplementatie in Azure AI Foundry Services (voorheen Bekend als Azure AI Services). Modelimplementaties zijn ook Azure-resources en geven bij het maken toegang tot een bepaald model onder bepaalde configuraties. Een dergelijke configuratie omvat de infrastructuur die nodig is om de aanvragen te verwerken.

Azure AI Foundry-modellen bieden klanten hostingstructuurkeuzes die passen bij hun bedrijfs- en gebruikspatronen. Deze opties worden vertaald naar verschillende implementatietypen (of SKU's) die beschikbaar zijn op het moment van modelimplementatie in de Azure AI Foundry-resource.

De service biedt twee hoofdtypen implementaties: standaard en ingericht. Voor een bepaald implementatietype kunnen klanten hun workloads afstemmen op hun vereisten voor gegevensverwerking. Ze kunnen kiezen voor een Azure-geografie (Standard of Provisioned-Managed), een door Microsoft opgegeven gegevenszone (DataZone- Standard of DataZone Provisioned-Managed) of een globale (Global-Standard of Global Provisioned-Managed) verwerkingsoptie.

Voor nauwkeurig afgestemde modellen biedt een extra Developer implementatietype een kostenefficiënte manier om aangepaste modellen te evalueren, maar zonder gegevenslocatie.

Alle implementaties kunnen exact dezelfde deductiebewerkingen uitvoeren, maar de facturering, schaal en prestaties verschillen aanzienlijk. Als onderdeel van uw oplossingsontwerp moet u belangrijke beslissingen nemen in twee categorieën:

• Locatie voor gegevensverwerking
• Oproepvolume

Locaties voor gegevensverwerking van Azure AI Foundry-implementatie

Voor standaardimplementaties zijn er drie opties voor het implementatietype waaruit u kunt kiezen: globaal, gegevenszone en Azure-geografie. Voor ingerichte implementaties zijn er twee implementatietypen waaruit u kunt kiezen: globaal en Azure-geografie. We raden Global Standard aan als uitgangspunt.

Wereldwijde implementaties

Globale implementaties maken gebruik van de wereldwijde Azure-infrastructuur om klantverkeer dynamisch te routeren naar het datacenter met de beste beschikbaarheid voor de inference-verzoeken van de klant. Dit betekent dat wereldwijd de hoogste initiële doorvoerlimieten en de beste model beschikbaarheid biedt, maar nog steeds onze SLA voor uptime en lage latentie biedt. Voor workloads met een hoog volume boven de opgegeven gebruikslagen op Standard en Global Standard kunt u te maken hebben met een verhoogde latentievariatie. Voor klanten die de variantie van de lagere latentie bij een groot workloadgebruik vereisen, raden we u aan om onze ingerichte implementatietypen te gebruiken.

Onze wereldwijde implementaties zijn de eerste locatie voor alle nieuwe modellen en functies. Afhankelijk van het belvolume moeten klanten met grote volume-eisen en een lage variatie in latentie onze vooraf ingerichte implementatietypen overwegen.

Implementaties van gegevenszones

Voor elk implementatietype met het label Global kunnen prompts en antwoorden worden verwerkt in elke geografie waar het relevante Azure AI Foundry-model wordt geïmplementeerd. Meer informatie over de beschikbaarheid van modellen in regio's.

Voor elk implementatietype dat is gelabeld als DataZone, kunnen prompts en antwoorden worden verwerkt in elke geografie binnen de opgegeven gegevenszone, zoals gedefinieerd door Microsoft. Als u een DataZone-implementatie maakt in een Azure AI Foundry-resource in de Verenigde Staten, kunnen prompts en antwoorden overal in de Verenigde Staten worden verwerkt. Als u een DataZone-implementatie maakt in een Azure AI Foundry-resource in een lidland van de Europese Unie, kunnen prompts en antwoorden worden verwerkt in die of een andere lidland van de Europese Unie.

Voor zowel globale als datazone-implementatietypen worden alle gegevens die in rust zijn opgeslagen, zoals geüploade gegevens, opgeslagen in de door de klant aangewezen geografie. Alleen de locatie van de verwerking wordt beïnvloed wanneer een klant een globaal implementatietype of datazone-implementatietype gebruikt in een Azure AI Foundry-resource; Azure-gegevensverwerking en nalevingsverplichtingen blijven van toepassing.

Algemene standaard

• SKU-naam in code: GlobalStandard

Globale implementaties zijn beschikbaar in dezelfde Azure AI Foundry-resources als niet-globale implementatietypen. U kunt echter de globale infrastructuur van Azure gebruiken om verkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor elke aanvraag. Global Standard biedt het hoogste standaardquotum en elimineert de noodzaak om taken te verdelen over meerdere resources.

Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren. De drempelwaarde wordt per model ingesteld. Zie de pagina Quota voor meer informatie. Voor toepassingen waarvoor een lagere latentievariantie nodig is bij een groot workloadgebruik, raden we u aan om ingerichte doorvoer aan te schaffen.

Globaal ingericht

• SKU-naam in code: GlobalProvisionedManaged

Globale implementaties zijn beschikbaar in dezelfde Azure AI Foundry-resources als niet-globale implementatietypen. U kunt echter de globale infrastructuur van Azure gebruiken om verkeer dynamisch naar het datacenter te routeren met de beste beschikbaarheid voor elke aanvraag. Globale ingerichte implementaties bieden gereserveerde modelverwerkingscapaciteit voor hoge en voorspelbare doorvoer met behulp van de globale Azure-infrastructuur.

Globale Batch

• SKU-naam in code: GlobalBatch

Global Batch is ontworpen om grootschalige en grote verwerkingstaken efficiënt af te handelen. U kunt asynchrone groepen aanvragen verwerken met een afzonderlijk quotum en een omlooptijd van 24 uur, tegen 50% minder kosten dan Global Standard. Met batchverwerking, in plaats van één aanvraag tegelijk te verzenden, verzendt u een groot aantal aanvragen in één bestand. Globale Batch-aanvragen hebben een afzonderlijk ingewacht tokenquotum, waardoor uw online workloads niet worden verstoord.

Enkele belangrijke gebruiksvoorbeelden:

• Grootschalige gegevensverwerking: analyseer snel uitgebreide gegevenssets parallel.
• Inhoudsgeneratie: Maak grote hoeveelheden tekst, zoals productbeschrijvingen of artikelen.
• Documentbeoordeling en samenvatting: Automatiseer de beoordeling en samenvatting van lange documenten.
• Automatisering van klantondersteuning: meerdere query's tegelijk verwerken voor snellere antwoorden.
• Gegevensextractie en -analyse: gegevens extraheren en analyseren uit grote hoeveelheden ongestructureerde gegevens.
• NLP-taken (Natural Language Processing): Voer taken uit zoals sentimentanalyse of vertaling op grote gegevenssets.
• Marketing en personalisatie: persoonlijke inhoud en aanbevelingen op schaal genereren.

Standaard gegevenszone

• SKU-naam in code: DataZoneStandard

Implementaties van Data Zone Standard zijn beschikbaar in dezelfde Azure AI Foundry-resource als alle andere Azure AI Foundry-implementatietypen. U kunt echter de globale infrastructuur van Azure gebruiken om verkeer dynamisch te routeren naar het datacenter binnen de door Microsoft gedefinieerde gegevenszone met de beste beschikbaarheid voor elke aanvraag. Data Zone Standard biedt hogere standaardquota dan onze implementatietypen op basis van geografie in Azure.

Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren. De drempelwaarde wordt per model ingesteld. Zie de pagina quota en limieten voor meer informatie. Voor workloads waarvoor afwijking van lage latentie op grote volumes is vereist, raden we u aan de ingerichte implementatieaanbiedingen te gebruiken.

Gegevenszone voorzien

• SKU-naam in code: DataZoneProvisionedManaged

Ingerichte implementaties voor gegevenszones zijn beschikbaar in dezelfde Azure AI Foundry-resource als alle andere Azure AI Foundry-implementatietypen. U kunt echter de globale infrastructuur van Azure gebruiken om verkeer dynamisch te routeren naar het datacenter in de door Microsoft opgegeven gegevenszone met de beste beschikbaarheid voor elke aanvraag. In data zone ingerichte implementaties bieden gereserveerde modelverwerkingscapaciteit voor hoge en voorspelbare doorvoer met behulp van de Azure-infrastructuur binnen de door Microsoft opgegeven gegevenszone.

Gegevenszone-batch

• SKU-naam in code: DataZoneBatch

Data Zone Batch-implementaties bieden dezelfde functionaliteit als globale Batch-implementaties. U kunt echter de globale infrastructuur van Azure gebruiken om verkeer dynamisch te routeren naar datacenters binnen de door Microsoft gedefinieerde gegevenszone met de beste beschikbaarheid voor elke aanvraag.

Standaard

• SKU-naam in code: Standard

Standaardimplementaties bieden een factureringsmodel voor betalen per aanroep op het gekozen model. Dit model kan een snelle manier zijn om aan de slag te gaan, omdat u alleen betaalt voor wat u verbruikt. Modellen die beschikbaar zijn in elke regio en doorvoer, zijn mogelijk beperkt.

Standaardimplementaties zijn geoptimaliseerd voor workloads met een laag tot gemiddeld volume met een hoge burstiviteit. Klanten met een hoog consistent volume kunnen meer latentievariabiliteit ervaren.

Regionaal voorzien

• SKU-naam in code: ProvisionedManaged

Met regionale ingerichte implementaties kunt u de hoeveelheid doorvoer opgeven die u nodig hebt in een implementatie. De service wijst vervolgens de benodigde modelverwerkingscapaciteit toe en zorgt ervoor dat deze gereed is voor u. Doorvoer wordt gedefinieerd in termen van ingerichte doorvoereenheden. Dit is een genormaliseerde manier om de doorvoer voor uw implementatie weer te geven. Elk modelversiepaar vereist verschillende hoeveelheden ingerichte doorvoereenheden om te implementeren en biedt verschillende hoeveelheden doorvoer per ingerichte doorvoereenheid. Meer informatie vindt u in het artikel over ingerichte doorvoerconcepten.

Toegang tot globale implementaties in uw abonnement uitschakelen

Azure Policy helpt bij het afdwingen van organisatiestandaarden en het beoordelen van naleving op schaal. Via het nalevingsdashboard biedt het een geaggregeerde weergave om de algehele status van de omgeving te evalueren, met de mogelijkheid om in te zoomen op granulariteit per resource, per beleid. Hiermee kunt u ook zorgen voor compliance van uw resources via bulkherstel voor bestaande resources en automatisch herstel voor nieuwe resources. Meer informatie over Azure Policy en specifieke ingebouwde besturingselementen voor AI-services.

U kunt het volgende beleid gebruiken om de toegang tot elk Azure AI Foundry-implementatietype uit te schakelen. Als u de toegang tot een specifiek implementatietype wilt uitschakelen, vervangt GlobalStandard u de SKU-naam voor het implementatietype waartoe u de toegang wilt uitschakelen.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Ontwikkelaar (voor nauwkeurig afgestemde modellen)

• SKU-naam in code: DeveloperTier

Aangepaste modellen ondersteunen een Developer implementatie die is ontworpen ter ondersteuning van aangepaste modelevaluatie. Het biedt geen garanties voor gegevensresidentie of een SLA. Zie de handleiding voor het Developer voor meer informatie over het gebruik van het implementatietype.

Modellen implementeren

Raadpleeg de handleiding voor het maken van resources voor meer informatie over het maken van resources en het implementeren van modellen.

Verwante inhoud

• Quotas & limieten
• Gegevensprivacy en beveiliging voor Azure AI Foundry-modellen