Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
In dit artikel vindt u een overzicht van de beperkingen en beschikbaarheid van regio's voor Mozaïek AI Model Serving en ondersteunde eindpunttypen.
Limieten voor resources en ladingen
Mozaïek AI Model Serving legt standaardlimieten op om betrouwbare prestaties te garanderen. Als u feedback hebt over deze limieten, neemt u contact op met uw Databricks-accountteam.
De volgende tabel bevat een overzicht van resource- en payloadbeperkingen voor modelserving-eindpunten.
| Kenmerk | Granulariteit | Grens |
|---|---|---|
| Payloadgrootte | Op aanvraag | 16 MB. Voor eindpunten die basismodellen, externe modellen of AI-agents bedienen, is de limiet 4 MB. |
| Grootte van aanvraag/antwoord | Op aanvraag | Elke aanvraag/reactie van meer dan 1 MB wordt niet geregistreerd. |
| Queries per seconde (QPS) | Per werkruimte | 200. Voor hogere QPS schakelt u routeoptimalisatie in. |
| Duur van modeluitvoering | Op aanvraag | 297 seconden |
| Geheugengebruik van CPU-eindpuntmodel | Per eindpunt | 4 GB |
| Geheugengebruik gpu-eindpuntmodel | Per eindpunt | Groter dan of gelijk aan toegewezen GPU-geheugen, is afhankelijk van de grootte van de GPU-werkbelasting |
| Vooraf geconfigureerde gelijktijdigheid | Per model en per werkruimte | Gelijktijdigheid van 200. Kan worden verhoogd door contact op te nemen met uw Databricks-accountteam. |
| Overheadlatentie | Op aanvraag | Minder dan 50 milliseconden |
| Initscripts | Init-scripts worden niet ondersteund. | |
| Frequentielimieten voor Foundation-model-API's | Per werkruimte | Zie De frequentielimieten en quota van Foundation Model-API's voor gedetailleerde informatie over betalen per token en ingerichte doorvoerlimieten. |
Netwerk- en beveiligingsbeperkingen
- Modelservereindpunten worden beveiligd door toegangsbeheer en respecteren netwerkgerelateerde toegangsbeheerregels die zijn geconfigureerd in de werkruimte, zoals IP-acceptatielijsten en Private Link.
- Privéconnectiviteit (zoals Azure Private Link) wordt alleen ondersteund voor modelservereindpunten die gebruikmaken van ingerichte doorvoer of eindpunten die aangepaste modellen leveren.
- Model serving biedt standaard geen ondersteuning voor Private Link naar externe eindpunten (zoals Azure OpenAI). Ondersteuning voor deze functionaliteit wordt geëvalueerd en geïmplementeerd per regio. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.
- Model Serving biedt geen beveiligingspatches voor bestaande modelinstallatiekopieën vanwege het risico dat de productie-implementaties worden gedestabiliseerd. Een nieuwe modelafbeelding die is gemaakt op basis van een nieuwe modelversie, bevat de meest recente patches. Neem contact op met uw Databricks-accountteam voor meer informatie.
Standaarden voor nalevingsbeveiligingsprofielen: CPU-workloads
De volgende tabel bevat de ondersteunde nalevingsstandaarden voor de beveiligingsprofielen voor de kernfunctionaliteit van Model Serving voor CPU-workloads.
Notitie
Deze nalevingsstandaarden vereisen dat geleverde containers in de afgelopen 30 dagen worden gebouwd. Databricks bouwt automatisch verouderde containers namens u opnieuw op. Als deze geautomatiseerde taak echter mislukt, wordt een gebeurtenislogboekbericht zoals het volgende weergegeven en biedt richtlijnen voor het voldoen aan de nalevingsvereisten voor uw eindpunten:
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| Regio | Locatie | HIPAA | HITRUST | PCI-DSS | IRAP | CCCS Medium (Beschermd B) | UK Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
AustraliaCentral | ||||||
australiacentral2 |
AustraliaCentral2 | ||||||
australiaeast |
AustraliaEast | ✓ | ✓ | ✓ | |||
australiasoutheast |
Australië Zuidoost | ||||||
brazilsouth |
Brazilië Zuid | ✓ | ✓ | ✓ | |||
canadacentral |
CanadaCentral | ✓ | ✓ | ✓ | |||
canadaeast |
CanadaEast | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
Centraal-Amerika | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaEast3 | ||||||
chinanorth2 |
ChinaNorth2 | ||||||
chinanorth3 |
ChinaNorth3 | ||||||
eastasia |
EastAsia | ✓ | ✓ | ✓ | |||
eastus |
Oost-VS | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
Duitsland West Centraal | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
Noord-Europa | ✓ | ✓ | ✓ | |||
norwayeast |
Oost-Noorwegen | ||||||
qatarcentral |
QatarCentral | ||||||
southafricanorth |
Zuid-Afrika Noord | ||||||
southcentralus |
SouthCentralUS | ✓ | ✓ | ✓ | |||
southeastasia |
Zuidoost-Azië | ✓ | ✓ | ✓ | |||
southindia |
Zuid-India | ||||||
swedencentral |
SwedenCentral | ✓ | ✓ | ✓ | |||
switzerlandnorth |
Zwitserland-Noord | ✓ | ✓ | ✓ | |||
switzerlandwest |
ZwitserlandWest | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
West-Europa | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
Westelijke Verenigde Staten | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Limieten voor FOUNDATION-model-API's
Zie voor gedetailleerde informatie over Foundation Model-API's:
- Frequentielimieten en -quota: Basismodel-API's frequentielimieten en -quota : bevat TPM-limieten, regionale beschikbaarheid en modelspecifieke beperkingen
- Naleving en beveiliging: Naleving en beveiliging van Foundation-model-API's - Behandelt nalevingsstandaarden, gegevensverwerking en beveiligingsvereisten
Beschikbaarheid van regio's
Notitie
Als u een eindpunt in een niet-ondersteunde regio nodig hebt, neemt u contact op met uw Azure Databricks-accountteam.
Als uw werkruimte wordt geïmplementeerd in een regio die ondersteuning biedt voor modelservice, maar wordt geleverd door een besturingsvlak in een niet-ondersteunde regio, biedt de werkruimte geen ondersteuning voor modelservice. Als u het model in een dergelijke werkruimte probeert te gebruiken, ziet u een foutbericht waarin wordt aangegeven dat uw werkruimte niet wordt ondersteund. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.
Zie De beschikbaarheid van modelfuncties voor meer informatie over regionale beschikbaarheid van elke functie voor modelbediening.
Voor de beschikbaarheid van regio's voor basismodellen die worden gehost op Databricks, zie Foundation-modellen die worden gehost op Databricks.