Dela via

Begränsningar och regioner för distribution av modeller

Den här artikeln sammanfattar begränsningarna och regionens tillgänglighet för Mosaic AI Model Serving och slutpunktstyper som stöds.

Resurs- och nyttolastgränser

Mosaic AI Model Serving inför standardgränser för att säkerställa tillförlitliga prestanda. Om du har feedback om dessa gränser kontaktar du ditt Databricks-kontoteam.

I följande tabell sammanfattas resurs- och nyttolastbegränsningar för modell som betjänar slutpunkter.

Egenskap Detaljeringsgrad Gräns
Nyttolaststorlek På begäran 16 MB. För slutpunkter som betjänar grundmodeller, externa modeller eller AI-agenter är gränsen 4 MB.
Storlek på begäran/svar På begäran Begäran/svar över 1 MB loggas inte.
Frågor per sekund (QPS) Per arbetsyta 200. Aktivera routningsoptimering för högre QPS.
Modellkörningens varaktighet På begäran 297 sekunder
Minnesanvändning för cpu-slutpunktsmodell Per slutpunkt 4 GB
Minnesanvändning för GPU-slutpunktsmodell Per slutpunkt Större än eller lika med tilldelat GPU-minne beror på GPU-arbetsbelastningens storlek
Förberedd konkurrens Per modell och per arbetsyta 200 konkurrens. Kan ökas genom att kontakta ditt Databricks-kontoteam.
Överliggande latens På begäran Mindre än 50 millisekunder
Initieringsskript Init-skript stöds inte.
Hastighetsbegränsningar för API:er för foundation-modell Per arbetsyta Mer information om gränser för betala per token och etablerat dataflöde finns i API:er för Foundation Model.API:er för frekvensgränser och kvoter .

Nätverks- och säkerhetsbegränsningar

  • Modellserverslutpunkter skyddas av åtkomstkontroll och respekterar nätverksrelaterade ingressregler som konfigurerats på arbetsytan, till exempel IP-tillåtna listor och Private Link.
  • Privat anslutning (till exempel Azure Private Link) stöds endast för modeller som betjänar slutpunkter som använder etablerat dataflöde eller slutpunkter som hanterar anpassade modeller.
  • Modellservern stöder som standard inte Private Link till externa slutpunkter (till exempel Azure OpenAI). Stöd för den här funktionen utvärderas och implementeras per region. Kontakta ditt Azure Databricks-kontoteam för mer information.
  • Modellservern tillhandahåller inte säkerhetskorrigeringar för befintliga modellbilder på grund av risken för destabilisering av produktionsdistributioner. En ny modellbild som skapats från en ny modellversion innehåller de senaste korrigeringarna. Kontakta ditt Databricks-kontoteam för mer information.

Standarder för efterlevnadssäkerhetsprofiler: CPU-arbetsbelastningar

I följande tabell visas de säkerhetsprofiler för efterlevnadsstandarder som stöds för kärnfunktionaliteten för modellservering på CPU-belastningar.

Anteckning

Dessa efterlevnadsstandarder kräver att levererade containrar byggs under de senaste 30 dagarna. Databricks återskapar automatiskt inaktuella containrar åt dig. Men om det här automatiserade jobbet misslyckas visas ett händelseloggmeddelande som följande och ger vägledning om hur du ser till att dina slutpunkter håller sig inom efterlevnadskraven:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Region Plats HIPAA HITRUST PCI-DSS IRAP CCCS Medium (Skyddat B) UK Cyber Essentials Plus
australiacentral AustralienCentral            
australiacentral2 AustralienCentral2            
australiaeast Australien Öst ✓ ✓ ✓      
australiasoutheast AustralienSydost            
brazilsouth Södra Brasilien ✓ ✓ ✓      
canadacentral CanadaCentral ✓ ✓ ✓      
canadaeast CanadaEast            
centralindia CentralIndia ✓ ✓ ✓      
centralus centrala USA ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinaNorth2            
chinanorth3 ChinaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus EastUS ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral TysklandWestCentral ✓ ✓ ✓      
japaneast JapanEast ✓ ✓ ✓      
japanwest JapanWest            
koreacentral KoreaCentral ✓ ✓ ✓      
mexicocentral MexicoCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope NorthEurope ✓ ✓ ✓      
norwayeast NorgeÖst            
qatarcentral QatarCentral            
southafricanorth Sydafrika Nord            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Sydostasien ✓ ✓ ✓      
southindia Södra Indien            
swedencentral SwedenCentral ✓ ✓ ✓      
switzerlandnorth Norra Schweiz ✓ ✓ ✓      
switzerlandwest SchweizWest            
uaenorth UAENorth ✓ ✓ ✓      
uksouth UKSouth ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope Västeuropa ✓ ✓ ✓      
westindia WestIndia            
westus Västra USA ✓ ✓ ✓      
westus2 VästraUS2 ✓ ✓ ✓      
westus3 VästraUS3 ✓ ✓ ✓      

Gränser för API:er för grundmodell

Detaljerad information om FOUNDATION Model-API:er finns i:

Regiontillgänglighet

Anteckning

Om du behöver en slutpunkt i en region som inte stöds kontaktar du ditt Azure Databricks-kontoteam.

Om din arbetsyta distribueras i en region som stöder modellservering men hanteras av ett kontrollplan i en region som inte stöds stöder arbetsytan inte modellhantering. Om du försöker använda en modell som betjänar en sådan arbetsyta visas ett felmeddelande om att arbetsytan inte stöds. Kontakta ditt Azure Databricks-kontoteam för mer information.

Mer information om regional tillgänglighet för varje modellserveringsfunktion finns i Tillgänglighet för modell som betjänar funktioner.

Information om tillgänglighet för regioner som hostar grundläggande modeller på Databricks finns i Grundläggande modeller som hostas på Databricks.