Automatisk skalningsfakturering för Spark i Microsoft Fabric

Autoskalningsfakturering för Spark introducerar en ny betala per användning-modell för Apache Spark-arbetslaster i Microsoft Fabric, som är utformad för att ge större flexibilitet och kostnadsoptimering. Med den här modellen aktiverad förbrukar Spark-jobb inte längre beräkning från Infrastrukturkapaciteten utan använder i stället dedikerade, serverlösa resurser som faktureras oberoende av varandra, ungefär som Azure Synapse Spark.

Den här modellen kompletterar den befintliga kapacitetsbaserade modellen i Fabric, så att organisationer kan välja rätt beräkningsmodell för sina arbetsbelastningar.

Välja mellan fakturering enligt Autoskalning och Kapacitetsmodell

Strategiskt användande av båda modellerna gör det möjligt för teamen att balansera kostnader och prestanda – köra stabila, återkommande jobb på kapacitet samtidigt som ad hoc- eller resurskrävande Spark-arbetsbelastningar avlastas till Autoscale för fakturering.

Viktiga fördelar

• ✅ Kostnadseffektivitet – Betala endast för körtid för Spark-jobb.
• ✅ Oberoende skalning – Spark-arbetsbelastningar körs utan att påverka andra kapacitetsbaserade åtgärder.
• ✅ Företagsredo – Integreras med Azure Quota Management för att möjliggöra skalbarhetsflexibilitet.

Så här fungerar automatiserad skalningsfakturering

När funktionen är aktiverad ändrar autoskaleringsfaktureringen hur Spark-arbetsbelastningar hanteras.

• Spark-jobb avlastas från Fabric-kapaciteten och inte använder CU från Fabric-kapaciteten.
• En maximal CU-gräns kan konfigureras för att överensstämma med budget- eller styrningsprinciper. Den här gränsen är bara en maxgräns (mer som en kvot) för dina Spark-arbetsbelastningar. Du debiteras bara för de CUs som dina jobb använder och det tillkommer inga kostnader för inaktiv datorresursanvändning.
• Det finns ingen ändring i fakturaräntan för Spark. Kostnaden för Spark är densamma, vilket är 0,5 CU-timme per Spark-jobb.
• När CU-gränsen har nåtts placeras Spark-jobb i kö (batch) eller stryps (interaktiv).
• Spark-användning och -kostnader rapporteras separat i Fabric Capacity Metrics App och Azure Cost Analysis.

Samtidighet och köbeteende för jobb

När autoskalningsfakturering är aktiverad styrs Spark-jobbets samtidighet av den högsta kapacitetsenheten (CU) som definieras av kapacitetsadministratören för infrastrukturen. Till skillnad från standardkapacitetsmodellen finns det ingen toppbelastning eller utjämning.

• interaktiva Spark-jobb (till exempel Lakehouse-åtgärder, tabellförhandsgranskning, Läs in till tabelleller interaktiva notebook-frågor) begränsas när de tillgängliga CUs har utnyttjats fullt ut.
• Background Spark-jobb (utlöses av pipelines, job scheduler, API-körningar, Spark-jobbdefinitioner, eller tabellunderhåll) kommer att köas.

Köstorleken är direkt kopplad till CU-gränsen:

Om den maximala CU-gränsen till exempel är inställd på 2048kan Spark-jobbkön innehålla upp till 2048-jobb.

Den här modellen säkerställer att resursallokeringen förblir förutsägbar och kontrollerbar samtidigt som den stöder arbetsbelastningar i stor volym och intensiva arbetsbelastningar.

Begära ytterligare kvoter

Om dina datateknik- eller datavetenskapsarbetsbelastningar kräver en högre kvot än din nuvarande gräns för maximal kapacitetsenhet (CU) kan du begära en ökning via sidan Azure-kvoter:

1. Gå till Azure-portalen och logga in.
2. I sökfältet skriver du och väljer Azure-kvoter.
3. Välj Microsoft Fabric- i listan över tillgängliga tjänster.
4. Välj den prenumeration som är associerad med din Fabric-kapacitet.
5. Redigera kvoten genom att ange den nya CU-gränsen som du tänker skaffa.
6. Skicka din kvotbegäran.

När begäran har godkänts uppdateras de nya CU-gränserna och tillämpas på din Fabric-kapacitet. Detta säkerställer att din autoskalningsmodell för fakturering kan hantera ökad efterfrågan utan att avbryta Spark-jobb.

Nästa steg

• Konfigurera autoskalering av fakturering för Spark