Dela via

Bearbeta och dirigera data med dataflöden

Med dataflöden kan du ansluta olika datakällor och utföra dataåtgärder, vilket förenklar konfigurationen av datasökvägar för att flytta, transformera och berika data. Dataflödeskomponenten är en del av Azure IoT Operations, som distribueras som ett Azure Arc-tillägg. Konfigurationen för ett dataflöde görs via Kubernetes anpassade resursdefinitioner (CRD).

Du kan skriva konfigurationer för olika användningsfall, till exempel:

  • Transformera data och skicka tillbaka dem till MQTT
  • Transformera data och skicka dem till molnet
  • Skicka data till molnet eller edge-nätverket utan omvandling

Dataflöden är inte begränsade till den region där IoT Operations-instansen distribueras. Du kan använda dataflöden för att skicka data till molnslutpunkter i olika regioner.

Nyckelfunktioner

Här är de viktigaste funktionerna i dataflöden.

Databearbetning och routning

Dataflöden möjliggör inmatning, bearbetning och routning av meddelanden till angivna mottagare. Du kan ange:

  • Källor: Där meddelanden matas in från
  • Mål: Där meddelanden töms till, inklusive stöd för dynamisk ämnesroutning baserat på meddelandeinnehåll för MQTT-slutpunkter
  • Transformeringar (valfritt): Konfiguration för databearbetningsåtgärder

Transformeringsfunktioner

Transformeringar kan tillämpas på data under bearbetningsfasen för att utföra olika åtgärder. Dessa åtgärder kan omfatta:

  • Beräkna nya egenskaper: Baserat på befintliga egenskaper i meddelandet
  • Byt namn på egenskaper: Om du vill standardisera eller förtydliga data
  • Konvertera enheter: Konvertera värden till olika måttenheter
  • Standardisera värden: Skala egenskapsvärden till ett användardefinierat intervall
  • Kontextualisera data: Lägga till referensdata i meddelanden för berikande och drivande insikter

Konfiguration och distribution

Konfigurationen anges med kubernetes CRD. Baserat på den här konfigurationen skapar dataflödesoperatorn dataflödesinstanser för att säkerställa hög tillgänglighet och tillförlitlighet.

Förmåner

  • Förenklad konfiguration: Anslut enkelt datakällor och mål.
  • Flexibla transformeringar: Utför en mängd olika dataåtgärder.
  • Skalbar konfiguration: Använd Kubernetes CRD för skalbara och hanterbara konfigurationer.
  • Hög tillgänglighet: Kubernetes interna resurs garanterar tillförlitlighet.

Genom att använda dataflöden kan du effektivt hantera dina datasökvägar. Du kan se till att data skickas, transformeras och berikas korrekt för att uppfylla dina operativa behov.

Schemaregister

Schemaregistret, en funktion som tillhandahålls av Azure Device Registry, är en synkroniserad lagringsplats i molnet och vid gränsen. Schemaregistret lagrar definitionerna av meddelanden som kommer från gränstillgångar och exponerar sedan ett API för åtkomst till dessa scheman vid gränsen. Södergående anslutningar som anslutningen för OPC UA kan skapa meddelandescheman och lägga till dem i schemaregistreringen eller så kan kunder ladda upp scheman till driftwebbgränssnittet.

Dataflöden använder meddelandescheman för att omvandla meddelandet till det format som förväntas av målslutpunkten.

Mer information finns i Förstå meddelandescheman.

Lokal MQTT-mäklarslutpunkt för meddelandelagring

När du använder den lokala MQTT-koordinatorn som källslutpunkt i ett dataflöde lagras meddelanden under en anslutningsförlust mellan dataflödet och målslutpunkten. Anta till exempel att du skapar ett dataflöde med den lokala MQTT-standardköen som källslutpunkt och Azure Event Hubs som målslutpunkt. Om anslutningen mellan dataflödet och Azure Event Hubs går förlorad lagras meddelanden i meddelandekön för MQTT-koordinatorprenumeranten. När anslutningen återställs skickar dataflödet meddelandena i prenumerantmeddelandekön till Azure Event Hubs.

Den lokala MQTT-meddelandekön lagras som standard i minnet. Du kan konfigurera MQTT-broker så att meddelanden lagras på disk med hjälp av konfigurationen för den diskstödda meddelandebufferten. Mer information om MQTT-koordinatorkonfigurationen finns i Konfigurera koordinatorinställningar för hög tillgänglighet, skalning och minnesanvändning. Mer information om den diskstödda meddelandebufferten finns i Konfigurera beteende för diskstödd meddelandebuffert.

Relaterat innehåll