IoT-analys med Azure Data Explorer och Azure IoT Hub
Lösningsidéer
I den här artikeln beskrivs en lösningsidé. Molnarkitekten kan använda den här vägledningen för att visualisera huvudkomponenterna för en typisk implementering av den här arkitekturen. Använd den här artikeln som utgångspunkt för att utforma en välkonstruerad lösning som överensstämmer med arbetsbelastningens specifika krav.
Den här lösningsidén beskriver hur Azure Data Explorer tillhandahåller analys i nära realtid för snabbflöde, strömmande data med hög volym från IoT-enheter (Internet of Things) och sensorer. Det här analysarbetsflödet är en del av en övergripande IoT-lösning som integrerar drifts- och analytiska arbetsbelastningar med Azure Cosmos DB och Azure Data Explorer.
Jupyter är ett varumärke som tillhör respektive företag. Inget godkännande understås av användningen av det här märket. Apache® och Apache Kafka® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
Azure Event Hubs, Azure IoT Hub eller Kafka matar in en mängd olika snabbflödesströmningsdata, till exempel loggar, affärshändelser och användaraktiviteter.
Azure Functions eller Azure Stream Analytics bearbetar data i nära realtid.
Azure Cosmos DB lagrar strömmade meddelanden i JSON-format för att hantera ett driftprogram i realtid.
Azure Data Explorer matar in data för analys med hjälp av dess anslutningsappar för Azure Event Hubs, Azure IoT Hub eller Kafka för låg svarstid och högt dataflöde.
Du kan också mata in blobar från ditt Azure Blob Storage - eller Azure Data Lake Storage-konto i Azure Data Explorer med hjälp av en Event Grid-dataanslutning.
Du kan också kontinuerligt exportera data till Azure Storage i komprimerat, partitionerat Apache Parquet-format och sömlöst köra frågor mot data med Azure Data Explorer. Mer information finns i Översikt över kontinuerlig dataexport.
För att hantera både användningsfall för drift och analys kan data antingen dirigeras till Azure Data Explorer och Azure Cosmos DB parallellt eller från Azure Cosmos DB till Azure Data Explorer.
Azure Cosmos DB-transaktioner kan utlösa Azure Functions via ändringsflöde. Functions strömmar data till Event Hubs för inmatning till Azure Data Explorer.
-eller-
Azure Functions kan anropa Azure Digital Twins via sitt API, som sedan strömmar data till Event Hubs för inmatning till Azure Data Explorer.
Följande gränssnitt får insikter från data som lagras i Azure Data Explorer:
- Anpassade analysappar som blandar data från Api:er för Azure Digital Twins och Azure Data Explorer
- Instrumentpaneler för analys i nära realtid som använder Azure Data Explorer-instrumentpaneler, Power BI eller Grafana
- Aviseringar och meddelanden från Azure Data Explorer-anslutningsappen för Azure Logic Apps
- Azure Data Explorer Web UI, Kusto.Explorer och Jupyter Notebooks
Azure Data Explorer integreras med Azure Databricks och Azure Machine Learning för att tillhandahålla maskininlärningstjänster (ML). Du kan också skapa ML-modeller med andra verktyg och tjänster och exportera dem till Azure Data Explorer för bedömning av data.
Komponenter
Den här lösningsidén använder följande Azure-komponenter.
Öppna Azure-datautforskaren
Avvikelseidentifiering och prognostisering är en inbyggd analysfunktion i Azure Data Explorer. Den identifierar avvikande värden och förutsäger framtida värden som stöd för proaktiv övervakning och beslutsfattande. I den här arkitekturen identifierar den ovanliga mönster i IoT-telemetri och förutspår förväntat beteende över tid.
Avvikelsediagnos för rotanalys är en KQL-funktion (Kusto Query Language) som hjälper till att identifiera de bakomliggande orsakerna till avvikelser. Den analyserar bidragande dimensioner och mått för att effektivisera felsökningen. I den här arkitekturen isoleras källan till avvikelser som identifierats i enhetsdata.
Azure Data Explorer är en fullständigt hanterad analystjänst med höga prestanda. Den bearbetar stora mängder strömmande data från program, webbplatser och IoT-enheter nästan i realtid. I den här arkitekturen fungerar den som den centrala analysmotorn för att mata in, fråga och visualisera IoT-data.
Azure Data Explorer-instrumentpaneler är en visualiseringsfunktion i webbgränssnittet. De gör det möjligt för användare att exportera Kusto-frågor till interaktiva instrumentpaneler för datautforskning i realtid. I den här arkitekturen visar de insikter från IoT-dataströmmar och avvikelseidentifieringsresultat.
Webbgränssnittet i Azure Data Explorer är ett webbläsarbaserat gränssnitt för att arbeta med Azure Data Explorer-kluster. Den har stöd för att skriva, köra och dela KQL-kommandon och frågor. I den här arkitekturen tillhandahåller den en arbetsyta där analytiker kan fråga efter och utforska IoT-telemetri.
Tidsserieanalys är en inbyggd funktion i Azure Data Explorer. Det gör det möjligt för användare att utforska tidsmönster, trender och säsongsvariationer i tidsbaserade data. I den här arkitekturen visar den långsiktiga trender och cykliskt beteende i IoT-sensoravläsningar.
Andra Azure-komponenter
Azure Cosmos DB är en fullständigt hanterad, snabb NoSQL-databastjänst för modern apputveckling med öppna API:er för valfri skala. I den här arkitekturen lagrar den driftdata från IoT-enheter för skalbar åtkomst med låg latens.
Azure Digital Twins är en plattform för modellering av fysiska miljöer som digitala representationer. I den här arkitekturen underhåller den digitala modeller av IoT-anslutna tillgångar för att stödja rumslig analys och kontextuella insikter.
Azure IoT Hub möjliggör dubbelriktad kommunikation mellan IoT-enheter och Azure-molnet. I den här arkitekturen fungerar den som central meddelandehubb för enhetstelemetri- och kommando- och kontrollåtgärder.
Event Hubs är en fullständigt hanterad datainmatningstjänst i realtid. I den här arkitekturen matar den in telemetri från IoT-enheter och strömmar den till analyspipelinen.
Kafka på HDInsight är en kostnadseffektiv tjänst i företagsklass för att köra Apache Kafka på Azure. I den här arkitekturen tillhandahåller den en alternativ stam för direktuppspelning för att mata in och distribuera IoT-data.
Information om scenario
Den här lösningen använder Azure Data Explorer för att få IoT-telemetrianalys i nära realtid på snabbt strömmande strömmande data med hög volym från en mängd olika IoT-enheter.
Potentiella användningsfall
- Vagnparkshantering, för förutsägande underhåll av fordonsdelar. Den här lösningen är idealisk för fordons- och transportindustrin.
- Anläggningshantering, för energi- och miljöoptimering.
- Kombinera vägförhållanden i realtid med väderdata för säkrare autonom körning.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Shlomo Sagir | Senior innehållsutvecklare