Architecture d'ingestion de données pour Ignition

Le transfert des données opérationnelles des systèmes industriels vers des tableaux de bord prêts à l'emploi nécessite un pipeline de données de bout en bout, de l'ingestion à la transformation, jusqu'à la visualisation.

Le module Module Azure Injector permet la publication d'événements en temps réel depuis l'Ignition Gateway directement vers Azure Event Hub. À partir de là, l'écosystème Azure — Stream Analytics, Storage, Databricks — peut traiter et préparer les données pour une utilisation dans Power BI.

Cette approche offre un chemin natif Azure à faible latence, de l'atelier à la salle de conseil, sans ajout de courtiers intermédiaires ou de couches d'infrastructure supplémentaires. Un aperçu du flux de données est présenté ci-dessous.

‍

Utilisation du module Azure Injector avec Azure Event Hub

Le Module Azure Injector envoie les données des tags, alarmes ou requêtes Ignition directement vers Azure Event Hub via AMQP. Event Hub sert alors de point de terminaison d'ingestion pour l'ensemble de votre pipeline analytique.

Avantages :

• Faible latence — les données apparaissent dans Event Hub en quelques secondes
• Aucune couche de courtage supplémentaire — complexité et maintenance réduites
• Natif Azure — intégration étroite avec Stream Analytics, Databricks et Azure Storage
• Formats de message flexibles — prend en charge JSON ou Avro avec des mappages de champs personnalisables

Points à considérer :

• Nécessite des unités de débit Event Hub et des travaux Stream Analytics (le modèle de tarification Azure s'applique)
• Pour les exportations massives de données historiques, une stratégie d'exportation par lots distincte peut être nécessaire

Une fois les données dans Event Hub, Stream Analytics peut :

• Stocker les messages au format Parquet dans le stockage Blob
• Diffuser les données dans des tables Delta dans Databricks pour transformation
• Déclencher des alertes ou alimenter des tableaux de bord Power BI en temps réel

‍

Transformation des données Bronze en Delta Live Tables

Les messages Event Hub arrivent généralement sous forme de journal d'événements brut et étroit. Dans Databricks, Delta Live Tables (DLT) peuvent être utilisées pour :

• Filtrer les enregistrements non pertinents
• Ajouter du contexte tel que les noms d'équipements, les unités ou les métadonnées de localisation
• Reformater les données d'un format étroit vers un format large pour la consommation BI
• Produisez des jeux de données structurés et propres pour l'analyse

Les jeux de données transformés, souvent appelés silver ou gold , sont alors prêts à être utilisés directement dans vos outils de BI.

‍

Intégration Power BI

Une fois les tables Delta préparées, Power BI peut se connecter directement au Databricks SQL Warehouse. Cela permet :

• Des requêtes en temps réel sur des jeux de données à jour
• Des tableaux de bord interactifs sans export manuel
• Une gouvernance des données centralisée au sein de l'environnement Azure

‍

Format étroit ou large pour la BI

La plupart des pipelines d'ingestion IoT et OT fournissent un format étroit données, où chaque ligne représente une mesure unique avec un horodatage, un identifiant de capteur, un type de métrique et une valeur.

Les outils décisionnels comme Power BI fonctionnent mieux avec des données au format large , où chaque ligne contient toutes les métriques d'un seul capteur à un instant T.

Le processus ETL dans Databricks gère ce pivot, rendant les données plus intuitives et améliorant les performances des requêtes pour les tableaux de bord.

‍

Conclusion : Choisir le bon flux

Le module Azure Injector offre une solution rationalisée et efficace pour transférer les données d'Ignition vers Azure à des fins d'analyse et de visualisation.

Idéal lorsque :

• Des tableaux de bord et des alertes à faible latence sont requis
• Vous souhaitez une connexion directe à Azure sans Kafka ou autres intermédiaires
• Vous utilisez déjà les services Azure et souhaitez minimiser la complexité architecturale

Le résultat est une architecture légère mais puissante.

Curieux de voir comment cela fonctionne avec HiveMQ comme plateforme de base ? Consultez notre article connexe : "De MQTT à Power BI : streaming de données IoT avec HiveMQ, Azure et Databricks"