Architectures d'ingestion de données pour HiveMQ

Transformer des messages MQTT en informations exploitables nécessite bien plus qu'un simple broker. Il faut un pipeline de bout en bout, de l'ingestion à la transformation, jusqu'à la visualisation. Dans notre entreprise, nous avons exploré deux flux de données principaux pour intégrer HiveMQ à Azure et, in fine, à Power BI :

• Une approche Extension Datalake , qui écrit des fichiers Parquet directement dans Azure Blob Storage  
• Une approche Extension Kafka , diffusant les messages vers Azure Event Hub, traités via Stream Analytics  

Les deux méthodes acheminent les données vers Databricks pour une transformation structurée avant d'atteindre les tableaux de bord Power BI. Le meilleur choix dépend de votre cas d'usage, mais aussi des coûts, de la latence et de la flexibilité. Un aperçu des deux méthodes et de leur flux de données est présenté ci-dessous.

Utilisation de l'extension Datalake

L'extension Datalake de HiveMQ facilite la capture du trafic MQTT et son stockage direct sous forme de fichiers Parquet dans Azure. Cette configuration est parfaitement adaptée à l'analyse historique et à l'exploration périodique des données. Cependant, deux points importants sont à noter :

• Elle écrit les fichiers en mode batch, ce qui signifie que les données sont mises en mémoire tampon avant d'être écrites sur le stockage, introduisant un certain délai et les rendant moins adaptées à l'analyse de données en temps réel.  
• Cela nécessite une licence HiveMQ professionnelle, dont le coût est plus élevé que celui de l'extension Kafka.  

Cela la rend idéale pour les scénarios où la latence n'est pas critique, mais où l'archivage structuré et la transformation en aval sont nécessaires.

Utilisation de l'extension Kafka avec Azure Event Hub

L'extension Kafka permet à HiveMQ de transférer des messages MQTT en temps réel en utilisant le protocole Kafka. Lorsqu'elle est connectée à Azure Event Hub (niveau Standard), cela permet le streaming en temps réel vers l'écosystème Azure.

Avec Stream Analytics, les événements MQTT entrants peuvent être traités instantanément et écrits dans des fichiers Parquet.

Comparé à l'extension Datalake :

• L'extension Kafka prend en charge une latence plus faible et le streaming parallèle  
• Elle ne nécessite qu'une licence HiveMQ Starter, ce qui la rend plus accessible en termes de coût de licence  
• Elle sépare les responsabilités : HiveMQ envoie les messages bruts, Azure gère la transformation  
• Les coûts sur Azure seront toutefois plus élevés.

Cette architecture privilégie les cas d'usage nécessitant des analyses à faible latence, une surveillance opérationnelle ou des alertes.

Transformation des données Bronze en Delta Live Tables

Que les données soient ingérées via l'extension Datalake ou diffusées en continu via Event Hub, elles finissent sous forme de fichiers Parquet bruts dans le stockage Azure. Ces fichiers sont considérés comme des données de niveau bronze: ils contiennent tous les événements, mais restent non structurés et non filtrés.

Dans Databricks, nous avons construit un pipeline ETL utilisant Delta Live Tables (DLT) pour traiter ces données. Cette étape de transformation comprend :

• Le filtrage des enregistrements inutiles  
• L'ajout de métadonnées contextuelles  
• La structuration des données dans des formats adaptés aux besoins métier  
• La conversion des journaux d'événements au format étroit en tables au format large adaptées aux outils de BI  

Le résultat de cet ETL est considéré comme des données de niveau argent ou or, prêtes à être utilisées dans des outils de prise de décision, d'analyse et de visualisation comme Power BI.

Intégration de Power BI

Une fois les Delta Live Tables créées dans Databricks, elles peuvent être exposées à Power BI via l'interface SQL Warehouse de Databricks. Cela permet aux utilisateurs de créer tableaux de bord interactifs directement sur des jeux de données sélectionnés, sans pipelines ni exportations supplémentaires.

Le résultat est un pont fluide entre les données IoT brutes et l'analyse métier : les données MQTT transitent de HiveMQ vers Azure, sont enrichies et structurées dans Databricks, puis visualisées dans Power BI. Que vous surveilliez l'état d'une usine ou que vous génériez des rapports sur la consommation d'énergie, ce flux vous offre une vision complète, de la périphérie jusqu'à l'analyse.

Format étroit vs format large pour la BI

Une transformation clé effectuée dans Databricks est le pivot du format étroit vers le format large:

• Dans le format étroit, chaque ligne représente une mesure unique : horodatage, identifiant du capteur, type de métrique et valeur.  
• Dans le format large, chaque ligne agrège toutes les métriques d'un même capteur à un instant T, ce qui est idéal pour les tableaux de bord.  

La plupart des pipelines d'ingestion (Kafka, Datalake) fournissent des données au format étroit. Cependant, les outils de BI comme Power BI et Grafana fonctionnent mieux avec des tables au format large. L'étape ETL gère ce remodelage, rendant les données plus intuitives et performantes pour les utilisateurs finaux.

Conclusion : Choisir le bon flux

• Fonctionnalité : Latence
  Extension Datalake : De quelques secondes à quelques minutes
  Kafka + Event Hub : Quasi temps réel
• Fonctionnalité : Licences
  Extension Datalake : Nécessite Professionnel
  Kafka + Event Hub : Compatible avec Starter
• Fonctionnalité : Complexité
  Extension Datalake : Faible
  Kafka + Event Hub : Élevée (mais évolutive)
• Fonctionnalité : Format de sortie
  Extension Datalake : Parquet
  Kafka + Event Hub : Parquet via Stream Analytics
• Fonctionnalité : Transformation
  Extension Datalake : Databricks DLT
  Kafka + Event Hub : Stream Analytics + Databricks DLT
• Fonctionnalité : Idéal pour
  Extension Datalake : Traitement par lots historique
  Kafka + Event Hub : Tableaux de bord et alertes en temps réel

Ces deux architectures sont performantes. L'extension Datalake excelle par sa simplicité et ses capacités d'archivage. L'extension Kafka, quant à elle, offre des fonctionnalités en temps réel et un pipeline de streaming plus flexible, le tout sans nécessiter de licence coûteuse.

Pour les entreprises cherchant à connecter l'IoT industriel au reporting d'entreprise, HiveMQ, Azure et Databricks offrent une pile technologique robuste et évolutive.

Curieux de voir comment cela fonctionne avec Ignition comme plateforme de base ? Découvrez notre article connexe : "D'Ignition à Power BI : diffusion de données IoT en continu avec Azure et Databricks"