DATALAKE :
Concevoir un pipeline Big Data
L’agriculture moderne génère d’importantes quantités de données sous-exploitées. Notre projet vise à les traiter pour optimiser les décisions agricoles. Contrairement aux solutions existantes (Agrivi, Climate FieldView), notre Data Lake agricole offrira une plateforme centralisée, flexible et personnalisée. Proposé par des chercheurs de XLIM en partenariat avec 3IL, ce projet aidera les agriculteurs à améliorer leur efficacité et à adopter des pratiques plus écologiques.
L’objectif principal de ce projet est de concevoir un pipeline Big Data performant permettant de collecter, stocker, analyser et visualiser des données agricoles provenant de sources variées. En exploitant ces données, le projet vise à fournir aux agriculteurs et aux chercheurs des outils d’aide à la décision afin d’optimiser les pratiques agricoles, améliorer les rendements et favoriser une agriculture plus durable et respectueuse de l’environnement.
Technologies utilisées
Plateforme de streaming distribuée permettant de collecter et traiter des flux de données en temps réel.
Outil de gestion des flux de données facilitant l’acquisition, la transformation et le transfert entre différentes sources.
Système de stockage distribué conçu pour gérer de gros volumes de données avec tolérance aux pannes
Framework de calcul distribué rapide pour le traitement de Big Data en mémoire.
Outil de visualisation et d’analyse de données via des tableaux de bord interactifs.
Outil de gestion de projet agile facilitant le suivi des tâches et l’organisation des sprints.
Grandes étapes du projet
Ingestion et Collecte des Données
Cette étape consiste à récupérer des données agricoles provenant de différentes sources (capteurs IoT, bases de données, API météorologiques). Ces données sont envoyées en continu vers un système de gestion des flux pour assurer leur transmission et leur transformation en temps réel.
Stockage des Données
Une fois collectées, les données doivent être stockées de manière sécurisée et évolutive pour permettre leur exploitation future. Un bon système de stockage garantit l’accessibilité des données et leur pérennité.
Traitement et Analyse des Données
Les données brutes doivent être nettoyées, traitées et analysées pour en extraire des informations utiles. Cette étape comprend le prétraitement des données, l’identification des tendances et la détection d’anomalies grâce à des modèles d’apprentissage
Visualisation
Les résultats des analyses doivent être présentés de manière claire et interactive pour permettre aux utilisateurs de prendre des décisions éclairées. Cette étape consiste à créer des tableaux de bord dynamiques affichant des indicateurs clés
Bilan et perspectives
- Le pipeline Big Data a été conçu et implémenté avec succès, permettant la collecte, le stockage et l’analyse des données agricoles en temps réel
- Les outils de visualisation (Power BI) ont permis d’afficher des indicateurs pertinents facilitant la prise de décision des agriculteurs
- Extension du périmètre : Intégrer d’autres sources de données (imagerie satellite, nouvelles bases de données agricoles) pour affiner les analyses.
- Déploiement en conditions réelles : Tester la solution sur des données agricoles en temps réel issues de capteurs déployés sur le terrain.
Raja CHIKY – Enseignant référent – Client – 3iL Ingénieurs
XLIM– Institut De Recherche Pluridisciplinaire- Client
Un projet porté par :
Elinor TCHAMO, Audrey MAKAM, Aurore TAKOUEZIM, Derrick TOUKAM, Bidias HYEMELONG, Christian CAKANYA