Piloter son infrastructure plus intelligemment et efficacement - SmartData by Ntico
Piloter son infrastructure plus intelligemment et efficacement
Application à un projet interne : Locxia
Dans le cadre de Locxia, notre plateforme de données géospatiales sur-mesure, nous proposons à nos clients l’accès à 500+ indicateurs sur l’ensemble de la France métropolitaine : bâtiments (surfaces, matériaux, consommations, besoins en rénovation), végétation, piscines, risques, météorologie, fiscalité, pollution, connaissance du territoire, etc.. L’infrastructure qui soutient ce projet doit notamment répondre à plusieurs exigences :
- Une capacité de stockage significative
(volume variable en couche d’atterrissage + 2 To en couche de travail + 1 To en couche d’exposition ≈ 3.5 To)
- Ponctuellement, une capacité de traitement élevée
(dans le cas de l’intégration d’un nouveau jeu de données, d’un calcul d’indicateurs agrégés, calculs géomatiques (analyse géographique), etc.)
Chez Ntico, notre objectif est de maîtriser une infrastructure dynamique qui répond à ces exigences tout en optimisant le coût de revient et en réduisant le gaspillage.
- AWS IAM
Nous avons défini 2 rôles (un en lecture et un en écriture) sur les ressources taggées ‘locxia’. Le rôle d’écriture nous permet, via AWS CLI / Terraform, de créer une instance RDS en choisissant la taille allouée pour le stockage, la classe d’instance, le moteur de base de données, etc..
- AWS CloudWatch associé à Grafana :
Nous offre une visibilité en temps réel via le rôle de lecture sur les métriques (et les coûts !) des ressources taggées ‘locxia’. La commande correspondante est get-metric-data (permet de récupérer des données de métriques plus détaillées et flexibles que get-metric-statistics), mais il est également possible d’utiliser le mode stream vers S3. Cette combinaison nous permet de surveiller la performance du système (charge de travail du CPU, espace de stockage libre, utilisation du SWAP, opérations de lecture / d’écriture par seconde), tout en maîtrisant nos coûts et en évitant l’exploitation inutile de ressources.
- Un orchestrateur nous permet d’orchestrer l’ensemble de ces processus :
Il se charge notamment de :
- transférer les métriques CloudWatch vers la base de données à un rythme spécifique défini en paramètre pour consommation par Grafana
- créer / modifier / supprimer les instances selon les paramètres stockés dans la base
- collecter les métriques définies par service et par tâche (le rythme de surveillance d’un bucket S3 au repos n’est pas forcément le même que celui d’un EC2 en plein travail)
- transférer les données entre les différents services (de base à base, depuis l’extérieur vers S3, etc..)
Pour conclure : en intégrant de manière cohérente Terraform, Grafana, AWS IAM et AWS CloudWatch, nous assurons à Locxia une infrastructure automatisée, sécurisée, surveillée en temps réel et flexible. Cette approche permet à Locxia de répondre efficacement aux exigences de traitement et de stockage de données géospatiales, tout en optimisant les coûts associés et en évitant le gâchis de ressource.
Formation Data Rock Stars x SmartData - Ntico
SMARTDATA BY NTICO
Formation Data Rock Stars !
L’année se termine en beauté pour la communauté SmartData by Ntico ! 🙌
Ce mois de décembre marque la fin d’une période de formation dispensée par notre Partenaire DATAROCKSTARS dont le programme a été travaillé de façon collaborative avec nos équipes ! 🔝
L’occasion pour les membres de la communauté de travailler sur plusieurs axes au travers de sessions théoriques mais surtout de Labs de mise en situation ! 👨💻
Des participants actifs et impliqués 💪 des formateurs experts et engageants ✨ c’est ce qui nous permet de vous proposer des solutions innovantes dans l’accompagnement de vos projets Data !
Retrouvez l’article ICI ! 🚀
MeetUp Data Lille - SmartData
SMARTDATA
La communauté SmartData était présente au Meet Up Data Lille !
Début novembre, Ntico était présent dans le décor somptueux de la Chambre de Commerce et d’Industrie Grand Lille, accueilli par externatic et CleverConnect, dans le cadre d’un Meetup organisé par Data Lille 🚀
Une occasion parfaite pour Cloé et Florian de mettre en avant une partie des travaux de recherche réalisés pour le développement de notre solution LoCXia ! 🔝
Le sujet de la consolidation et l’analyse de données Open Source grâce au Deep Learning pour la détection de piscines 🏊 a beaucoup intéressé l’auditoire 🙌
Et non, nous n’avons pas aidé le Ministère des Impôts, Google et Capgemini dans leur recherche de détection de fraude à la déclaration des installations d’agrément de jardin 😁🏡
LoCXia, ce n’est pas que de la détection de piscines ! 👇
Nous avons plutôt une double ambition :
✅ Guider les retailers dans leurs ciblages et dans la personnalisation de leurs campagnes marketing
✅ Accompanger les collectivités dans la connaissance de leur territoire et l’aménagement de ce dernier, en termes de revégétalisation et de rénovation énergétique.
Retex Airbyte et DBT - SmartData by Ntico
SMARTDATA BY NTICO
Retex Airbyte et DBT
Il y a quelques mois, la communauté SmartData by Ntico vous présentait deux outils open source pour simplifier le transport et la transformation de vos données : Airbyte et DBT ! 🙌
Afin de vous apporter un meilleur angle de vision sur ces solutions, nous avons mis en oeuvre deux cas d’usage concrets représentant des besoins assez classiques de la gestion de données en entreprise, dont voici les premiers résultats 🚀
Continuez à nous suivre pour découvrir la suite 👀
Données internes x externes - SmartData by Ntico
SMARTDATA BY NTICO
SmartAnalystics : Données internes x externes
Un peu de légèreté durant ces congés bien mérités ? 🤗
Nous vous avons préparé une analyse qui croise des données externes avec les données de notre ERP. Le résultat ? Un aperçu de la distribution des congés au sein de Ntico ! 🏖️
Une note estivale qui démontre les possibilités offertes par les outils de viz du marché ! Et devinez quoi ? Nous avons concocté un exemple de tableau de bord PowerBI, rapide comme l’éclair à créer ! ⚡
La leçon à tirer de cette plongée dans les données ? 😄✅ Il y a toujours du monde chez Ntico pour répondre à vos besoins, même pendant la période estivale ! 🔝💪
Présentation de Dataiku - SmartData by Ntico
SMARTDATA BY NTICO
Présentation de Dataiku !
Révolutionnez votre approche de la data avec Dataiku, la plateforme incontournable en intelligence artificielle et science des données 🚀
Découvrez comment Dataiku ouvre de nouvelles perspectives pour exploiter le plein potentiel de vos données et prendre des décisions éclairées grâce à ses fonctionnalités avancées en IA et data science 💥
Anthony, Data Analyst chez Ntico, vous explique ce qu’est Dataiku et pourquoi il peut être intéressant de se tourner vers des outils no code en data science 🤔
Découvrez son article juste ICI !
Nos experts sont à votre disposition pour analyser votre situation et comprendre vos besoins ! 🙌
Le data lineage - SmartData by Ntico
SMARTDATA BY NTICO
Le data lineage
Le Data lineage participe à une bonne gouvernance de la donnée ! 🤝
Ce mois-ci la communauté SmartData by Ntico vous propose de découvrir pourquoi le data lineage, comment et qui le met en place ! 🚀
Formation Data Rock Star - Ntico
SMARTDATA
Formation Data Rock Star !
Ça y est, c’est fait ✅
Le premier module de 3 jours du parcours de formation Smart Data by Ntico a eu lieu, animé à distance par Marouan et suivi dans nos trois agences ! 🚀
La construction de ce parcours de 7 jours, en collaboration avec DATAROCKSTARS, vise à donner, en plus des multiples compétences déjà éprouvées, un sens et une trajectoire technologique communs à l’ensemble des collaborateurs Data Scientists et Machine Learning Engineers de Ntico.
👉 Au programme : mise en oeuvre de projets DataScience, de l’identification des différents enjeux jusqu’à la mise à l’échelle en passant par les outils uptodate, les différents algos, cas d’usage et domaines fonctionnels du Machine Learning ! 🙌
Airbyte et DBT - SmartData by Ntico
SMARTDATA
Airbyte et DBT
Si vous êtes Data Engineer, vous savez à quel point il est important d’alimenter un flux de données de manière fiable, rapide et efficace ! 🙌
Ce mois-ci, la communauté SmartData by Ntico vous propose deux outils open source qui répondent à ces problématiques !
Découvrez l’article ICI !
Réussir votre choix d'outil de Data Visualisation - SmartData - Ntico
SMARTDATA
Réussir votre choix d'outil de Data Visualisation !
Vous rencontrez des problématiques avec vos outils de data visualisation actuels ? Ils ne sont peut être plus adaptés à vos usages, à vos utilisateurs, à votre volumétrie…Vous vous dites qu’il serait temps de lancer une étude ? Vous vous posez des questions sur les points essentiels à challenger ? 🤔
La communauté SmartData by Ntico vous propose quelques pistes de réflexion qu’il sera important de mener, au delà de l’intégration technique et du prix des licences, pour réussir votre choix de Data Visualisation ! 🚀