Formation Supervision du Big Data : Grafana, Kibana, Graphite et Prometheus

Objectif opérationnel :

Connaître les outils et mécanismes permettant de superviser des fermes Big Data.

Objectifs pédagogiques :

À l’issue de cette formation Grafana, Kibana, Graphite, Prometheus vous aurez acquis les connaissances et les compétences nécessaires pour :

• Connaître les outils et mécanismes permettant de superviser des fermes Big Data
• Identifier les critères de choix
• Maîtriser l’exploration et visualisation des données

Ce cours s’adresse aux chefs de projets, exploitants et architectes Big Data.

Pour suivre cette Grafana, Kibana, Graphite, Prometheus il est nécessaire d’avoir des connaissances générales des systèmes d’informations et des bases de données.

Supervision : définitions

• Les objectifs de la supervision, les techniques disponibles La supervision d’une ferme Big Data Objets supervisés Les services et ressources Protocoles d’accès Exporteurs distribués de données Définition des ressources à surveiller Journaux et métriques Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB

Mise en œuvre

• Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB) Produits : Prometheus, Graphite, ElasticSearch Présentation, architectures Les sur-couches : Kibana, Grafana

JMX

• Principe des accès JMX MBeans Visualisation avec jconsole et jmxterm Suivi des performances Cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …

Prometheus

• Installation et configuration de base Définition des ressources supervisées, des intervalles de collecte Démarrage du serveur Prometheus Premiers pas dans la console web, et l’interface graphique Exporteur JMX Exporteur mongodb Démonstration avec Cassandra ou Hadoop/HBase Configuration des agents sur les nœuds de calculs Agrégation des données JMX Expressions régulières Requêtage Visualisation des données

Graphite

• Modèle de données et mesures Format des données stockées, notion de timestamp Types de mesures : compteurs, jauges, histogrammes, résumés Identification des ressources supervisées : notions d’instances, de jobs Démonstration avec Cassandra Comparaison avec Prometheus

Exploration et visualisation des données

• Mise en œuvre de Grafana Installation, configuration Pose de filtres sur Prometheus et remontée des données Étude des différents types de graphiques disponibles, agrégation de données Appairage des données entre Prometheus et Grafana Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

• Installation, configuration du mapping avec Elasticsearch Injection des données avec Logstash et Metribeat Architectures, paramétrages Mapping automatique ou manuel Configuration des indexes à explorer

Dans le contexte du Big Data les applications sont particulièrement exposées aux problèmes de performances ou d’anomalies compte tenu des échanges intensifs autour des données. Afin de faciliter leur exploitation un certain nombre d’outils proposent par leur complémentarité une véritable assistance aux chefs de projets, architectes, développeurs et bien sûr exploitant de ces applications.

Nous nous arrêtons dans cette formation sur les standards du marché mais vous serez autonome pour en choisir d’autres une fois la vision d’ensemble maîtrisée comme proposé dans cette formation.
Vous disposerez ainsi de véritables tableaux de bor1d de supervision et d’analyse de métriques importantes de vos applications afin de mieux les comprendre au niveau performances, anomalies, problème, etc. sous une forme graphique facilitant énormément la prise de décision et la mise en place d’alertes.

Enfin il est important de préciser que les outils présentés ici peuvent tout à fait être utilisés dans des projet pas forcément liés au Big Data mais dans le cas d’applications plus traditionnelles nous vous conseillons de suivre la formation Superviser vos serveurs et vos applications avec Prometheus et Grafana (PROM).