Architecture Big Data

Si le Big Data est LE sujet du moment, il est souvent considéré comme une boîte noire dans laquelle il est très difficile de se retrouver. 

Large regroupement de pratiques, d’objectifs et de technologies différentes, il demeure l’objet de nombreux questionnements : 

  • A partir de quand parlons-nous de Big Data ?
  • Quels outils pour gérer de gros volume de données ?
  •  Traitement batch ou traitement en continue ? 
  •  La data science implique t’elle nécessairement une approche Big Data ? 
  • Quelle compétence pour un data scientist ?

Objectifs de la formation

  • Définir les concepts et identifier l’apport du Big Data
  • Déterminer l’écosystème technologique
  • Organiser la collecte des données
  • Choisir une technologie de stockage de données
  • Connaître les technologies pour traiter les gros volumes de données
  • Définir et comprendre le rôle du datascientist

Prérequis

Les compétences professionnelles suivantes sont souhaitables : la connaissance d’un langage de programmation structuré et les bases du monde relationnel.

Formation destinée aux :

  • DSI
  • Architecte SI
  • Chef de projet
  • Développeur
  • Data Miner
  • Data Scientist

Durée de formation

3 jours de formation

Moyens pédagogiques

La formation se passe en mode distanciel, et se compose de 70% de travaux pratiques (Mises en situation, débats, exercices).

Une évaluation quotidienne de l’acquisition des connaissances de la veille est effectuée.

Une synthèse est proposée en fin de formation. 

Un support de cours sera remis à chaque participant comprenant les slides de la théorie, les exercices et travaux pratiques ainsi que leurs corrigés.

Profil du formateur.trice

Le formateur est un expert du domaine qui intervient sur le sujet depuis plusieurs années en formation mais aussi en conseil.

Doté d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir les compétences sur les architectures Big Data

Programme

Comprendre les concepts et les enjeux du BigData

  • Origines et définition du BigData.
  • Les 3 V : Volume, Vélocité et Variété
  • Diversité dans les cas d’usage : données chaudes, données froides
  • Big Data : Une approche réservée aux GAFA ?
  • Un exemple d’architecture Big Data.
  • Exercice / Démo : Parcourir différentes sources de données accessibles via le WEB (API)

Expliquer les technologies du Big Data

  • Définir les outils de collecte de données
  • Anticiper les moyens de stockage en fonction des usages
  • Le datalake : votre référentiel de données
  • Paralléliser ou traiter vos données en continue ?
  • S’approprier les données avec des analyses visuelles : la dataviz

Stocker des données

  • État de l’art : Le BigData, sonne t’il le glas des bases de données relationnelles ?
  • Le triangle de CAP
  • Pourquoi le NoSql ?
  • Les différentes approches : document / wide column / key-value
  • Tour d’horizon des solutions à disposition : MongoDB, Cassandra, HBase…
  • Exercice / Démo : définir et mettre en place un modèle de stockage de type document avec MongoDB

Collecter les données

  • Comprendre les différentes sources de données : iOT / SI / Réseau sociaux / API : D’où viennent les données ?
  • Gérer des formats de données différents : JSON, XML, CSV, binaires, …
  • De l’importance des connecteurs…
  • Tour d’horizon des outils du marché : NIFI / Node Red / Flume / Sqoop
  • Exercice / Démo : Utiliser NIFI pour collecter les données d’une API publique 

Hadoop

  • Comprendre le périmètre de Hadoop : Stockage et traitement
  • Une plateforme de traitement batch et de stockage de données froides
  • Architecture et composants de la plateforme Hadoop.
  • HDFS, YARN et Mapreduce : les 3 piliers
  • Un écosystème complexe et complet : Hive, HBase
  • Exercice / Démo : Manipuler des fichiers via Hue, mise en place de tables et requêtes Hive sur une plateforme Hadoop

Spark

  • Un framework pour paralléliser des traitements
    Positionnement Spark / Hadoop
  • Quelle infrastructure de déploiement 
  • Comprendre la complexité de la parallélisation des traitements
  • SparkML : une librairie pour la datascience
  • Exercice / Démo : Mise en place et analyse d’un traitement simple

Stream processing

  • Le besoin de traitement au fil de l’eau
    Streaming ETL
  • Streaming analytics
  • Prise de décision en temps réel
  • Les approches et outils de streaming : Spark Streaming / Kafka Streaming / Flink…
  • Exercice / Démo : analyse en continue d’un flux de données simple

Transporter vos données : Kafka

  • Définir le besoin d’un bus de données
  • Les middleware Orienté Messages dans un contexte BigData
  • Définir les acteurs : Producers & Consumers
  • Comprendre les composants : Messages, brokers, topics, …
  • Un outil taillé pour les performances
  • Kafka Connect : Connectez vos outils à Kafka
  • Exercice / Démo :  Mise en place d’un bus Kafka pour permettre à Elasticsearch de manipuler des données extraites via NIFI 

Big Data et Machine Learning

  • Présentation du Machine Learning
  • Positionnement de la datascience dans un contexte Big Data
  • Les différentes approches : Clusterisation, classification, régression
  • Les implémentations : Scikit Learning / SparkML
  • Spark et DASK : des frameworks de distribution des traitements
  • Le « Deep learning » 
  • Le « Online learning » ou machine learning en streaming 
  • Démo : processus complet d’un projet de datascience (analyse des données, sélection de données, apprentissage, scoring)

Datavisualisation

  • Pourquoi faire ?
  • Dataviz pour comprendre les données
  • L’écosystème de la Dataviz : outils et API
  • Exercice / Démo : Analyse visuelle d’un jeu de données

Suivi et évaluation

Une évaluation à chaud sera proposée au stagiaire à la fin du cours. 

Architecture Big Data

par La Mêlée
 
45 personne(s) ont consulté cet évènement
 
Payant
 
1980€HT

 

Date et heure

Du 07 Juin. 2021 à 09:00
Au 09 Juin. 2021 à 17:00
 

Adresse

En ligne
 

Catégorie de l’évènement

 

Date de clôture des inscriptions

02 Juin. 2021
 
 

Partager l'évènement

Vous êtes ici : Accueil > Architecture Big Data

Dernières actualités

#

Retour sur les piliers de la Mêlée – Novembre

16 novembre 2020

Transformation Numérique : L’un des enjeux pour la Mêlée sur ce volet, est de sensibiliser les PME et TPE à la transformation numérique. Au vu de l’urgence de la situation actuelle, la Mêlée met en place des webinaires en ligne gratuits, depuis le premier confinement. De plus, un drive dédié à la sensibilisation #TransfoNum a

#

6 bonnes raisons d’ouvrir un compte professionnel dans une néobanque

17 juin 2020

La digitalisation des services bancaires est déjà bien entamée. À l’heure où les banques traditionnelles et les banques en ligne vous proposent des applications de plus en plus sophistiquées, un nouvel acteur apparaît dans le monde bancaire : les néobanques.  Le défi qu’elles prétendent relever ? Disrupter, bousculer le marché et les méthodes installées avec la promesse

#

3 points clés pour réussir son entrée dans la dématérialisation

19 mai 2020

Le passage à la dématérialisation en entreprise n’est pas si simple et demande une bonne organisation. Selon une étude mondiale réalisée par IDC, les problèmes de gestion des documents représentent une perte de 21 % de la productivité organisationnelle. Toutes les entreprises y sont confrontées au quotidien. Rappel des enjeux d’un projet de Dématérialisation Augmenter la visibilité

#

La Mêlée et Occitanie Data sont désormais partenaires !

18 mai 2020

Le 21 avril dernier, le « 5 à 7 by La Mêlée : La donnée publique ou privée : comment la valoriser ? » a réuni près d’une quarantaine de participants. Cela a également été l’occasion pour Occitanie Data et La Mêlée de signer en live une convention de partenariat ! La data est une sujet désormais

#

Interview avec la commission etourisme, qui vient de lancer le podcast « le tourisme part en live »

18 mai 2020

Créée en 2015, relancée l’année dernière avec de nombreux événements à la clé, la commission e-tourisme de la Mêlée lance « le tourisme part en live » ! Dans cette série de podcasts, nous interrogeons des professionnels du tourisme et du e-tourisme qui partagent leur point de vue et leur expérience sur l’actualité. A qui s’adresse le podcast

#Stratégies

E-commerce. La Fedeo scrute les acheteurs occitans et les compare au national

5 Mai 2021

En partenariat avec En décembre dernier, Fedeo, la Fédération des entreprises de l’e-commerce d’Occitanie, publiait son premier baromètre local. Aujourd’hui, c’est à la Févad, organisation nationale, de faire de même. Jérôme Baousson, membre de Fedeo, compare les deux études et fait le point sur les activités de l’association. Chez Fedeo, la Fédération du e-commerce en

L’article E-commerce. La Fedeo scrute les acheteurs occitans et les compare au national est apparu en premier sur Mid E-News.

#Innovation

PeopleSpheres, plateforme RH, lève 8,5 millions d’euros pour financer sa croissance

5 Mai 2021

En partenariat avec Leader français des solutions PaaS (Platform as a service) dans les ressources humaines, PeopleSpheres réalise une levée de 8,5 millions d’euros pour développer sa plateforme et préparer son développement à l’international. Créée par Philippe Bloquet, la société PeopleSpheres (Paris et Montpellier) a développé une solution PaaS (Platform as a service) permettant aux

L’article PeopleSpheres, plateforme RH, lève 8,5 millions d’euros pour financer sa croissance est apparu en premier sur Mid E-News.

#Stratégies

Les Indiscrétions de Hubert Vialatte : 3 questions à Inès Fabre, MoMa Junior Conseil, Montpellier Management (MoMa)

5 Mai 2021

En partenariat avec  La chef de projet revient sur l’activité de la Junior Entreprise et annonce ses ambitions à l’avenir. « Depuis le début de la crise, nous réalisons beaucoup d’études de marché » Qu’apporte de spécifique votre Junior Entreprise ?On intervient sur plusieurs points : dans le lancement d’une activité, ou le développement d’une entreprise, sur tout ce

L’article Les Indiscrétions de Hubert Vialatte : 3 questions à Inès Fabre, MoMa Junior Conseil, Montpellier Management (MoMa) est apparu en premier sur Mid E-News.

#Talents

Trophées de la e-santé : plus que quelques jours pour candidater !

5 Mai 2021

En raison de la crise sanitaire liée à la covid-19, l’Université de la e-santé, organisée par Castres-Mazamet Métropole, a finalement été reportée aux 23 et 24 décembre 2021. Comme chaque année, l’événement sera l’occasion de remettre les trophées de la e-santé, qui ont pour objectif de favoriser les usages du numérique dans les systèmes de

L’article Trophées de la e-santé : plus que quelques jours pour candidater ! est apparu en premier sur Mid E-News.

#Innovation

Avec EviCypher, Freemindtronic invente la cybersécurité de poche

5 Mai 2021

En partenariat avec L’EviCypher de Freemindtronic, inventée par Jacques Gascuel, établit une barrière physique et numérique efficace pour la protection de des données utilisateurs. Un dispositif «Air Gap» gardien de secrets, mais pas seulement.  Créée en mars 2021 par Jacques Gascuel, entrepreneur depuis 30 ans et inventeur dans l’âme, l’EviCypher a fait forte impression en remportant dernièrement

L’article Avec EviCypher, Freemindtronic invente la cybersécurité de poche est apparu en premier sur Mid E-News.

previous arrow
next arrow
Slider

Partenaires de la Mêlée

Logo La Mêlée Adour
Logo Invest in Andorra
carcassonne agglo
Logo Toulouse Métropole
Slider