Big Data Engineer

Zielgruppe: Der Lehrgang richtet sich an Personen mit abgeschlossenem Studium in der Informatik, Wirtschaftsinformatik, BWL, Mathematik oder vergleichbarer Qualifikation.

Big Data Engineers sind verantwortlich für das Entwerfen, Erstellen, Testen und Warten komplexer Datenverarbeitungssysteme. Daher führt der Lehrgang zunächst in die Grundlagen von Business Intelligence ein und beschreibt die Anforderung des Data Engineerings. Auch werden die Data Warehouse Modellierung und ETL ausführlich erklärt. Anschließend wird der Begriff Big Data anhand des Frameworks Hadoop erläutert, das zum Speichern, Verarbeiten und Berechnen von großen Datenmengen dient.

Lehrgangsinhalte

Data Engineer

Grundlagen Business Intelligence (ca. 2 Tage)

• Anwendungsfelder, Dimensionen einer BI Architektur
• Grundlagen Business Intelligence, OLAP, OLTP, Aufgaben eines Data Engineers
• Data Warehousing (DWH): Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten

Anforderungsmanagement (ca. 2 Tage)

• Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
• Datenmodellierung, Einführung / Modellierung mit ERM
• Einführung/Modellierung in der UML
• Klassendiagramme
• Use-Case Analyse
• Aktivitätsdiagramme

Datenbanken (ca. 3 Tage)

• Grundlagen von Datenbanksystemen
• Architektur von Datenbankmanagementsystemen
• Anwendung RDBMS,
• Umsetzung Datenmodell in RDBMS, Normalformen
• Praktische und theoretische Einführung in SQL
• Grenzen von Relationalen Datenbanken, csv, json

Data Warehouse (ca. 4 Tage)

• Star Schema
• Datenmodellierung
• Erstellung Star Schema in RDBMS
• Snowflake Schema, Grundlagen, Datenmodellierung
• Erstellung Snowflake Schema in RDBMS
• Galaxy Schema: Grundlagen, Datenmodellierung
• Slowly Changing Dimension Tables Typ 1 bis 5 - Restating, Stacking, Reorganizing, mini Dimension und Typ 5
• Einführung in normal, causal, mini und monster, heterogeneous und sub Dimensions
• Vergleich von state und transaction oriented Faktentabellen, Density und Storage vom DWH

ETL (ca. 4 Tage)

• Data Cleansing
• Null Values
• Aufbereitung von Daten
• Harmonisierung von Daten
• Anwendung von Regular Expressions
• Data Understanding
• Datenvalidierung
• Statistische Datenanalyse
• Datenschutz, Datensicherheit
• Praktischer Aufbau von ETL-Strecken
• Data Vault 2.0, Grundlagen, Hubs, Links, Satellites, Hash Key, Hash Diff.
• Datavault Datenmodellierung
• Praktischer Aufbau eines Data Vault Modells - Raw Vault, Praktische Umsetzung von Hash-Verfahren

Projektarbeit (ca. 5 Tage)

• Zur Vertiefung der gelernten Inhalte
• Präsentation der Projektergebnisse

Big Data Specialist mit Hadoop

Was ist Big Data? (ca. 1 Tag)

• Volume, Velocity, Variety, Value, Veracity
• Chancen und Risiken großer Datenmengen
• Abgrenzung: Business Intelligence, Data Analytics, Data Science
• Was ist Data Mining?

Einführung in Hadoop (ca. 2 Tage)

• Grundlagen Hadoop
• HDFS – das Hadoop Distributed File System
• Big-Data-Lösungen in der Cloud
• Datenzugriffsmuster für HDFS
• Daten-Speicherung in einem HDFS-Cluster

MapReduce (ca. 3 Tage)

• Map Reduce Philosophie
• Hadoop Cluster
• Verketten von Map Reduce Jobs

Hadoop-Komponenten (ca. 3 Tage)

• Kurzvorstellung anderer Tools wie beispielsweise Pig und Hive
• Datenübertragung nach Hadoop
• YARN-Anwendungen
• Hadoop JAVA-API
• Apache Spark

NoSQL und HBase (ca. 3 Tage)

• CAP-Theorem
• ACID und BASE
• Typen von Datenbanken
• HBase

Big Data Visualisierung (ca. 3 Tage)

• Theorien der Visualisierung
• Diagrammauswahl
• Neue Diagrammarten
• Werkzeuge zur Datenvisualisierung

Projektarbeit (ca. 5 Tage)

• Zur Vertiefung der gelernten Inhalte
• Präsentation der Projektergebnisse

Änderungen möglich. Die Lehrgangsinhalte werden regelmäßig aktualisiert.

Präsenzlehrgänge mit Videotechnik der neuesten Generation

Der Einsatz von Videokonferenzsystemen gehört zum Lehrgangskonzept von alfatraining. Diese Form von Unterricht trainiert das Arbeiten in einer vernetzten Arbeitsumgebung, wie sie in Industrie und Wirtschaft existiert. In der globalisierten Arbeitswelt arbeiten Firmen heutzutage sowohl firmenintern als auch mit anderen Unternehmen deutschlandweit, europaweit oder weltweit über moderne Kommunikationstechniken und Netzwerke zusammen. Sie lernen im Unterricht den Umgang und Einsatz dieser modernen Techniken kennen.

Wie funktioniert der Unterricht bei alfatraining?

Bei alfatraining findet der Unterricht via alfaview®, einer Videokonferenzsoftware, statt. Die Dozierenden und die Teilnehmenden können sich gegenseitig sehen, hören und miteinander sprechen – live, lippensynchron und in Fernsehqualität! Über den virtuellen Klassenraum alfaview® ist es möglich, dass Sie sowohl mit Dozierenden als auch mit allen Teilnehmerinnen und Teilnehmern Ihres Kurses sprechen und im Team standortübergreifend gemeinsam an Projekten arbeiten. Zusätzliche separate Online-Besprechungsräume eignen sich zur vertraulichen Kommunikation in Kleingruppen.

Sie beherrschen Prozesse rund um die Zusammenführung, Aufbereitung, Anreicherung und Weitergabe von Daten. Außerdem können Sie große, unstrukturierte Datenmengen mit Hilfe von Hadoop verarbeiten. Sie kennen die unterschiedlichen Komponenten des Software Frameworks und wissen, wie Daten ansprechend visualisiert werden.

Programmierkenntnisse (idealerweise Python) und Erfahrungen mit Datenbanken (SQL) werden vorausgesetzt.

keine Einschränkungen

keine Einschränkungen

• Berufsförderung der Bundeswehr
• Bildungsgutschein (auch für Weiterbildung während Kurzarbeit)
• Leistungen zur Teilhabe am Arbeitsleben (berufliche Rehabilitation)
• auf Anfrage

• auf der Internetseite des Bildungsanbieters