Blockchain Infos

Was ist Data Engineering? Was ist ein Data Engineer? Diese Fragen beantworte ich in diesem Artikel. Du erfährst, was es mit diesem neuen Berufsbild auf sich hat.

Ein Data Scientist ist nur so gut wie die Daten, auf die er Zugriff hat. Die meisten Unternehmen speichern ihre Daten in verschiedenen Formaten, in Datenbanken oder Textdateien.

Hier kommt der Data Engineer ins Spiel – er baut Pipelines, die diese Daten in Formate umwandeln, die von dem Data Scientist verwendet werden können. Data Engineers sind genauso wichtig wie Data Scientists. Sie sind aber in der Regel weniger sichtbar, da sie vom Endprodukt der Analyse weit entfernt sind.

Eine gute Analogie ist ein Rennwagenbauer vs. ein Rennwagenfahrer. Der Fahrer hat das Vorrecht, auf einer Strecke zu rasen und den Sieg vor Publikum zu genießen. Doch der Konstrukteur hat die Freude daran, Motoren zu optimieren, mit verschiedenen Abgasanlagen zu experimentieren und eine leistungsstarke, robuste Maschine zu entwickeln.

Wenn du die Art von Person sind, die gerne Systeme baut und optimiert, ist Data Engineering vielleicht das Richtige für dich. In diesem Beitrag werden wir den Alltag eines Data Engineers untersuchen und die für die Rolle erforderlichen Fähigkeiten besprechen.

Ein Data Engineer ist ein Mitarbeiter, dessen Hauptaufgabe darin besteht, Daten für analytische oder betriebliche Zwecke aufzubereiten. Die spezifischen Aufgaben, die von Dateningenieuren übernommen werden, können von Unternehmen zu Unternehmen unterschiedlich sein. Sie umfassen jedoch typischerweise den Aufbau von Datenpipelines, um Informationen aus verschiedenen Quellsystemen zusammenzuführen, die Integration, Konsolidierung und Bereinigung von Daten und deren Strukturierung für den Einsatz in einzelnen Analyseapplikationen.

Data Engineers befassen sich in der Regel sowohl mit strukturierten als auch mit unstrukturierten Datensätzen. Daher müssen sie mit verschiedenen Ansätzen der Datenarchitektur und -anwendung vertraut sein. Eine Vielzahl von großen Datentechnologien, darunter eine ständig wachsende Auswahl an Open-Source-Datenerfassungs- und Verarbeitungs-Frameworks, sind ebenfalls im Werkzeugkasten des Data Engineers enthalten.

Data Engineers sind das Bindeglied zwischen der Big Data-Strategie des Managements und den Data Scientists, die mit Daten arbeiten müssen. Was sie tun, ist, die Plattformen aufzubauen, die es den Data Scientists ermöglichen, ihre Arbeit zu tun.

Der Data Engineer ermöglicht folgende Use Cases:

• Datenaufnahme und Speicherung großer Datenmengen
• Algorithmuserstellung durch den Data Scientist
• Automatisierung der maschinellen Lernmodelle und -algorithmen des Data Scientists für den Produktionseinsatz
• Datenvisualisierung für Mitarbeiter und Kunden

Als ein Data Engineer kannst du dich unterschiedlich positionieren.

Ein generalistischer Data Engineer arbeitet in der Regel in einem kleinen Team. Ohne ihn haben Data Analysts und Data Scientists nichts zu analysieren, was einen Data Engineer zu einem kritischen Mitglied eines Data-Science-Teams macht.

Wenn ein Data Engineer die einzige datenorientierte Person in einem Unternehmen ist, muss er in der Regel mehr End-to-End-Arbeit leisten. So kann beispielsweise ein generalistischer Data Engineer alles tun müssen, von der Aufnahme der Daten über die Verarbeitung bis hin zur endgültigen Analyse. Dies erfordert mehr Data-Science-Skills als die meisten Data Engineer besitzen. Allerdings erfordert es auch weniger Wissen über die Systemarchitektur.

Kleine Teams und Unternehmen haben nicht so viele Benutzer, so dass Engineering nicht so tiefgehend ausgeprägt sein muss. Dies ist eine gute Rolle für einen Data Scientist, der in das Data Engineering wechseln möchte.

Pipeline-zentrierte Data Engineers sind in der Regel in mittelständischen Unternehmen mit komplexen Data-Science-Anforderungen notwendig. Ein Pipeline-zentrierter Data Engineer wird mit Teams von Datenwissenschaftlern zusammenarbeiten, um Daten in ein nützliches Format für die Analyse zu transformieren. Dazu bedarf es fundierter Kenntnisse über verteilte Systeme und Informatik.

Ein datenbank-zentrierter Data Engineer konzentriert sich auf den Aufbau und die Bereitstellung von Analysedatenbanken. Dies beinhaltet einige Arbeiten mit Pipelines, aber mehr Arbeiten mit der Optimierung der Datenbanken für eine schnelle Analyse und die Erstellung von Tabellenschemata. Dazu gehört die ETL-Arbeit, um Daten in die Warehouses zu bringen. Diese Art von Data Engineer findet man normalerweise in größeren Unternehmen mit vielen Datenanalysten, die ihre Daten über verschiedene Datenbanken und Systeme verteilt haben.

Ein Data Engineer verdient durchschnittlich

• 65.000€ pro Jahr (vgl. https://neuvoo.de/gehalt/?job=Data+Engineer; abgerufen am 25.11.2019)
• 61.658€ pro Jahr (vgl. https://www.glassdoor.de/Geh%C3%A4lter/data-engineer-gehalt-SRCH_KO0,13.htm; abgerufen am 25.11.2019)
• 57.000€ pro Jahr (vgl. https://www.stepstone.de/gehalt/Data-Engineer.html; abgerufen am 25.11.2019)

Wie du siehst, variieren die Angaben leicht. Insgesamt ist es jedoch ein ganz gutes Gehalt. Solltest du viel Erfahrung haben und erfolgreich abgeschlossene Projekte vorweisen, kannst du sicherlich mit weit höheren Gehältern rechnen.

Um Data Engineer zu werden, ist eine entsprechende Ausbildung bzw. Studium sinnvoll. Es könnte klassischerweise ein Informatik bzw. Wirtschaftsinformatik Studium sein. Gerade in der IT-Branche reicht es anstelle eines Studiums oft auch aus, mehrjährige Erfahrung vorzuweisen. Auch wenn man nicht explizit eine offizielle Ausbildung in dem Bereich absolviert hat.

Für einen guten Job im Data Engineering solltest du dir die Kenntnisse und Fähigkeiten aneignen. Dazu gehören Kenntnisse in relationalen Datenbanken und SQL sowie nicht-relationalen Datenbanken / NoSQL, ETL-Prozessen (Extract, Transformation, Loading) und Data Warehousing bzw. Business Intelligence. Wenn du die Programmiersprache Python kannst, ist es ein Vorteil.

Sinnvoll können auch Erfahrungen mit Big Data Ökosystemen wie Hadoop, Spark, Kafka sowie Cloud-Umgebungen wie Amazon Web Services, Google Cloud oder Microsoft Azure sein.

Zu den Soft Skills zählen selbstverständlich ein starkes Interesse, dich in neue Themen einzuarbeiten und dich stets technologisch weiterzubilden. Als Data Engineer kann es sein, dass du auch Kunden beraten musst oder Projekte in Teams stemmst. Deshalb solltest du deine Gedanken formulieren können. Teamfähigkeit ist obligatorisch, das versteht sich von selbst.

In der IT-Welt ist es ganz normal, auf Englisch zu kommunizieren oder englische Dokumente zu lesen. Deshalb solltest du flüssiges Englisch können in Schrift und Wort.

Je nach Job kann es sein, dass du auch viel reisen musst. Dies hängt jedoch wirklich von der Position ab. Der Trend geht dahin, immer mehr remote zu machen. Dies ist ökonomischer und ökologischer.

Du kannst dir über verschiedene Wege Data Engineering Fähigkeiten aneignen bzw. Zertifizierungen erlangen:

• Data Engineer für Google Cloud
• Cloudera Certified Data Engineer
• Azure Data Engineer Associate

Studiengänge in Deutschlang wären z.B. folgende:

• Master of Science in Data Engineering and Analytics an der TU München
• Master of Science in Data Engineering an der Uni Potsdam und Hasso Plattner Institut

Wenn du dich für das Thema interessierst, solltest du mal einen Blick in das Cookbook von Andreas Kretz reinwerfen.

Das Berufsbild Data Engineer ist wirklich spannend. Wenn du dich dafür interessierst, solltest du dir die nötigen Fähigkeiten im Bereich Data Engineering aneignen. Versuche so viel wie möglich Erfahrungen zu sammeln. So kannst du zu deinem Traumjob kommen.

Der Beitrag Data Engineer | Data Engineering – Was ist das| Aufgaben | Gehalt | Jobs erschien zuerst auf Blockchain Infos.