In diesem Kurs wird erläutert, wie Sie Databricks und Apache Spark auf Azure verwenden, um Datenprojekte von der Erkundung bis zur Produktion zu nutzen. Sie erfahren, wie Sie große Datasets mit Spark DataFrames, Spark SQL und PySpark einbinden, transformieren und analysieren und dabei Sicherheit in der Verwaltung der verteilten Datenverarbeitung gewinnen. Unterwegs sammeln Sie praktische Erfahrungen mit dem Databricks-Arbeitsbereich – Navigieren durch Cluster und Erstellen sowie Optimieren von Delta-Tabellen.   Außerdem werden Sie sich mit den Datentechnikpraktiken vertraut machen, einschließlich des Entwerfens von ETL-Pipelines, der Behandlung der Schemaentwicklung und der Erzwingung der Datenqualität. Der Kurs geht dann zur Orchestrierung über und zeigt Ihnen, wie Sie Arbeitslasten mithilfe von Lakeflow-Jobs und -Pipelines automatisieren und verwalten können. Um die Dinge abzurunden, erkunden Sie Governance- und Sicherheitsfunktionen wie Unity Catalog und Purview-Integration, um sicherzustellen, dass Sie mit Daten in einer sicheren, gut verwalteten und produktionsfähigen Umgebung arbeiten können.

Seminarinhalte

• Explore Azure Databricks
• Use Apache Spark in Azure Databricks
• Use Delta Lake in Azure Databricks
• Use SQL Warehouses in Azure Databricks
• Run Azure Databricks Notebooks with Azure Data Factory

Zielgruppe

Bevor Sie diesen Kurs absolvieren, sollten die Lernenden bereits mit den Grundlagen von Python und SQL vertraut sein. Dazu gehört die Möglichkeit, einfache Python-Skripts zu schreiben und mit allgemeinen Datenstrukturen zu arbeiten sowie SQL-Abfragen zum Filtern, Verknüpfen und Aggregieren von Daten zu schreiben. Ein grundlegendes Verständnis gängiger Dateiformate wie CSV, JSON oder Parkett hilft auch beim Arbeiten mit Datasets. Darüber hinaus ist die Vertrautheit mit dem Azure-Portal und den Kerndiensten wie Azure Storage wichtig, zusammen mit einem allgemeinen Bewusstsein für Datenkonzepte wie Batch- und Streamingverarbeitung und strukturierte und unstrukturierte Daten. Obwohl nicht zwingend erforderlich, kann vorherige Erfahrung mit Big Data-Frameworks wie Spark und der Arbeit mit Jupyter-Notizbüchern den Übergang zu Databricks erleichtern.