Azure Databricks&Spark dành cho kỹ sư dữ liệu (PySpark / SQL)

Mô tả ngắn:

Khóa học cung cấp kiến thức và kỹ năng cho việc triển khai giải pháp kỹ thuật dữ liệu sử dụng Azure Databricks và Spark Core cho một dự án thực tế về phân tích, báo cáo về dữ liệu đua xe Công thức 1 

Nội dung khóa học:

• Tìm hiểu cách xây dựng một dự án dữ liệu trong thế giới thực bằng Azure Databricks và Spark Core. 
• Sử dụng các kỹ năng xử lý dữ liệu cấp độ chuyên nghiệp trong Azure Databricks, Delta Lake, Spark Core, Azure Data Lake Gen2 và Azure Data Factory (ADF).
• Tìm hiểu cách tạo sổ ghi chép, bảng thông tin, cụm, nhóm cụm và công việc trong Azure Databricks.
• Tìm hiểu cách nhập và chuyển đổi dữ liệu bằng PySpark trong Azure Databricks.
• Tìm hiểu cách chuyển đổi và phân tích dữ liệu bằng Spark SQL trong Azure Databricks.
• Tìm hiểu về kiến trúc Data Lake và Lakehouse cũng như cách triển khai kiến trúc Lakehouse bằng Delta Lake.
• Tìm hiểu cách tạo quy trình Azure Data Factory để thực thi sổ ghi chép Databricks.
• Tìm hiểu cách tạo trình kích hoạt Azure Data Factory để lên lịch quy trình cũng như giám sát.
• Có các kỹ năng cần thiết liên quan tới Azure Databricks và Data Factory để vượt qua kỳ thi chứng chỉ Azure Data Engineer Associate DP203.
• Tìm hiểu cách kết nối với Azure Databricks từ PowerBI để tạo báo cáo.
• Có cái nhìn toàn diện về Unity Catalog và khả năng quản trị dữ liệu do Unity Catalog cung cấp.
• Học cách triển khai giải pháp quản trị dữ liệu bằng cách sử dụng không gian làm việc Databricks hỗ trợ Unity Catalog.

Yêu cầu đầu vào:

Khóa này khá nặng về kỹ năng chuyên môn nên học viên cần có kiến thức về Blob storage, Python, SQL căn bản

Kiến thức đầu ra:

• Phát triển kỹ năng thực hành trong việc tạo dự án dữ liệu thực tế sử dụng Azure Databricks và Spark Core.
• Đạt được kiến thức chuyên sâu về kỹ sư dữ liệu cấp chuyên nghiệp trong Azure Databricks, Delta Lake, Spark Core, Azure Data Lake Gen2 và Azure Data Factory (ADF).
• Chuyển và biến đổi dữ liệu bằng PySpark trong Azure Databricks, sử dụng Spark SQL để phân tích và hiểu về Kiến trúc Data Lake và Lakehouse.

Đối tượng phù hợp:

Những người có mong muốn làm công việc về: Data Engineer, Data Analyst, Software Engineer, (Data) Solution Architect

>>> Đăng ký khóa học ngay: