課程簡介

回顧 Apache Airflow 基礎知識

  • 核心概念:DAG、任務和運算符
  • Airflow 架構和元件
  • 常見使用案例和工作流程回顧

優化工作流性能

  • 識別 Airflow 管道中的瓶頸
  • 任務級優化技術
  • 利用任務重試、並行和併發

管理複雜的依賴關係

  • 在工作流程中定義動態依賴關係
  • 處理條件和分支工作流
  • 有效使用任務組和子 DAG

高級功能 Apache Airflow

  • 創建自定義運算子和鉤子
  • 實現用於外部觸發器的感測器
  • 集成第三方服務和外掛程式

擴展 Apache Airflow 部署

  • 水平和垂直縮放方法
  • 使用 Celery Executor 進行分散式執行
  • 在雲環境中擴展的最佳實踐

監控和調試工作流

  • 為工作流監控配置日誌記錄和警報
  • 使用 Airflow UI 和 CLI 進行故障排除
  • 識別和解決 Airflow 部署中的常見問題

固定 Apache Airflow

  • Airflow 中的身份驗證和訪問控制
  • 保護敏感數據和環境配置
  • 為工作流實施審計跟蹤

企業 Use Case 和最佳實踐

  • 為生產環境設計強大的工作流程
  • 利用 Airflow 進行數據工程和 ETL 管道
  • 探索可擴展 Airflow 部署的真實案例研究

總結和後續步驟

最低要求

  • 基礎知識 Apache Airflow
  • 熟悉 Python 程式設計和工作流編排概念
  • 在 Linux 環境中管理和部署應用程式的經驗

觀眾

  • 數據工程師
  • DevOps 專業人士
  • 軟體開發人員
 21 時間:

課程分類