課程簡介

高級部署 Apache Airflow

  • 在雲平臺(AWS、Azure、GCP)上部署 Apache Airflow
  • 使用 Docker 和 Kubernetes 將 Airflow 容器化
  • 配置 Airflow 以實現高可用性和容錯能力

適用於 Apache Airflow 的 CI/CD 管道

  • 自動化 DAG 測試和部署
  • 將 Airflow 與 CI/CD 工具集成(例如,Jenkins、GitHub 操作)
  • 管理工作流版本控制和更新

監控和日誌記錄

  • 為工作流實施強大的日誌記錄實踐
  • 使用 Prometheus 和 Grafana 等工具進行系統監控
  • 為故障場景設置警報機制

性能優化和擴展

  • 調整 Airflow 配置以獲得最佳性能
  • 使用 Celery 執行程式擴展 Airflow 部署
  • 處理大規模工作流編排

安全和 Access 控制

  • 在 Airflow 中實施基於角色的存取控制 (RBAC)
  • 保護 Airflow 環境和工作流程
  • 在工作流中管理敏感數據的最佳實踐

案例研究和實際應用

  • 用於 DevOps 自動化的 Airflow 的真實示例
  • 動手練習:使用 CI/CD 和監控工具部署 Airflow
  • 討論 DevOps 工作流編排中的挑戰和解決方案

總結和後續步驟

最低要求

  • 具有 Apache Airflow 基礎知識的經驗,包括 DAG 創建和任務管理
  • 瞭解 CI/CD 管道和 DevOps 實踐
  • 熟悉雲環境和容器化(例如,Docker、Kubernetes)

觀眾

  • DevOps 工程師
  • 基礎設施經理
  • 雲專家
 21 時間:

課程分類