Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
課程簡介
Apache Airflow 基本面回顧
- 核心概念:DAG、運算符和執行流程
- Airflow 架構和元件
- 了解高級使用案例和工作流程
創建自定義運算子
- 瞭解 Airflow 運算子的剖結構
- 為特定任務開發自定義運算符
- 測試和調試自定義運算符
定製挂鉤和感測器
- 為外部系統集成實現鉤子
- 創建用於監控外部觸發器的感測器
- 使用自定義感測器增強工作流交互性
開發 Airflow 外掛程式
- 瞭解外掛程式架構
- 設計外掛程式以擴展 Airflow 功能
- 管理和部署外掛程式的最佳實踐
將 Airflow 與外部系統整合
- 將 Airflow 連接到資料庫、API 和雲端服務
- 將 Airflow 用於 ETL 工作流和即時數據處理
- 管理 Airflow 和外部系統之間的依賴關係
高級調試和監控
- 使用 Airflow 日誌和指標進行故障排除
- 為工作流問題配置警報和通知
- 將外部監控工具與 Airflow 結合使用
優化性能和 Scala 能力
- 使用 Celery 和 Kubernetes Executor 擴展 Airflow
- 優化複雜工作流程中的資源利用率
- 高可用性和容錯策略
案例研究和實際應用
- 探索數據工程和 DevOps 中的高級用例
- 案例研究:大規模 ETL 的自定義運算子實現
- 管理企業級工作流的最佳實踐
總結和後續步驟
最低要求
- 對 Apache Airflow 基礎知識有深入的理解,包括 DAG、運算符和執行架構
- 熟練掌握 Python 程式設計
- 集成數據系統和工作流編排的經驗
觀眾
- 數據工程師
- DevOps 工程師
- 軟體架構師
21 時間: