Apache Kafka for Python Programmers培訓

這種以講師為主導的澳門現場現場培訓針對的是希望將Apache Kafka與現有資料庫和應用程式集成以進行處理，分析等的開發人員。

在培訓結束時，參與者將能夠：

使用 Kafka
• Connect 將大量數據從資料庫引入到 Kafka 主題中。
將
• 應用伺服器產生的日誌數據引入 Kafka 主題。
• 使收集的任何數據可用於流處理。
• 將數據從 Kafka 主題匯出到輔助系統進行存儲和分析。

Apache Beam 是一個開源的統一程式設計模型，用於定義和執行並行數據處理管道。它的強大之處在於它能夠同時運行批處理和流式管道，執行由 Beam 支援的分散式處理後端之一執行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 對於 ETL（提取、轉換和載入）任務非常有用，例如在不同的存儲介質和數據源之間移動數據、將數據轉換為更理想的格式以及將數據載入到新系統。

在這個由講師指導的現場培訓（現場或遠端）中，參與者將學習如何在 Java 或 Python 應用程式中實施 Apache Beam SDK，該應用程式定義了一個數據處理管道，用於將大數據集分解成更小的塊，以進行獨立的並行處理。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Apache Beam。
• 使用單個程式設計模型從其 Java 或 Python 應用程式執行批處理和流處理。
• 跨多個環境執行管道。

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意

• 本課程將在未來提供 Scala。請聯繫我們安排。

這種以講師為主導的現場培訓（現場或遠程）是針對希望使用Confluent（Kafka的分發）為其應用程序構建和管理實時數據處理平台的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置Confluent Platform。
• 使用Confluent的管理工具和服務可以更輕鬆地運行Kafka。
• 存儲和處理傳入的流數據。
• 優化和管理Kafka集群。
• 安全的數據流。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在實時實驗室環境中親自實施。

課程自定義選項

• 本課程基於Confluent：Confluent Open Source的開源版本。
• 要申請本課程的定制培訓，請聯繫我們安排。

Apache Kafka是一個分佈式流媒體平台。它實際上是構建數據管道的標準，它解決了許多圍繞數據處理的不同用例：它可以用作消息隊列，分佈式日誌，流處理器等。

我們將從數據管道背後的一些理論開始，然後繼續介紹Kafka背後的基本概念。我們還將發現Kafka Streams和Kafka Connect等重要組件。

這個由 澳門 的講師指導式現場培訓（在線或現場）介紹了分散式流和批處理數據處理背後的原理和方法，並引導參與者在 Apache Flink 中創建實時數據流應用程式。

在本次培訓結束時，參與者將能夠：

• 設置用於開發數據分析應用程式的環境。
• 瞭解 Apache Flink 的 圖形處理庫 （Gelly） 的工作原理。
• 打包、執行和監控基於 Flink 的容錯數據流應用程式。
• 管理各種工作負載。
• 執行高級分析。
• 設置多節點 Flink 集群。
• 衡量和優化性能。
• 將 Flink 與不同的 Big Data 系統集成。
• 將 Flink 功能與其他大數據處理框架的功能進行比較。

在這個以講師為主導的澳門現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

本課程適用於企業架構師，開發人員，系統管理員以及任何想要了解和使用高吞吐量分佈式消息傳遞系統的人員。如果您有更多特定要求（例如，僅限系統管理方），可以根據您的需求定製本課程。

這種以講師為主導的澳門現場現場培訓針對的是希望設置，部署，管理和優化企業級Kafka集群的系統管理員。

在培訓結束時，參與者將能夠：

• 設置和管理 Kafka 集群。
• 評估在本地部署 Kafka 與在雲中部署 Kafka 的優缺點。
• 使用各種本地和雲環境工具部署和監控 Kafka。

Kafka Streams是一個客戶端庫，用於構建應用程序和微服務，其數據傳入和傳出Kafka消息傳遞系統。傳統上， Apache Kafka依靠Apache Spark或Apache Storm來處理消息生成者和消費者之間的數據。通過在應用程序內調用Kafka Streams API，可以直接在Kafka中處理數據，從而無需將數據發送到單獨的集群進行處理。

在這個由講師指導的實時培訓中，參與者將學習如何將Kafka Streams集成到一組示例Java應用程序中，這些應用程序將數據傳入和傳出Apache Kafka以進行流處理。

在培訓結束時，參與者將能夠：

• 了解Kafka Streams的功能和優勢，而不是其他流處理框架
• 直接在Kafka集群中處理流數據
• 編寫與Kafka和Kafka Streams集成的Java或Scala應用程序或微服務
• 編寫簡潔的代碼，將輸入的Kafka主題轉換為輸出Kafka主題
• 構建，打包和部署應用程序

聽眾

• 開發商

課程 格式

• 部分講座，部分討論，練習和繁重的實踐練習

筆記

• 要申請本課程的定制培訓，請聯繫我們安排

這個由 講師指導的 澳門 現場培訓（在線或現場）面向希望在不編寫代碼的情況下實現 Apache Kafka 流處理的開發人員。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（無 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行數據過濾、轉換、聚合、連接、視窗化和會話化。
• 為流式 ETL 和即時分析設計和部署互動式連續查詢。

在這個以講師為主導的澳門現場或遠端培訓中，參與者將學習如何在實時實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝並配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務洞察。

在這個由講師指導的 澳門 現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用 Apache NiFi 開發許多演示擴展、元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同和不常見的檔格式和數據源中攝取和處理實時數據。

這種以講師為主導的澳門現場培訓（現場或遠端）針對希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在本次培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。