Understanding Deep Neural Networks培訓

第 1 部分 – Deep Learning 和 DNN 概念

介紹AI， Machine Learning & Deep Learning

• 人工智慧的歷史、基本概念和通常的應用遠 這個領域所承載的幻想

• 集體智慧：聚合許多虛擬代理共用的知識

• 遺傳演算法：通過選擇進化虛擬代理群體

• 常用學習機器：定義。

• 任務類型：監督學習、無監督學習、強化學習

• 操作類型：分類、回歸、聚類、密度估計、降維

• Machine Learning 演算法的示例：線性回歸、樸素貝葉斯、隨機樹

• 機器學習VS Deep Learning：Machine Learning仍然是當今最先進的問題（Random Forests & XGBoosts）

神經網路的基本概念（應用：多層感知器）

• 提醒數學基礎。

• 神經元網路的定義：經典架構、啟動和

• 以前啟動的權重、網路深度

• 神經元網路學習的定義：成本函數、反向傳播、隨機梯度下降、最大似然函數。

• 神經網路建模：根據問題類型（回歸、分類......維度的詛咒。

• 多特徵數據和信號之間的區別。根據數據選擇成本函數。

• 神經元網路對函數的近似：表示和示例

• 神經元網路分佈的近似值：表示和示例

• 數據增強：如何平衡數據集

• 神經元網路結果的泛化。

• 神經網路的初始化和正則化：L1 / L2 正則化、批量歸一化

• 優化和收斂演算法

標準 ML / DL 工具

計劃進行簡單的介紹，包括優點、缺點、在生態系統中的位置和用途。

• 數據管理工具：Apache Spark、Apache Hadoop 工具

• Machine Learning： Numpy、Scipy、Sci-kit

• DL 高級框架：PyTorch、Keras、Lasagne

• 低級 DL 框架：Theano、Torch、Caffe、Tensorflow

卷積 Neural Networks （CNN）。

• CNN 的介紹：基本原理和應用

• CNN 的基本操作：卷積層、內核的使用、

• 填充和步幅，特性映射生成，池化層。擴展 1D、2D 和 3D。

• 介紹不同的 CNN 架構，這些架構帶來了最先進的分類技術

• 圖片：LeNet、VGG Networks、Network in Network、Inception、Resnet。介紹每種架構帶來的創新及其更全球化的應用（卷積 1x1 或殘差連接）

• 使用注意力模型。

• 適用於常見分類情況（文字或影像）

• 用於生成的CNN：超解析度、像素到圖元分割。介紹

• 增加圖像生成特徵圖的主要策略。

迴圈 Neural Networks （RNN）。

• RNN 的介紹：基本原理和應用。

• RNN 的基本操作：隱藏激活、時間反向傳播、展開版本。

• 向門控循環單元 （GRU） 和 LSTM（長短期記憶）的演變。

• 介紹這些架構帶來的不同狀態和演變

• 收斂和消失梯度問題

• 經典架構：時間序列的預測、分類 ...

• RNN 編碼器解碼器類型架構。使用注意力模型。

• NLP 應用程式：單詞/字元編碼、翻譯。

• 視頻應用程式：預測視頻序列的下一個生成圖像。

分代模型：變分自動編碼器 （VAE） 和生成對抗網路 （GAN）。

• 代際模型的介紹，與CNN的連結

• 自動編碼器：降維和限量生成

• 變分自動編碼器：給定分佈的代際模型和近似值。潛在空間的定義和用途。重新參數化技巧。觀察到的應用程式和限制

• 生成對抗網路：基礎知識。

• 雙網路架構（生成器和判別器），具有交替學習功能，提供成本函數。

• GAN的融合和遇到的困難。

• 改進的收斂性：Wasserstein GAN，開始。地球移動距離。

• 用於生成圖像或照片、文本生成、超解析度的應用程式。

深 Reinforcement Learning。

• 強化學習的演示：在定義的環境中控制智慧體

• 按狀態和可能的操作

• 使用神經網路近似狀態函數

• 深度 Q 學習：體驗重播，並應用於視頻遊戲的控制。

• 優化學習策略。在政策和非政策下。Actor critic 架構。A3C 的。

• 應用：控制單個視頻遊戲或數字系統。

第 2 部分 – Theano for Deep Learning

Theano 基礎知識

• 介紹

• 安裝和配置

Theano功能

• inputs， outputs， outputs， updates， 給定

使用 Theano 訓練和優化神經網路

• 神經網路建模

• Logistic 回歸

• 隱藏圖層

• 訓練網路

• 計算和分類

• 優化

• 對數丟失

測試模型

第 3 部分 – 使用 Tensorflow 的 DNN

TensorFlow 基本資訊

• 創建、初始化、保存和恢復 TensorFlow 變數

• 饋送、讀取和預載入 TensorFlow 數據

• 如何使用 TensorFlow 基礎設施大規模訓練模型

• 使用 TensorBoard 視覺化和評估模型

TensorFlow 機械師

• 準備數據

• 下載

• 輸入和佔位元

• 構建 GraphS

  • 推理

  • 損失

  • 訓練

• 訓練模型

  • 圖表

  • 會議

  • 火車環線

• 評估模型

  • 構建 Eval Graph

  • Eval 輸出

感知器

• 啟動函數

• 感知器學習演算法

• 使用感知器進行二元分類

• 使用感知器進行文件分類

• 感知器的限制

從 Perceptron 到 Support 向量機

• 內核和內核技巧

• 最大邊距分類和支援向量

人工 Neural Networks

• 非線性決策邊界

• 前饋和反饋人工神經網路

• 多層感知器

• 最小化成本函數

• 前向傳播

• 反向傳播

• 改進神經網路的學習方式

捲積 Neural Networks

• GoALS

• 模型架構

• 原則

• 代碼組織

• 啟動和訓練模型

• 評估模型

以下模組的基本介紹（根據時間提供簡要介紹）：

Tensorflow - 高級用法

• 線程和佇列

• 分散式 TensorFlow

• 編寫 Documentation 並共用模型

• 自定義 Data Reader

• 操作 TensorFlow 模型檔

TensorFlow 份量

• 介紹

• 基本服務教程

• 高級服務教程

• Serving Inception 模型教程