課程簡介

介绍DeepSeek LLMFine-Tuning

  • DeepSeek模型的概述,例如DeepSeek-R1和DeepSeek-V3
  • 了解微调LLM的必要性
  • 微调与提示工程的比较

为Fine-Tuning准备数据集

  • 策划特定领域的数据集
  • 数据预处理和清理技术
  • 针对DeepSeek LLM进行令牌化和数据集格式化

设置Fine-Tuning环境

  • 配置GPU和TPU加速
  • 使用DeepSeek LLM设置Hugging Face Transformers
  • 了解微调的超参数

Fine-Tuning DeepSeek LLM的监督微调

  • 实施监督微调
  • 使用LoRA(低秩适配)和PEFT(参数效率Fine-Tuning)
  • 针对大规模数据集运行分布式微调

评估和优化微调模型

  • 通过评估指标评估模型性能
  • 处理过拟合和欠拟合
  • 优化推理速度和模型效率

部署微调后的DeepSeek模型

  • 对模型进行打包以便API部署
  • 将微调后的模型集成到应用程序中
  • 通过云计算和边缘计算来扩展部署

实际的Use Case和应用

  • 金融、医疗和客户支持的微调LLM
  • 行业应用的案例研究
  • 领域特定AI模型的伦理考虑

总结和结论

最低要求

  • 機器學習和深度學習框架的經驗
  • 對變壓器和大型語言模型(LLM)的熟悉
  • 了解數據預處理和模型訓練技術

觀眾

  • 探索LLM微調的AI研究人員
  • 開發定制AI模型的機器學習工程師
  • 實施AI驅動解決方案的高級開發人員
 21 時間:

課程分類