刘晖：《ChatGPT、AI大模型与算力网络技术及应用》培训大纲

授课时间

授课内容

授课时长

第一天

上午

1小时

2小时

下午

3小时

课程小结、答疑、交流讨论与互动环节

0.5小时

第二天

上午

2小时

1小时

下午

3小时

课程小结、答疑、交流讨论与互动环节

0.5小时

第三天

上午

2小时

1小时

下午

2小时

1小时

课程总结、答疑、交流讨论与互动环节

0.5小时

培训主题

详细内容

1．ChatGPT概念诠释及技术发展

1.1什么是ChatGPT？（技术视角、OpenAI、维基百科的定义）

1.2 ChatGPT技术核心要点诠释

1.3      问题：如何理解ChatGPT？-理解ChatGPT的关键点

1.3.1 ChatGPT是如何工作的？

1.3.2 ChatGPT的训练数据来源于何处？

1.3.3 ChatGPT如何进行模型预训练？

1.3.4 ChatGPT是如何自动生成文本的？

1.3.5 ChatGPT如何准确回答问题？

1.3.6 ChatGPT如何按照人类思维回答问题？

1.4问题：ChatGPT的主要技术有哪些？

1.5 ChatGPT的主要特点有哪些？

1.6ChatGPT的最大创新点是什么？

1.7ChatGPT优化对话语言模型的优化目标是什么？

1.8ChatGPT与普通聊天机器人的区别是什么？

1.9 GPT-4的概念及关键技术

1.9.1什么是GPT-4？GPT-4的核心要点诠释

1.9.2什么是多模态生成模型？GPT-4如何实现跨模态融合？

1.9.3 GPT-4的关键技术有哪些？

1.9.4 GPT-4的预训练模型是什么？（预训练语言模型、预训练图像模型、预训练音频模型、预训练视频模型）

1.9.5 GPT-4如何进行模型预训练？

1.9.6 GPT-4如何根据图形、音频、视频等自动生成文本？

1.9.7 GPT-4对于ChatGPT实现哪些方面能力的提升？

1.9.8 GPT-4与GPT系列内容窗口对比

1.9.9 GPT-4与ChatGPT的比较

1.9.10 GPT-4技术与ChatGPT有哪些不同点？

1.10ChatGPT/GPT-4存在的问题与不足是什么？

1.11ChatGPT/GPT-4界面及网址

1.12ChatGPT/GPT-4的基本功能与高级功能

1.13 ChatGPT/GPT-4和AIGC的关系是什么？

1.14 ChatGPT/GPT-4、AIGC和元宇宙的关系是什么？

1.15 ChatGPT/GPT-4对推动元宇宙的商用落地与快速发展有何影响？

1.16ChatGPT/GPT-4的产生、发展及影响

1.16.1 ChatGPT/GPT-4的产生

1.16.2 ChatGPT/GPT-4的发展历程（GTP-1,GTP-2,GTP-3, ChatGPT, GTP-4）

1.16.3 ChatGPT/GPT-4的研究现状

1.16.4 ChatGPT/GPT-4的产生与发展对人类社会将带来什么影响？

1.16.5 ChatGPT/GPT-4对哪些职业和工作产生挑战和影响？

1.17 ChatGPT/GPT-4对我们的启示有哪些？

1.18如何从ChatGPT/GPT-4的技术方案中学习有价值的东西？

1.19 如何运用基于人工智能的ChatGPT/GPT-4技术方案赋能行业智慧应用与商用落地和快速发展？

模块二：架构篇-ChatGPT系统架构及工作流程

2. ChatGPT的系统架构及工作流程

2.1 ChatGPT的总体技术路线是什么？

2.1.1自然语言处理+搜索引擎集成架构

2.1.2 GPT3.5+大型语言模型（LLM）+强化学习微调训练模型架构

2.1.3 ChatGPT实现的关键要素有哪些？

2.2 构建ChatGPT系统架构需要考虑哪些关键问题？

2.2.1 ChatGPT技术架构的关键点是什么？

2.2.2 ChatGPT预训练模型有哪些？

2.2.3 ChatGPT预训练数据集有哪些？

2.2.4 ChatGPT如何进行模型预训练？

2.2.5 ChatGPT进行模型训练的步骤有哪些？

2.3 ChatGPT的工作流程-理解ChatGPT架构的基础

2.3.1 有监督微调（SFT）

2.3.2 奖励模型（RM）训练

2.3.3 PPO模型强化学习

2.3.4 基于人类反馈的强化学习-RLHF

2.3.5 例子：ChatGPT语言处理的工作流程

语言处理数据流转流程：输入文本、语言识别、情感分析、信息抽取、命名实体识别、句子相似性处理、文本分类、全文搜索、文本生成、上下文管理、问题解答、输出文本

2.4 GPT-4的系统架构及工作流程

2.4.1 GPT-4实现的关键要素有哪些？

2.4.2构建GPT-4系统架构需要考虑哪些关键问题？

2.4.3 GPT-4的技术路线是什么？

2.4.4 GPT-4的系统架构及组成

2.4.5 GPT-4系统架构的关键点是什么？

2.4.6 GPT-4的工作原理及工作流程

2.4.7 GPT-4预训练模型有哪些？

2.4.8 GPT-4预训练数据集有哪些？

2.4.9 GPT-4如何进行模型预训练？

2.4.10 GPT-4进行模型训练的步骤有哪些？

2.4.11 GPT-4的工作流程

2.5 ChatGPT/GPT-4的系统架构-Transformer架构

2.51什么是Transformer？

2.5.2 Transformer模型的作用

2.5.3 Transformer总体架构及组成

（1）输入部分，（2）输出部分，（3）编码器部分，（4）解码器部分

2.5.4 Encoder-Decoder编码器-解码器框架

2.5.5 输入部分的实现

（1）文本嵌入层及作用，（2）位置编码器及作用

2.5.6编码器部分的实现

（1）掩码张量，（2）注意力机制，（3）多头注意力机制，（4）前馈全连接层，（5）规范化层，（6）子层连接结构，（7）编码器层，（8）编码器

2.5.7解码器部分的实现

（1） 解码器层，（2）解码器

2.5.8 输出部分的实现

（1）线性层，（2）softmax层

2.5.9模型构建

2.6案例分析：使用Transformer构建语言模型

2.7 GPT3.5预训练模型架构

2.8 大型语言模型（LLM）架构

2.9 强化学习微调训练模型架构-RLHF架构

2.10    ChatGPT/GPT-4应用系统架构及组成-端边网云（水平分割）

2.10.1  ChatGPT/GPT-4应用终端（PC机、智能手机、PAD等）

2.10.2 边缘计算（边缘算力）

2.10.3 互联网/移动互联网

2.10.4 云（超级计算机、超级算力）-云数据中心（Microsoft Azure、国资云（国家云）、天翼云、移动云、沃云、华为云、百度云、阿里云、腾讯云等）

2.11 ChatGPT/GPT-4系统架构优化及应用推广

模块三：技术篇-ChatGPT关键技术及原理详解

3.   ChatGPT关键技术及原理详解

3.1 ChatGPT/GPT-4的关键技术体系

3.2 ChatGPT/GPT-4的技术基础-AI：人工智能

3.2.1机器学习- ML

3.2.2深度学习

3.2.3 神经网络

3.2.4自然语言处理-NLP

3.2.5 人工智能生成内容-AIGC

3.3 ChatGPT/GPT-4的关键技术-Transformer技术

3.3.1什么是Transformer？

3.3.2 Encoder-Decoder技术

3.3.3 Transformer分类模型

3.3.4 Transformer算法-GTP3.5预训练模型

3.3.5预训练模型-自然语言理解

3.3.6预训练模型-长序列建模

3.3.7预训练模型-模型优化

3.3.8 Transformer算法流程

3.3.9 问题:Transformer算法的改进及主要优点是什么？

3.4 ChatGPT的关键技术-GPT：预训练生成模型

3.5 ChatGPT的关键技术-LLM：大型语言模型

3.6 ChatGPT的关键技术-RLHF:基于人类反馈的强化学习

3.7 ChatGPT的关键技术-数据标注

3.8 GPT-4的关键技术

3.8.1多模态生成模型及关键技术

3.8.2预训练语言模型及关键技术

3.8.3预训练图像模型及关键技术

3.8.4预训练音频模型及关键技术

3.8.5预训练视频模型及关键技术

3.8.6多模态融合关键技术

4.AIGC概念诠释与关键能力及创作工具

4.1AIGC的概念及关键能力

4.1.1 什么是AIGC？

4.1.2 AIGC的类型

4.1.3 AIGC的关键能力

4.2 AIGC的关键技术

4.2.1人工智能生成文本

4.2.2人工智能生成图形、图像

4.2.3人工智能生成音频

4.2.4人工智能生成视频

4.3 AIGC的体系架构及组成

4.4 AIGC的应用场景

4.5 AIGC创作工具介绍

5.ChatGPT与AIGC通用大模型

5.1通用大模型应用现状与发展

5.2国外主要通用大模型分析

5.2.1Transformer语言模型架构及功能

5.2.2微软旗下OpenAI大模型架构及功能

5.2.3谷歌大模型架构及功能

5.2.4Meta大模型架构及功能

5.2.5英伟达大模型架构及功能

5.2.6其他公司或机构布局

5.3我国主要通用大模型分析

5.3.1国内大模型发展

5.3.2华为盘古大模型架构及功能

5.3.3科大讯飞星火大模型架构及功能

5.3.4百度文心大模型架构及功能

5.3.5腾讯混元大模型架构及功能

5.3.6阿里通义大模型架构及功能

5.3.7其他公司或机构布局

6.   ChatGPT基本功能及使用体验

6.1 ChatGPT的基本功能及特征

6.2 ChatGPT的基本功能-语言处理功能及描述

文本生成、文本补全、文本分类、文本校正、诗歌生成、内容创建、问答、翻译、摘要、改写、情感分析、聊天机器人等

6.3 ChatGPT的高级功能-高端应用功能及描述

编写和调试计算机程序、程序修改、模拟Linux系统、企业策划、方案设计、项目咨询、文学创作、撰写演讲提纲、撰写分析报告、金融分析、工业自动化、医学诊断、教育、供应链管理、销售和营销、法律应用、科学研究等。

6.4 ChatGPT使用体验及效果评估

7.   ChatGPT/AIGC应用场景案例

7.1       ChatGPT/GPT-4/AIGC应用总体思路：运用ChatGPT/GPT-4/AIGC技术方案及思想赋能行业数智化转型及落地实施

7.2 ChatGPT/GPT-4/AIGC应用场景及行业领域分析

7.3案例： ChatGPT+机器人场景应用方案及布局

7.3.1 ChatGPT生成式预训练模型升级各行业机器人

7.3.2 ChatGPT+行业机器人赋能行业应用

7.4 案例：ChatGPT聊天机器人+智慧家庭应用方案及布局

7.4.1 ChatGPT聊天机器人精心陪伴老人

7.4.2 ChatGPT聊天机器人陪伴儿童成长

7.5案例：基于ChatGPT聊天机器人的智能客服应用

7.6 案例：ChatGPT/GPT-4+工业场景应用方案及布局

7.6.1 ChatGPT/GPT-4+生成式预训练模型+专家系统融合应用

7.6.2 ChatGPT/GPT-4+生成式预训练模型优化专家系统

7.6.3 ChatGPT/GPT-4预训练优化模型提高产品质检效率

6.6.4 ChatGPT/GPT-4预训练优化模型提高设备预测性维护的能力

7.6.5 ChatGPT/GPT-4预训练优化模型提高设备精准故障定位的能力

7.7ChatGPT/GPT-4+农业场景应用方案及布局

7.8 ChatGPT/GPT-4+医疗场景应用方案及布局

7.9 ChatGPT/GPT-4+教育场景应用方案及布局

7.10 ChatGPT/GPT-4+金融场景应用方案及布局

7.11 ChatGPT/GPT-4+展览宣传场景应用方案及布局

7.12 ChatGPT/GPT-4+新媒体场景应用方案及布局

模块七：算力篇-ChatGPT算力需求及算力网络

8.   算力篇-ChatGPT算力需求及算力网络

8.1  人工智能（AI）复杂算法的算力需求分析

8.1.1 人工智能不同算法的算力需求分析

8.1.2 ChatGPT/GPT-4算力需求分析

8.1.3 ChatGPT/GPT-4算力需求举例

8.2算力的概念及量纲

8.3 算力的分类

8.3.1基础算力（基于CPU芯片）

8.3.2 智能算力（基于AI芯片，包括GPU/DPU/FPGA/ASIC芯片等）

8.3.3 超算算力（超级计算机、计算集群）

8.3.4 量子算力（量子计算机）

8.4 算效的概念

8.5 综合算力（算力+存力+运力）

8.6算力应用场景

8.7 算力部署策略-“东数西算”工程

8.7.1“东数西算”的概念

8.7.2 “东数西算”的应用场景

8.7.3 “东数西算”的数据处理

8.7.4 “东数西算”工程总体架构（8大枢纽中心、10大数据中心集群）

8.7.5数据中心业务类型

8.7.6数据中心集群建设规模

8.7.7 “东数西算”工程建设方案：联接力+运力+算力+智力

8.8算力部署方案-算力网络

8.8.1 算力网络的定义及技术特点

8.8.2 算力网络与现有通信网络的区别

8.8.3 算力网络的工作原理及业务流程

8.8.4 算力网络的标准架构与接口

8.8.5 算力网络系统架构与组成

8.8.6 算力网络的建设方案

8.9 基于“东数西算”工程的ChatGPT/GPT-4部署策略-安全、高可靠运行等

8.9.1 西部数据中心-ChatGPT/GPT-4大模型建模与训练

8.9.1 东部数据中心-ChatGPT/GPT-4推理服务等

8.10 基于“算力网络”的ChatGPT/GPT-4部署策略-海量数据处理、超级算力、高可靠、低时延、安全等

模块八：产业篇-AIGC/GPT产业发展及商业模式

9. AIGC/GPT产业发展及投资分析

9.1 AIGC/GPT产业生态构建与参与角色

9.2  AIGC/GPT涉及的上下游产业链分析

9.2.1 算力相关产业分析（AI芯片/GPU/DPU/FPGA/ASIC芯片等，服务器、数据中心、云计算、边缘计算等）

9.2.2 算法服务相关产业分析

9.2.3 算力网络相关产业分析

9.2.4自然语言处理（NLP）相关产业分析

9.2.5人工智能生成内容（AIGC）相关产业分析

9.2.6数据标注相关产业分析

9.2.7 AIGC/GPT下游应用场景相关产业分析（智能客服、搜索引擎、图像、文字、代码生成等）

9.2.8 AIGC/GPT产业发展的切入点及路径分析

9.2.9 AIGC/GPT对我国AI技术和产业发展的示范效应分析

9.2.10 AIGC/GPT产业发展市场前景分析

9.3 AIGC/GPT产业投资机会及方向分析

9.4 我国AIGC/GPT相关上市公司核心竞争力及投资分析

10. AIGC/GPT商业模式及商机挖掘

10.1 AIGC/GPT商业模式架构-MaaS（模型即服务）

10.1.1 什么是MaaS（模型即服务）？

10.1.2 MaaS（模型即服务）架构

10.1.3 MaaS（模型即服务）架构基座-大模型

10.1.4 MaaS（模型即服务）整体产业架构

10.1.5 MaaS（模型即服务）商业模式的核心：“模型→单点工具（如ChatGPT）→应用场景”的服务路径

10.2 AIGC/GPT的商业模式

10.2.1 订阅制收费模式-直接收费

10.2.2 通过API接口提供技术服务-赋能收费（根据API的使用量和质量级别收取费用）

（1）提供大模型服务-赋能行业应用

（2）许可证销售服务

10.3 案例：Hugging Face商业模式

10.3.1 AutoTrain模式

10.3.2 Interface API & Infinity模式

10.3.3 Private Hub模式

10.3.4 Expert Support模式

10.3 AIGC/GPT的商机挖掘-赋能行业应用