叶梓：ChatGPT原理与实践

叶梓注册讲师 353查看

课程概要

培训时长 : 2天

课程价格 : 扫码添加微信咨询

课程分类 : 人工智能

课程编号 : 9967

联系老师

适用对象

理工科本科及以上，且至少了解一门编程语言。

课程介绍

【课程简介】

本课程旨在通过实际案例展示ChatGPT相关模型的具体应用场景及实践技巧，从而帮助学习者深入了解和掌握ChatGPT的概念和更广泛的应用，深入理解其工作方式，包括其基础知识、核心算法和实现方式，掌握其在各行业领域中的应用情况等。

该课程适合于对ChatGPT技术感兴趣的学习者，从初学者到进阶者均可受益。经过本课程的学习，获得相关技术实战经验，通过一系列的实践案例提高利用chatGPT解决实际问题能力。

【课程时长】

2天（6小时/天）

【课程对象】

理工科本科及以上，且至少了解一门编程语言。

【课程大纲】（培训内容可根据客户需求调整）

Day1上午

Transformer基础

1、你需要的仅仅是“注意力”

2、Transformer中的block

3、自注意力机制

4、多头注意力

5、位置编码（抛弃RNN）

6、Batch Norm与Layer Norm

7、解码器的构造

初代GPT

“独角兽”的威力
GPT的内部架构
基于Transformer的改造
自注意力机制的改进

GPT的演进

1、GPT2

2、GPT3

3、GPT3.5

案例实践与练习

Day1下午

强化学习基础

马尔科夫奖励/决策过程
状态行为值函数
Bellman方程
DP、MC、TD三者的关系
策略梯度方法
信赖域系方法背景
PPO方法

chatGPT的原理介绍

1、指示学习与InstructGPT

2、相关数据集

3、有监督微调（SFT）

4、从人类反馈中RL的思路

5、奖励建模（RM）

6、PPO

案例实践与练习

Day2上午

训练自用的chatGPT

1、基于chatGLM的微调

2、LoRA

3、Prefix Tuning

4、P-Tuning

5、Prompt Tuning

6、权重量化

7、构建训练数据集

羊驼系列大模型

1、LLaMA

2、Alpaca

3、BELLE

4、RedPajama 数据集

Day2下午

chatGPT及其各种仿制品

1、chatGPT的实测效果

2、文心一言与文心一格

3、ChatGPT的其他平替

4、ChatExcel

5、ChatPDF

chatGPT的领域应用

1、IT领域

2、金融、保险领域

3、医疗卫生领域

4、教育领域

叶梓老师的其他课程

• 叶梓：基于人工智能的内容生成（AIGC）: 【课程简介】无论是火遍全网的AI绘画，还是震惊世人的ChatGPT，都属于AIGC（基于人工智能的内容生成）这一概念。AIGC并不是一个全新的概念，它最早出现在深度学习模型“对抗生成网络”GAN的应用中，被誉为“21世纪最强大的算法模型之一” ，后续发展起来的扩散模型，以及自然语言领域BERT、GPT等都是典型的AIGC模型。本课程以AIGC发展历程为主线，由浅入深介绍了AIGC相关模型的技术和应用场景，可以作为AIGC领域学习者的入门到进阶级课程。【课程时长】6天（6小时/天）【课程对象】理工科本科及以上，且至少了解一门编程语言。【课程大纲】（培训内容可根据客户需求调整）时间内容案例实践与练习Day1上午综述与准备 AIGC综述AIGC的概念AIGC的应用场景AIGC的知识地图准备工作概念与术语Python（Anaconda）的安装Pycharm的安装与使用Jupyter Notebook的安装与使用Tensorflow与pytorch的安装Opencv、Sklearn工具包的运用案例实践：Anaconda安装Pip install的技巧Tensorflow-GPU的安装pytorch的安装Jupyter Notebook的使用Opencv的基本例子Day1下午基础模型基础的基础：神经网络人工神经元及感知机模型Sigmoid激活函数前向神经网络的架构梯度下降误差反向传播详解基础的基础：性能评价指标（5）精确率；P、R与F1ROC与AUC对数损失泛化性能评价：k折验证验证案例实践：手算神经网络BP算法只用numpy，手推BPNN Day2上午深度学习基础深度学习基础连接主义的兴衰深度学习与神经网络的区别与联系目标函数与激励函数学习步长权重初始化权重衰减（Weight Decay）梯度下降的方法避免过适应图像处理基础：用于分类的CNN图像分类概述AlexNetZF-Net卷积层的误差反向传播池化层的误差反向传播VGG（5层变为5组）迁移学习GoogLenet和Inception模块模型退化与ResNetDenseNet（充分利用特征）最新的efficientnet 案例实践：通过深度BP网络实现手写数字的识别各种梯度下降方法的实战效果Batch normalization的实战效果VGG各层的可视化展现迁移学习：识别猫和狗Resnet用于图像分类Day2下午图像生成模型 VAEGAN早期图像生成模型：VAE图像生成模型AEVAEDAE 图像生成经典模型：GAN生成对抗网络（GAN）KL散度与JS散度改进的GAN：DCGAN加上约束：infoGAN根本上解决：Wasserstein GANZoo of GAN案例实践：GAN生成的数字VAE生成的数字babyGAN：特朗普的孩子？styleGAN：查无此人 Day3上午图像分类 CNN 图像分类CNN自然语言处理基础（1）语言模型Bi-Gram与N-Gram机械分词与统计分词词性标注命名实体识别情感分析自然语言生成基础：RNNRNN基本原理LSTM、GRU双向循环神经网络编码器与解码器结构seq2seq模型Attention图片->文字的生成：NIC 案例实践：jieba的分词效果交易数据的预测；《绝代双骄》人物关系分析SnowNLP：褒义的中性词Show and tell模型效果Day4上午自然语言处理自然语言生成基础：词向量W2V:CBOWW2V:skip-gramW2V:Hierachical SoftmaxW2V:Negative Sampling 自然语言生成进阶：Transformer所需的仅仅是“注意力”Transformer中的block自注意力机制多头注意力位置编码（抛弃RNN）Batch Norm与Layer Norm解码器的构造案例实践：藏头诗生成；《绝代双骄》分析SnowNLP：褒义的中性词Word2vec代码解读手撕TransformerDay4下午预训练模型基础自然语言生成进阶：BERTBERT整体架构Masked-LMNext Sentence Prediction改造下游任务WordPiece作为输入哪些改进起作用？自然语言生成进阶：GPT“独角兽”的威力GPT的内部架构基于Transformer的改造自注意力机制的改进GPT的应用场景GPT-3最新的GPT-3.5 基于图像补全的模型：MAEiGPTVision Transformer（ViT）BEiTMAE令人惊奇的效果MAE详解案例实践：BERT代码解读BERT下游任务的改造让GPT写一篇散文GPT会做小学应用题吗？MAE的效果 Day5上午强化学习强化学习基础agent的属性马尔科夫奖励/决策过程exploration and exploitation状态行为值函数Bellman期望方程最优策略强化学习经典方法策略迭代与价值迭代蒙特卡洛法时序差分法DP、MC、TD的关系案例实践：格子世界谷底的小车倒立摆blackjackDay5下午深度强化学习深度强化学习值函数的参数化表示值函数的估计过程深度学习与强化学习的结合基础的DQN 方法Double DQNPrioritized ReplayDueling Network 基于信赖域的深度强化学习信赖域系方法背景信赖域系方法发展路线图TRPO方法PPO方法案例实践：井字棋笨鸟先飞：DQNDay6上午最新生成模型扩散模型（图像生成最新模型）综述1、扩散模型与GAN、VAE的关系2、扩散模型常用算法3、扩散模型的应用领域扩散模型之DDPM1、整体流程2、前向与还原步骤3、训练与采样过程4、模型结构5、实验效果扩散模型之DDIM1、前提条件2、优化推理与优化前置条件4、实验效果扩散模型之CLIP1、基本概念2、模型架构3、实验效果案例实践：DDPM的效果CLIP的效果Day6下午最新生成模型及chatGPT 扩散模型之DALLE-21、整体架构2、PIROR模块与DECODER模块4、效果对比扩散模型之Stable-Diffusion1、整体架构2、潜在表达得生成模型3、条件化机制4、实验效果 chatGPT（自然语言生成最新模型）1、技术背景2、主要特点3、ChatGPT的训练过程4、InstructGPT与PPO5、WebGPT和CICERO6、chatGPT的应用领域7、chatGPT引发的讨论案例实践：异想天开的DALL-E 2匪夷所思的chatGPT其他生成模型效果演示

• 叶梓：Python、知识图谱与深度学习培训: 【课程简介】人工智能的浪潮正在席卷全球，各种培训课程应运而生，但真正能让学员系统、全面掌握知识点，并且能学以致用的实战课程并不多见。本课程包含基于python的数据分析、深度学习、知识图谱和的重要概念及常用算法（决策树、关联规则、聚类、贝叶斯网络、神经网络、支持向量机、隐马尔科夫模型、遗传算法、CNN、RNN、GAN等），以及人工智能领域当前的热点。通过8天的系统学习、案例讲解和动手实践，让学员能初步迈入机器学习、深度学习和知识图谱的知识殿堂。【课程收益】掌握Python开发技能；掌握深度学习工具：TensorFlow、Keras、pytorch等；掌握基于python的数据分析知识；掌握数据挖掘与机器学习进阶知识；掌握深度学习的理论与实践；掌握知识图谱基本知识；为学员的后续项目应用提供针对性的建议。【课程特点】本课程力图理论结合实践，强调从零开始，重视动手实践；课程内容以原理讲解为根本，以应用落地为目标。课程通过大量形象的比喻和手算示例来解释复杂的机器学习理论，既能将原理充分讲懂讲透，也避免了繁复而枯燥的公式推导。【课程对象】计算机相关专业本科；或理工科本科，且至少熟悉一门编程语言。【主讲专家】叶梓，博士、高级工程师。2005年上海交通大学计算机专业博士毕业，主研方向为数据挖掘、机器学习、人工智能等。现为某大型上市软件企业的人工智能团队技术负责人。曾主持设计并搭建上海市卫计委卫生大数据平台、无锡市卫生大数据平台，在大数据、人工智能应用等方面有着丰富的工程实践经验。先后在SCI或EI期刊上发表论文4篇，在中文核心期刊上发表论文近20篇，并被百度学术收录。2011年获中国医院协会科技创新一等奖。【学员基础】具备初步的IT基础知识【课程大纲】（培训内容可根据客户需求调整）时间内容案例实践与练习Day1上午基于python的实验环境实验环境搭建anaconda包的安装pip install的技巧通过anaconda配置多个环境Jupyter Notebook的使用绘图工具包matplotlibopencv的安装Tensorflow的安装Pytorch的安装paddlepaddle的安装案例实践：python安装opencv安装与验证Tensorflow安装与验证Pytorch安装与验证paddlepaddle安装与验证 Day1下午Python基础 Python开发概述Python的基本语法引入外部包常用的数据结构定义函数Python中的面向对象编程文件读写访问数据库数据预处理数据清理规范化模糊集粗糙集无标签时：PCA有标签时：Fisher线性判别数据压缩（DFT、小波变换）回归与时序分析线性回归非线性回归logistics回归案例实践：PCA的实验DFT的实验回归的实验 Day2上午基于python的数据分析决策树模型分类和预测熵减过程与贪心法ID3C4.5其他改进方法决策树剪枝聚类监督学习与无监督学习K-means与k-medoids层次的方法基于密度的方法基于网格的方法孤立点分析案例实践：决策树的实验鸢尾花数据的聚类手肘法分析NBA球队的最佳聚类个数各种聚类方式的图形化展示 Day2下午基于python实现的经典算法关联规则频繁项集支持度与置信度提升度Apriori性质连接与剪枝性能评价指标（5）精确率；P、R与F1ROC与AUC对数损失泛化性能评价：k折验证验证案例实践：超市购物篮——关联规则分析朴素贝叶斯案例：皮马印第安人患糖尿病的风险Day3上午知识图谱概念知识图谱综述自然语言处理概念回顾知识表示与知识抽取面向非结构化的数据知识抽取实体消歧与链接图数据库介绍实体对齐方法知识融合知识推理、搜索与知识问答早期知识图谱概念知识推理本体推理方法本体推理工具语义搜索RDF与RDFSOWL与OWL2SPARQL 实践：Neo4j的安装知识推理模型 Day3下午知识图谱存储知识图谱存储知识存储模型图数据库选型Neo4j开发环境部署Neo4j-可视化操作Neo4j-CQL语法基础Neo4j-完整案例操作实战Neo4j系统管理Python与Neo4j的集成实践：Neo4j的安装Neo4j的基本操作基于Neo4j的查询Python与Neo4j的集成Day4上午知识图谱自动抽取知识图谱自动抽取面向文本的知识抽取DeepDive关系抽取实践开放域关系抽取实体消歧与链接知识规则挖掘知识图谱表示学习基于DL的知识图谱自动抽取基于深度学习的实体识别基于深度学习的属性链接实践：基于百科数据的知识抽取知识抽取的DL模型 Day4下午KBQA完整体系 KBQA完整体系知识问答系统知识问答系统基本流程知识问答系统主流方法开源的问答系统基于知识图谱问答系统综合案例完整的基于KG的问答系统（KBQA）Day5上午深度学习基础 BP神经网络人工神经元及感知机模型Sigmoid激活函数前向神经网络的架构梯度下降误差反向传播详解支持向量机“双螺旋”问题基本模型与惩罚项求解对偶问题核函数：映射到高维从二分类到多分类用于连续值预测的支持向量机案例实践：皮马印第安人糖尿病风险：验证多种模型绘制ROC并计算AUC手算神经网络BP算法只用numpy，手推BPNN Day5下午深度学习基础与CNN 深度学习基础连接主义的兴衰深度学习与神经网络的区别与联系目标函数与激励函数学习步长权重初始化权重衰减（Weight Decay）梯度下降的方法：Adagrad \ RMSprop \ Adam避免过适应图像分类CNN图像分类概述AlexNet与ZF-Net卷积层的误差反向传播池化层的误差反向传播VGG（5层变为5组）迁移学习GoogLenet和Inception模块模型退化与ResNetDenseNet（充分利用特征）最新的efficientnet 案例实践：SVM实现人脸识别应用通过深度BP网络实现手写数字的识别各种梯度下降方法的实战效果Batch normalization的实战效果案例实践：VGG各层的可视化展现迁移学习：识别猫和狗Resnet用于图像分类 Day6上午目标检测二阶段目标检测目标检测项目介绍R-CNNSPPNET（全图卷积、SPP层）Fast-RCNN（多任务）Faster-RCNN（RPN）R-FCN 一阶段目标检测（2）SSDYOLO-v1（一切都是回归）YOLO -v2（9000）YOLO -v3（多尺度）YOLO -v4YOLO -v5 案例实践：基于Faster-RCNN的通用目标检测示例改造成“血细胞识别”系统 Day6下午图像分割与NLP初步图像分割（3）全卷积网络（FCN）上采样的三种实现方式膨胀卷积CRFDeepLab V1~V3 自然语言处理初步（2）语言模型Bi-Gram与N-Gram机械分词与统计分词词性标注命名实体识别情感分析；案例实践：基于YOLO v3的通用目标快速检测示例基于YOLO v3的视频检测基于YOLO v5的目标检测DeepLab的示例 Day7上午RNN与W2V 循环神经网络（1）RNN基本原理LSTM、GRU双向循环神经网络编码器与解码器结构seq2seq模型AttentionNIC模型词向量（3）W2V:CBOWW2V:skip-gramW2V:Hierachical SoftmaxW2V:Negative Sampling 案例实践：股票交易数据的预测；藏头诗生成；《绝代双骄》中，谁和小鱼儿最相似？SnowNLP：褒义的中性词Word2vec代码解读 Day7下午预训练模型基础 Transformer所有你需要的仅仅是“注意力”Transformer中的block自注意力机制多头注意力位置编码（抛弃RNN）Batch Norm与Layer Norm解码器的构造 BERTBERT整体架构Masked-LMNext Sentence Prediction改造下游任务WordPiece作为输入哪些改进起作用？案例实践：手推TransformerBERT代码解读BERT下游任务的改造 Day8上午GPT、GAN GPT“独角兽”的威力GPT的内部架构基于Transformer的改造自注意力机制的改进GPT的应用场景最新的GPT-3 GAN生成对抗网络（GAN）KL散度与JS散度改进的GAN：DCGAN加上约束：infoGAN根本上解决：Wasserstein GAN案例实践：实现一个对话机器人让GPT写一篇散文案例实践：计算机想象的数字特朗普的孩子 Day8下午强化学习强化学习初步agent的属性马尔科夫奖励/决策过程exploration and exploitation状态行为值函数Bellman期望方程最优策略策略迭代与价值迭代蒙特卡洛时序差分法深度强化学习值函数的参数化表示值函数的估计过程深度学习与强化学习的结合基础的DQN 方法Double DQNPrioritized ReplayDueling Network 案例实践：格子世界机器人走迷宫谷底的小车倒立摆笨鸟先飞：DQN 【授课环境】讲课环境要能上网

• 叶梓：Python深度学习与知识图谱培训（基础部分）: 【课程简介】人工智能的浪潮正在席卷全球，各种培训课程应运而生，但真正能让学员系统、全面掌握知识点，并且能学以致用的实战课程并不多见。本课程包含基于python的数据分析、深度学习的重要概念及常用算法（决策树、关联规则、聚类、贝叶斯网络、神经网络、支持向量机、隐马尔科夫模型、遗传算法、CNN等），以及人工智能领域当前的热点。通过3天的系统学习、案例讲解和动手实践，让学员能初步迈入机器学习、深度学习的知识殿堂。【课程收益】掌握Python开发技能；掌握深度学习工具：TensorFlow、Keras、pytorch等；掌握基于python的数据分析知识；掌握数据挖掘与机器学习进阶知识；掌握深度学习的基础理论与实践；【课程特点】本课程力图理论结合实践，强调从零开始，重视动手实践；课程内容以原理讲解为根本，以应用落地为目标。课程通过大量形象的比喻和手算示例来解释复杂的机器学习理论，既能将原理充分讲懂讲透，也避免了繁复而枯燥的公式推导。【课程对象】计算机相关专业本科；或理工科本科，且至少熟悉一门编程语言。【主讲专家】叶梓，博士、高级工程师。2005年上海交通大学计算机专业博士毕业，主研方向为数据挖掘、机器学习、人工智能等。现为某大型上市软件企业的人工智能团队技术负责人。在大数据、人工智能应用等方面有着丰富的工程实践经验。先后在SCI或EI期刊上发表论文4篇，在中文核心期刊上发表论文近20篇，并被百度学术收录。【学员基础】具备初步的IT基础知识【课程大纲】（培训内容可根据客户需求调整）时间内容案例实践与练习Day1上午基于python的实验环境实验环境搭建anaconda包的安装pip install的技巧通过anaconda配置多个环境Jupyter Notebook的使用绘图工具包matplotlibopencv的安装Tensorflow的安装Pytorch的安装paddlepaddle的安装案例实践：python安装opencv安装与验证Tensorflow安装与验证Pytorch安装与验证paddlepaddle安装与验证 Day1下午Python基础 Python开发概述Python的基本语法引入外部包常用的数据结构定义函数Python中的面向对象编程文件读写访问数据库数据预处理数据清理规范化无标签时：PCA有标签时：Fisher线性判别数据压缩（DFT、小波变换）回归与时序分析线性回归非线性回归logistics回归案例实践：元组、列表、字典、集合PCA的实验DFT的实验回归的实验Day2上午基于python的数据分析决策树模型分类和预测熵减过程与贪心法ID3C4.5其他改进方法决策树剪枝聚类监督学习与无监督学习K-means与k-medoids层次的方法基于密度的方法基于网格的方法孤立点分析案例实践：决策树的实验鸢尾花数据的聚类手肘法分析NBA球队的最佳聚类个数各种聚类方式的图形化展示 Day2下午基于python实现的经典算法关联规则频繁项集支持度与置信度提升度Apriori性质连接与剪枝性能评价指标（5）精确率；P、R与F1ROC与AUC对数损失泛化性能评价：k折验证验证案例实践：超市购物篮——关联规则分析皮马印第安人患糖尿病的风险Day3上午深度学习基础 BP神经网络人工神经元及感知机模型Sigmoid激活函数前向神经网络的架构梯度下降误差反向传播详解支持向量机“双螺旋”问题基本模型与惩罚项求解对偶问题核函数：映射到高维从二分类到多分类用于连续值预测的支持向量机案例实践：皮马印第安人糖尿病风险：验证多种模型绘制ROC并计算AUC手算神经网络BP算法只用numpy，手推BPNNSVM实现人脸识别应用 Day3下午深度学习基础与CNN 深度学习基础连接主义的兴衰深度学习与神经网络的区别与联系目标函数与激励函数学习步长权重初始化权重衰减（Weight Decay）梯度下降的方法：Adagrad \ RMSprop \ Adam避免过适应图像分类CNN图像分类概述AlexNet与ZF-NetVGG（5层变为5组）迁移学习GoogLenet和Inception模块模型退化与ResNetDenseNet（充分利用特征）最新的efficientnet 案例实践：通过深度BP网络实现手写数字的识别各种梯度下降方法的实战效果Batch normalization的效果案例实践：VGG各层的可视化展现迁移学习：猫狗大战Resnet用于图像分类【授课环境】讲课环境要能上网