李勇：AI大模型应用开发理论及实战

单元

大纲

内容

单元一

AI大模型技术概览

一．大模型的定义与特点

1.1 大模型的概念及发展历程

1.2 大模型的技术架构与核心原理

二．大模型与其他AI技术的比较

2.1 传统AI技术的局限性

2.2 大模型在数据处理、学习能力等方面的优势

三．大模型的应用前景及挑战

3.1 大模型在各行业的应用潜力

3.2 技术发展面临的挑战与机遇

单元二

大模型中的PROMPT语言学习

认知：把AI当人看

原理：

1） LLM生成原理

2） 高质量PROMPT原理

实战工具：

1） 基本要素

2） 格式约束

3） 风格控制

4） 思维链，思维树以及自洽性

5） 指令调优

6） Coze等工具的使用

单元三

大模型中的API

认知：自然语言链接一切

原理：用微调提升prompt的稳定性

实战工具及要素：

1） 生成式API

2） 对话式API

3） Assistants AP|

4） Actions

5） Embeddings

6） Fine-tuning

7） FunctionCalling

单元四

大模型中的RAG

认知：从关键词搜索转为向量搜索

原理：Embeddings

实用工具：

1） 词向量

2） 句子向量

3） 篇章向量

4） 相似度计算

5） 向量数据库，向量模型，向量模型部署

单元六

大模型中的工具栈

认知：

1） 原生 API、LangChain和 SK 如何选型

2） 多框架组合开发

3） Prompt 和代码分离

4） 微软的SemanticPlugins 战略

原理：AGENT

实用工具：

1) LangChain & LangChain.js:LCEL,llm,chatmodel,prompttemplate

2)Semantic&Kernel: Connectors,Plugins,Planners,SemanticFunctions

单元七：

大模型中的FINE-TUNING

1.认知：微调仍是炼丹

2.原理：机器学习，大模型训练，微调

3.实战工具：求解器，损失函数，超参，过拟合/欠拟合

学习率

单元八

多模态中的大语言

认知：传统CV仍有价值

原理：特征对其

实战工具：

VisionTransformer，CLIP，Q-Former，GPT-4V，Gemini

LLaVA

图像生成模型：DM,SD,MJ，DALLE,LORA

单元九

大模型中的产品设计

1.认知：Copilot 模式vs. Agent 模式，产品经理调prompt

2.原理：商业逻辑，用户体验

3.实战工具：需求分析，生成式 AI 产品设计原则，Collaborative UX，draw.io，产品迭代，产品运营

业务沟通

单元十

大模型产品的交付

认知：向量型数据库选型原理

实战工具：GPU/云厂商选型，向量数据库选型，私有化部署，推理性能优化，高可用架构，内容安全，算法备案