課程描述INTRODUCTION
日程安排SCHEDULE
課程大綱Syllabus
大模型技術(shù)培訓(xùn)
第一天:基礎(chǔ)篇與技術(shù)概覽
· 上午(3小時(shí))
o 大模型技術(shù)基礎(chǔ)與*進(jìn)展
大模型的定義與關(guān)鍵技術(shù)概覽
生成式人工智能(AIGC)概念
ChatGPT歷史與發(fā)展
一些關(guān)鍵技術(shù)
人工智能實(shí)驗(yàn)環(huán)境的搭建
機(jī)器學(xué)習(xí)環(huán)境與深度學(xué)習(xí)環(huán)境
Python編程與數(shù)據(jù)科學(xué)工具庫(kù)介紹
GPU與cuda
深度學(xué)習(xí)框架:PyTorch
ChatGPT模型背后的NLP基礎(chǔ)知識(shí)
深度學(xué)習(xí)算法基礎(chǔ)
MLP與CNN、RNN
特殊字符、分詞與停用詞處理技術(shù)
詞向量與Embedding
介紹大模型前沿應(yīng)用
文心一言、通義千問(wèn)等
Midjourney等
o 企業(yè)應(yīng)用場(chǎng)景案例分析
金融機(jī)構(gòu)中的智能風(fēng)險(xiǎn)評(píng)估系統(tǒng)案例
教育機(jī)構(gòu)的個(gè)性化學(xué)習(xí)路徑推薦系統(tǒng)案例
· 下午(3小時(shí))
o 大模型的核心技術(shù)深入
Transformer架構(gòu)的深入解析與優(yōu)化
Transformer中的block
自注意力機(jī)制與多頭注意力
位置編碼(為什么可以拋棄RNN)
Batch Norm與Layer Norm
解碼器的構(gòu)造
chatGPT的原理介紹
指示學(xué)習(xí)與InstructGPT
相關(guān)數(shù)據(jù)集
有監(jiān)督微調(diào)(SFT)
從人類反饋中RL的思路
獎(jiǎng)勵(lì)建模(RM)
運(yùn)用PPO改進(jìn)
o 企業(yè)應(yīng)用場(chǎng)景案例分析
法律行業(yè)的法條自動(dòng)生成案例
法律行業(yè)的智能合同審核與咨詢案例
o 實(shí)戰(zhàn)演練:基礎(chǔ)模型的使用與體驗(yàn)
演示如何使用*的開源大模型ChatGLM3
學(xué)員動(dòng)手操作,體驗(yàn)?zāi)P偷幕竟δ芗?特性
第二天:進(jìn)階篇與實(shí)戰(zhàn)應(yīng)用
· 上午(3小時(shí))
o 大模型的微調(diào)和優(yōu)化
ChatGLM部署
ChatGLM3-6B介紹
ChatGLM3搭建流程
應(yīng)用場(chǎng)景(工具調(diào)用、代碼執(zhí)行)
權(quán)重量化
ChatGLM3原理
Code Interpreter
多模態(tài)CogVLM
WebGLM搜索增強(qiáng)
大模型訓(xùn)練的高效算法與優(yōu)化技術(shù)
LoRA
Prefix Tuning
P-Tuning
Prompt Tuning
freeze
o 企業(yè)應(yīng)用場(chǎng)景案例分析
金融科技中的自動(dòng)化報(bào)告生成與分析案例
醫(yī)療研究中的文獻(xiàn)檢索與知識(shí)提取案例
教育技術(shù)中的智能教學(xué)輔助工具案例
· 下午(3小時(shí))
o 實(shí)戰(zhàn)演練:大模型的微調(diào)實(shí)踐
演示ChatGLM3微調(diào)過(guò)程
數(shù)據(jù)準(zhǔn)備
模型調(diào)整
結(jié)果評(píng)估
學(xué)習(xí)LangChain所需的知識(shí)儲(chǔ)備
詞嵌入與語(yǔ)義空間
高維向量的快速模糊匹配
局部敏感哈希(LSH)
向量數(shù)據(jù)庫(kù)
建立企業(yè)級(jí)對(duì)話系統(tǒng)
LangChain的原理
大模型利用的難點(diǎn)與痛點(diǎn)
Langchain的基本思路
關(guān)鍵組件
o 大模型的部署與運(yùn)維
模型部署的*實(shí)踐,包括容器化、云服務(wù)等
ChatGLM.cpp等
Docker簡(jiǎn)介
K8s簡(jiǎn)介
運(yùn)維中的監(jiān)控、調(diào)優(yōu)與安全性管理
o 企業(yè)應(yīng)用場(chǎng)景案例分析
企業(yè)內(nèi)部的知識(shí)管理系統(tǒng)與智能助手案例
衛(wèi)生行業(yè)的智能助手
大模型技術(shù)培訓(xùn)
轉(zhuǎn)載:http://www.hanweifang.com.cn/gkk_detail/301294.html
已開課時(shí)間Have start time
- 葉梓
預(yù)約1小時(shí)微咨詢式培訓(xùn)
IT相關(guān)內(nèi)訓(xùn)
- 金融科技賦能業(yè)務(wù) 李福東
- Python數(shù)據(jù)建模與模型 傅一航
- 業(yè)務(wù)與IT融合創(chuàng)新的方法與 李福東
- Python基礎(chǔ)與基礎(chǔ)應(yīng)用 郭振杰
- IT架構(gòu)設(shè)計(jì)方法論及行業(yè)實(shí) 李福東
- Python數(shù)據(jù)建模及模型 傅一航
- Mysql基礎(chǔ)使用 郭振杰
- IPA應(yīng)用實(shí)戰(zhàn) 郭振杰
- 數(shù)據(jù)庫(kù)基礎(chǔ)及實(shí)操(MySQ 郭振杰
- SQL語(yǔ)句基礎(chǔ)使用 郭振杰
- Java企業(yè)級(jí)后臺(tái)開發(fā) 郭振杰
- Java微服務(wù)開發(fā) 郭振杰