avatar
文章
17
标签
16
分类
11
首页
归档
标签
图片
分类
友链
Logo好急好急的Hexo博客LLM Post-training
首页
归档
标签
图片
分类
友链

LLM Post-training

发表于2025-11-30|更新于2025-11-30|LLM
|浏览量:

本博客将会聚焦于LLM的后训练过程,主要参考为https://github.com/mbzuai-oryx/Awesome-LLM-Post-training。针对LLM的预训练过程,可参考https://www.haojihaoji.space/2025/07/17/CS336/

文章作者: Linghao Zhang
文章链接: http://zlh123123.github.io/2025/11/30/LLM-Post-training/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 好急好急的Hexo博客!
LLM
cover of previous post
上一篇
Github Page更换新域名后如何更新配置
仓库界面操作 在仓库中和本地的CNAME文件中修改为新的域名; 在域名商操作都完成后,需要等一段时间(大致一小时)后在Setting中的Page项中做DNS校验,然后github会自动配置https服务,等着就行了。 域名商操作 在域名商的DNS解析服务中,添加如下项: Type Name Value A @ 185.199.108.153 A @ 185.199.109.153 A @ 185.199.110.153 A @ 185.199.111.153 CNAME www zlh123123.github.io
cover of next post
下一篇
CS336
这是25年春CS336的课堂笔记和作业,课程网站为Stanford CS336 | Language Modeling from Scratch,课程视频可在哔哩哔哩上观看:斯坦福CS336:大模型从0到1。 此课程内容涵盖分词、模型架构、系统优化、数据处理和模型对齐等方面,通过从零开始构建语言模型,深入理解NLP和AI的核心技术。 我的作业备份仓库:zlh123123/CS336_spring2025: CS336的作业与课程笔记 课程内容 阶段 对应视频课次 核心技术点 Assignments 基础架构 第 1 - 4 讲 字节对齐分词 (BPE Tokenization) Transformer (Attention/MLP/Norm) 架构AdamW 优化器与混合精度训练MoE (混合专家) 架构 Assignment1 系统与算子 第 5 - 8 讲 GPU 显存层次结构与算力瓶颈 Triton 内核编程:FlashAttention-2分布式训练:数据/张量/流水线并行 Assignment2 Scaling Law 第 9, 11...
相关推荐
cover
2025-07-17
CS336
这是25年春CS336的课堂笔记和作业,课程网站为Stanford CS336 | Language Modeling from Scratch,课程视频可在哔哩哔哩上观看:斯坦福CS336:大模型从0到1。 此课程内容涵盖分词、模型架构、系统优化、数据处理和模型对齐等方面,通过从零开始构建语言模型,深入理解NLP和AI的核心技术。 我的作业备份仓库:zlh123123/CS336_spring2025: CS336的作业与课程笔记 课程内容 阶段 对应视频课次 核心技术点 Assignments 基础架构 第 1 - 4 讲 字节对齐分词 (BPE Tokenization) Transformer (Attention/MLP/Norm) 架构AdamW 优化器与混合精度训练MoE (混合专家) 架构 Assignment1 系统与算子 第 5 - 8 讲 GPU 显存层次结构与算力瓶颈 Triton 内核编程:FlashAttention-2分布式训练:数据/张量/流水线并行 Assignment2 Scaling Law 第 9, 11...
avatar
Linghao Zhang
文章
17
标签
16
分类
11
Follow Me
公告
欢迎来到我的博客,这里是我的个人博客,主要用来记录一些学习笔记和生活感悟,希望能给你带来一些帮助。
最新文章
口令复用综述
口令复用综述2026-01-21
Github Page更换新域名后如何更新配置
Github Page更换新域名后如何更新配置2026-01-01
LLM Post-training
LLM Post-training2025-11-30
CS336
CS3362025-07-17
排序算法
排序算法2025-07-09
©2022 - 2026 By Linghao Zhang
框架 Hexo|主题 Butterfly