本模块聚焦大模型微调的底层原理，帮助学员建立完整的训练认知体系。课程将从“什么场景需要微调、什么场景适合 RAG”切入，深入解析预训练、全量微调、LoRA、QLoRA 等核心技术路线，并结合数据并行、模型并行、3D 并行等大规模训练架构进行讲解。通过本模块学习，学员不仅能理解微调为什么有效，更能掌握企业级大模型训练的核心技术逻辑，为后续项目实战奠定坚实基础。
本模块系统讲解当前大模型能力提升的关键技术——强化学习。从强化学习基础概念出发，逐步深入 PPO、RLHF、DPO、GRPO 等主流算法原理，帮助学员理解 ChatGPT、DeepSeek 等先进模型背后的训练机制。课程重点剖析人类反馈对齐与推理能力增强的实现逻辑，让学员掌握从监督微调到强化学习训练的完整技术演进路径，为后续奖励模型与 GRPO 项目实战做好理论铺垫。
数据决定模型能力上限。本模块围绕大模型训练中的数据工程展开，系统讲解预训练数据、SFT 数据、偏好数据、COT 数据等核心数据类型，以及不同阶段数据集的设计原则和构建方法。课程不仅介绍数据格式规范与工具链部署，还将带领学员亲手构建 SFT、COT 和偏好数据集，掌握从数据采集、清洗、标注到质量评估的完整流程，建立企业级数据工程能力。
本模块采用当前最热门的开源微调框架 Llama-Factory，带领学员完成从环境搭建到模型训练的完整闭环。课程涵盖 LoRA 微调、参数配置、TensorBoard 监控、模型评估等核心内容，并通过 Text2SQL 项目实战深入理解真实业务场景下的数据处理与模型优化流程。同时还将介绍 DeepSpeed 分布式训练技术，让学员具备独立完成大模型微调项目的实战能力。
很多企业知识库效果差，并非大模型能力不足，而是 Embedding 模型不够专业。本模块以医疗行业为案例，深入讲解领域 Embedding 模型微调方案。课程从 RAG 检索痛点分析开始，系统讲解模型选型、数据构建、训练策略和效果评估方法，并带领学员完成完整的微调实战。学习结束后，学员将掌握提升知识库召回率与检索准确率的核心技术手段。
随着 DeepSeek 的火爆，模型蒸馏已成为企业构建专属模型的重要技术路线。本模块将深入解析蒸馏与微调的本质区别，帮助学员理解如何将大模型能力迁移到小模型中。课程涵盖蒸馏流程设计、资源评估、全量微调工具部署、蒸馏数据集构建以及模型效果评测等内容。通过完整实战，学员将掌握构建行业专属推理模型的核心方法，打造真正属于企业自己的大模型。
本模块以真实金融行业项目为背景，完整复现企业级 SFT 微调项目的实施过程。从需求分析、模型选型、数据集构建，到 LoRA 微调、DeepSpeed 分布式训练、TensorBoard 监控及效果评估，全面覆盖项目落地全过程。课程特别强调工程化思维与企业实战经验，帮助学员掌握从 0 到 1 设计并交付行业大模型微调项目的能力。
奖励模型是强化学习阶段最关键的组成部分。本模块围绕金融场景奖励模型建设展开，系统讲解奖励数据集构建、Reward Model 选型、分布式训练环境搭建以及效果评估方法。同时深入介绍多机多卡、Ray 集群、分布式推理与分布式微调等企业级训练架构。通过完整项目演练，学员将掌握奖励模型从设计到上线的全流程实践经验。
作为当前最热门的强化学习技术之一，GRPO 已成为 DeepSeek 等推理模型的重要训练方案。本模块将带领学员从零实现完整的 GRPO 强化学习项目。课程涵盖方案选型、训练数据构建、环境部署、代码实现、训练流程演示及效果评估等核心内容。通过真实金融项目案例，帮助学员掌握大模型推理能力优化的关键技术，真正具备独立完成强化学习微调项目的实战能力。
选课、学习遇到问题？
扫码添加指导老师 1V1 帮助你！
添加后老师会第一时间解决你的问题
无门槛
登录后领取优惠补贴
