大模型原理入门

简介

• 来源：吴恩达《DeepLearning.AI》系列课程、Andrej Karpathy 的 "Neural Networks: Zero to Hero"
• 先修要求：Python 基础、线性代数与概率论基础（了解矩阵运算和条件概率即可）
• 课程难度：🌟🌟🌟
• 预计学时：20 小时 +

大型语言模型（LLM）是当今 AI 技术的基石。无论你想做提示工程、RAG 还是 Agent，理解大模型的基本原理都是必要的起点。本课程不会深入到论文级别的数学推导，而是聚焦于直觉理解——让你明白模型"为什么能说话"、"为什么会犯错"、"怎么调教它"。

传统 NLP 需要为每个任务（翻译、摘要、分类）训练专门模型。大模型的革命性在于：一个模型通吃所有语言任务，甚至能泛化到训练时没见过的任务。背后的核心是三件事：Transformer 架构、大规模预训练、人类反馈对齐（RLHF）。

课程资源

• 课程网站：DeepLearning.AI Short Courses
• 课程视频：Andrej Karpathy - Neural Networks: Zero to Hero（YouTube）
• 补充阅读：Andrej Karpathy - The Unreasonable Effectiveness of Recurrent Neural Networks

资源汇总

以下课程和教程覆盖了从神经网络基础到大模型原理的完整路径：

入门必看（建立直觉）：

• 3Blue1Neural Networks — 用可视化方式理解神经网络，零基础友好
• Andrej Karpathy - Neural Networks: Zero to Hero — 从零实现反向传播、GPT，质量极高的免费课程
• 吴恩达 ChatGPT Prompt Engineering for Developers — 2小时快速入门，同时涵盖 LLM 使用方法与原理概览

系统学习（深入原理）：

• 吴恩达 - Generative AI for Everyone — Coursera 课程，16小时，适合系统建立认知框架
• HuggingFace NLP Course — 免费，覆盖 Tokenizer、模型架构、微调全流程
• Stanford CS229（机器学习） — 传统机器学习基础，理解大模型的"前世"

论文 & 科普：

• Attention Is All You Need — Transformer 原论文，值得至少读摘要和图
• Andrej Karpathy - State of GPT (2023) — 一小时内讲清楚 GPT 的训练全貌
• Jay Alammar - The Illustrated Transformer — 最直观的 Transformer 图文讲解

备注

如果你时间有限，最高效的路径是：3Blue1Brown 神经网络系列（2h）→ Karpathy Zero to Hero 前3课（4h）→ 吴恩达 ChatGPT 课程（2h）。这样大约 8 小时就能建立对大模型工作原理的扎实直觉。不要一上来就读论文，先建立感性认识，再逐步深入。