开源模型生态

简介

• 来源：HuggingFace 官方文档与课程、ollama 项目
• 先修要求：Python 基础、了解大模型基本概念
• 编程语言：Python
• 课程难度：🌟🌟
• 预计学时：15 小时 +

不了解开源模型生态，就没法真正动手做 AI 应用。本课程教你如何在这个快速发展的生态中找到、评估、下载和使用适合你需求的模型——不论是在云端 API 还是本地运行。

目前开源大模型生态由几个核心组件构成：HuggingFace Hub（模型 & 数据集托管平台，类似 GitHub for AI）、各类开源模型（Llama、Qwen、DeepSeek、Mistral 等）、本地运行工具（ollama、llama.cpp、vLLM）、以及 模型选型方法（如何根据你的硬件和任务选模型）。

对计算机专业学生来说，理解这个生态的价值在于：它让你不被任何单一服务商绑定，能根据成本、隐私、延迟等需求灵活选择方案。

课程资源

• 课程网站：HuggingFace Course、ollama
• 模型榜单：HuggingFace Open LLM Leaderboard、Chatbot Arena (LMSYS)
• 本地推理工具：ollama、llama.cpp、vLLM

资源汇总

HuggingFace 上手：

• HuggingFace NLP Course — 免费中文课程，覆盖 Transformers 库的使用、模型下载、微调、部署
• HuggingFace Model Hub — 浏览和搜索 10万+ 开源模型
• HuggingFace Tokenizers — 理解文本如何被模型"看懂"

本地运行开源模型：

• ollama — 一行命令跑开源模型，支持 Llama、Qwen、DeepSeek、Mistral 等主流模型，入门首选
• llama.cpp — C++ 实现的本地推理引擎，能在笔记本 CPU 上跑量化模型，支持 GGUF 格式
• LM Studio — 图形化界面本地运行模型，适合不习惯命令行的同学
• vLLM — 高性能推理引擎，适合需要高吞吐的服务端部署

模型选型指南：

• HuggingFace Open LLM Leaderboard — 开源模型的基准测试排名
• Chatbot Arena — 人类盲测投票排名，反映真实使用体验
• Can I run this model? — 根据你的硬件判断能否运行某个模型

中国开源模型（2025年主流）：

• Qwen（通义千问） — 阿里开源，中文能力突出，全系列（0.5B-72B）
• DeepSeek — DeepSeek-V3/R1，性能接近闭源顶级模型
• GLM（智谱） — 清华开源，中英双语能力强
• MiniCPM — 面壁智能开源，端侧小模型明星

备注

入门推荐路线：先装 ollama 拉一个 7B 模型跑起来（感受一下）→ 逛 HuggingFace Hub 看看有什么好玩的模型 → 学习用 Transformers 库写一个推理脚本 → 根据需要选一个方向深入（本地优化 or 云端部署）。不要一开始就试图搞懂所有工具，先用起来再说。