多模态基础

简介

• 来源：Stanford CS231n（计算机视觉）、CLIP 论文、HuggingFace 多模态课程
• 先修要求：Python 基础、了解神经网络基本概念
• 编程语言：Python
• 课程难度：🌟🌟🌟🌟
• 预计学时：20 小时 +

"模態"（Modality）指的是信息的类型：文本是模態、图像是模態、音频也是模態。多模态模型能同时理解和生成多种类型的信息——比如 GPT-4V 能看图说话，GPT-4o 能听音频并语音回复，Sora 能从文字生成视频。

对计算机专业学生来说，理解多模态不只是为了用 API，更是为了知道这些能力背后的原理——视觉编码器、跨模态对齐、统一生成架构——这样你才能在未来的项目中做出正确的技术选型。

课程资源

• 课程视频：Stanford CS231n: Deep Learning for Computer Vision
• 论文：CLIP、DALL-E 3
• 交互演示：HuggingFace Spaces — 搜索 "multimodal" 有大量可交互演示

资源汇总

计算机视觉基础（理解图像侧）：

• Stanford CS231n — 李飞飞团队的经典课程，理解 CNN、视觉表征
• fast.ai Practical Deep Learning — 更注重实践，几行代码训练图像分类模型
• HuggingFace Computer Vision Course — 免费，覆盖 ViT、目标检测、图像分割

多模态模型原理（理解跨模态对齐）：

• CLIP 论文解读 — OpenAI 的图片-文本对齐模型，是多模态的基础
• Jay Alammar - The Illustrated CLIP — CLIP 的图文直觉讲解
• LLaVA: Large Language and Vision Assistant — 开源多模态模型的代表作
• Flamingo (DeepMind) — 交错图文序列建模的先驱

动手实践：

• Transformers Vision Tutorial — HuggingFace 官方视觉任务教程
• Gradio — 快速搭建多模态模型的 Web 演示界面，几行代码搞定
• OpenAI Vision API — 最快上手多模态能力的方式（如果预算允许）

前沿方向（了解即可）：

• Sora — 视频生成的当前最强
• GPT-4o — 原生全模态（文本/图像/音频/视频统一处理）
• Gemini — Google 的多模态模型家族

备注

多模态不需要你精通所有方向。对 CS 学生的最低要求是：理解视觉编码器（ViT）如何将图片转为向量，理解跨模态对齐（CLIP）如何让文本和图片在同一个"语义空间"里。这两个概念通了，其他多模态模型大同小异，看论文时不会一头雾水。