课程信息

  • 课程：CS229 (Machine Learning)
  • 主题：Supervised Learning Overview
  • 状态：已完成第一版

1. 核心问题

监督学习目标：学习一个映射 $f_\theta(x) \to y$，使模型在未见样本上也能表现良好。

2. 问题类型

  • 回归：预测连续值
  • 分类：预测离散标签

3. 统一视角

数据

  • 训练集：$(x^{(i)}, y^{(i)})$
  • 验证集：调参用
  • 测试集：最终评估

目标

最小化经验风险：

泛化

真正目标不是训练误差最小，而是测试误差可控。

4. 常见模型

  • Linear Regression：回归基线模型
  • Logistic Regression：二分类基线模型
  • SVM：最大间隔思想
  • Neural Networks：高表达能力

5. 评估指标

  • 回归：MSE / MAE / $R^2$
  • 分类：Accuracy / Precision / Recall / F1 / AUC

6. 易错点

  • 只看训练集准确率，不看泛化表现。
  • 数据泄漏（测试信息进入训练阶段）。
  • 指标选错（类别不平衡只看 Accuracy）。

7. 我的理解

CS229 的主线是“建模 + 优化 + 泛化”。

后续每个模型都可以用同一模板分析：

  1. 假设是什么
  2. 损失函数是什么
  3. 如何优化
  4. 为什么能泛化