1. 3-4章到底在讲什么：先看懂这学期的内容地图
先直说结论：机器学习课程的3-4章，几乎是整个学期最重要的一段。无论你用的是周志华的《机器学习》、李航的《统计学习方法》，还是学校自编讲义，这两章基本都会落在监督学习的核心算法和模型评估与选择这两个大块上。说白了，前半学期你还在学"机器学习是什么、需要哪些数学基础"，到了3-4章，就开始真正接触"机器到底怎么从数据里学东西"了。
我把热词里那些高频词摆在一起看——头歌、吴恩达、决策树、支持向量机、逻辑回归、线性回归、模型评估——这就是3-4章的完整轮廓。各校教学顺序略有差异，但主线逃不出下面这张图：
- 第3章通常覆盖：线性回归、逻辑回归（对数几率回归）、线性判别分析、类别不平衡问题，部分教材会把决策树也放进来。
- 第4章通常覆盖：决策树（ID3、C4.5、CART）、支持向量机（SVM），部分教材会带一章模型评估与验证，比如交叉验证、混淆矩阵、ROC曲线。
如果你是自学或者正在跟网课，比如吴恩达或者李宏毅的课程，你会发现他们的章节划分不完全一样，但知识内核是重叠的。吴恩达会把逻辑回归和正则化放在一起讲，李宏毅会花大量篇幅讲梯度下降的细节。这些内容拼在一起，就是3-4章要解决的问题：给定一批带标签的数据，怎么训练出一个能预测新数据的模型，并且保证这个模型真的管用，而不是死记硬背。
这个阶段最容易出现的状况是：上课听懂了每一个公式的推导，但一做题、一上机就懵。尤其是头歌（Educoder）这类实训平台上，"机器学习-决策树进行收入预测""支持向量机-python和sklearn混合版"这种实训任务，看着名字挺具体，但卡起壳来一点不含糊。所以这篇文章我不打算复述教材，而是站在"一个学期熬过来的人"的角度，把3-4章里最值得花时间搞懂的东西拆开揉碎，把我踩过的坑和后来才想明白的道理一并说清楚。
2. 模型评估与选择：这一章最容易被低估，但期末和实战都靠它
很多同学翻到第3章开头，看到"评估方法""性能度量""偏差与方差"这些小标题，会误以为这是纯理论、考前背背就行。我当初就是这么想的，结果第一次做头歌的"模型评估、选择与验证"实训题，直接做崩溃了。后来才发现，这一节才是整个3-4章的"地基"——后面学的所有算法，好不好用、该调什么参数、和别的模型比谁强，全靠这一节给的尺子去量。
2.1 训练集/验证集/测试集为什么要切分，以及怎么切
先问一个最基础的问题：为什么不能拿全部数据训练，再用同一批数据算准确率？
因为模型会"作弊"。如果你让模型看着答案做题，它完全可以死记住所有题目的答案，考试时遇上原题当然全对，但换一道新题就露馅。机器学习管这叫过拟合（overfitting），模型在训练数据上表现得近乎完美，但在没见过的数据上一塌糊涂。
所以标准做法是把数据切成几份：
- 训练集：用来喂给模型学习参数。
- 验证集：训练过程中用来挑超参数、做早停，相当于模拟考。
- 测试集：全部训练结束后，最后考一次，评估真实水平。
实际课程项目中，很多人懒得切，直接拿全部数据训练再拿全部数据评估，得到的准确率虚高。这个问题在头歌实训里尤其隐蔽——实训测评脚本吃的是你的预测结果，如果你的模型过拟合了训练集，在测评数据上分数就会很难看。
常见的切分方法就那么几种：留出法（hold-out）、交叉验证法（cross validation）、自助法（bootstrap）。
留出法最直接，就是按比例随机切，一般训练集:测试集 = 7:3 或 8:2。但它的缺点是结果对切分方式敏感，运气好切出来的测试集简单，分数虚高；运气不好就偏低。
交叉验证法更稳，尤其是k折交叉验证（k-fold cross validation）。做法是把数据均分成k份，每次拿其中k-1份训练、剩下1份验证，轮流k次，最后把k次结果平均。k通常取5或10。实训平台上的题目数据量通常不大，用5折交叉验证非常合适。
我个人的习惯是：小数据集（几千条以内）优先用交叉验证；大数据集（几万条以上）用留出法就够了，因为训练成本摆在那里。
2.2 准确率、精确率、召回率、F1：光看准确率会吃大亏
分类问题里最常用的评估指标是准确率（Accuracy），也就是预测正确的比例。但准确率高不代表模型好，尤其在类别不平衡的场景下。
举个例子：一个数据集里99%是负样本、1%是正样本。你写一个"永远预测负样本"的傻瓜模型，准确率是99%。看起来很强，实际上一点用没有。
所以还得看另外三个指标：
- 精确率（Precision）：预测为正类的样本里，真正是正类的比例。公式是 TP / (TP + FP)。可以理解成"你说是正类的，到底有多可信"。
- 召回率（Recall）：真实正类样本里，被你成功找出来的比例。公式是 TP / (TP + FN)。可以理解成"正类样本有没有漏网"。
- F1分数：精确率和召回率的调和平均，公式是 2 * P * R / (P + R)。当你想在精确率和召回率之间取平衡时，就看它。
这三个指标之间的取舍非常微妙。把判断标准放宽，召回率上去了，但精确率会掉；把标准收严，精确率上去了，但很多正样本会被漏掉。没有绝对正确的答案，取决于业务需求——比如医疗诊断里，漏诊的代价远大于误诊，就优先保召回率；垃圾邮件过滤里，误杀正常邮件很烦人，就优先保精确率。
头歌的模型评估实训里，经常会让你用sklearn的classification_report输出这些指标，然后根据指标判断模型好坏。如果你只盯着准确率，很容易在"这个模型到底行不行"的问题上给出错误判断。
2.3 ROC曲线和AUC：期末爱考、面试爱问、实战离不开
ROC曲线和AUC也是高频考点。ROC曲线横轴是假正例率（FPR），纵轴是真正例率（TPR），把分类阈值从高到低扫一遍，连成一条曲线。曲线越靠近左上角，说明模型在"不误伤负样本的情况下找出正样本"的能力越强。
AUC就是ROC曲线下方的面积，取值范围0到1。AUC = 0.5 说明模型和瞎猜一样，AUC = 1 是完美模型。实际项目中，AUC能到0.8以上就算不错的模型了。
我读书时一直没太懂ROC曲线"为什么长这样"，后来跑了一遍sklearn的roc_curve函数，把每个阈值下的FPR和TPR打印出来，才彻底明白。建议你也这样操作一次：取一个模型，遍历阈值从1到0，观察正负样本的预测分数怎么被分到两侧的。实操一遍比背十遍定义都管用。
注意：多分类问题里，ROC曲线是"一对多"（One-vs-Rest）来画的，每个类别画一条，别搞混了。
3. 线性回归与逻辑回归：从"拟合一条线"到"分类一把锁"
第3章的正餐基本就是从线性回归开始，一路吃到逻辑回归。很多初学者觉得线性回归太简单、不值得花时间，但实际上它是理解梯度下降、损失函数、正则化这些核心概念的绝佳入口。逻辑回归虽然名字里带"回归"，干的却是分类的活，而且是工业界用得最多的分类算法之一。
3.1 线性回归的损失函数：为什么是均方误差而不是绝对值误差
线性回归的目标是找一条直线（或超平面）来拟合数据，使得预测值和真实值之间的差距最小。衡量差距的函数叫损失函数。线性回归最常用的损失函数是均方误差（MSE）：
MSE = (1/n) * Σ(y_i - ŷ_i)^2
为什么用平方而不是绝对值？两个原因：
第一，平方误差是凸函数，有唯一全局最小值，方便用梯度下降求解。绝对值误差在0点不可导，优化起来麻烦得多。
第二，平方误差对大误差的惩罚更大。如果某个样本预测偏得很离谱，平方之后误差会被放大，模型会更努力地去修正这个大偏差。这在大多数场景下是好事，但也要注意副作用——如果数据里有极端离群点（outlier），模型会被带偏。所以现实中如果数据噪声大、离群点多，也有人用Huber Loss这种"中间态"损失函数，小误差用平方、大误差用线性，兼顾两者优点。
线性回归求解通常有两个路线：一个是正规方程（Normal Equation），直接算解析解；另一个是梯度下降（Gradient Descent），迭代逼近最优解。当特征数量不多（比如几百个以内）且矩阵可逆时，正规方程一步到位效率很高。但当特征多、样本量大时，正规方程要算矩阵的逆，计算复杂度高达O(n^3)，这时梯度下降更实用。
3.2 梯度下降的直觉理解：下山和调参
梯度下降的思想可以用一个类比讲清楚：你站在山腰上，想走到山谷最低处，但天太黑看不清路，只能靠脚下踩到的坡度来判断方向——往最陡的下坡方向走一步，再重新感觉坡度，再走一步……直到走到平地。
在数学上，"坡度"就是损失函数对参数的偏导数（梯度）。每次更新参数的公式是：
θ_new = θ_old - 学习率 * 梯度
学习率（learning rate）这个超参数特别关键。设大了，步子太大，可能直接跨过最低点，甚至越走越远，损失越来越大；设小了，收敛速度慢得让人怀疑程序是不是死循环了。我在课程实验里试过，学习率从0.1改成0.01，收敛速度肉眼可见地变慢；改成1.0，损失直接爆炸。
一个实用技巧是观察损失曲线（loss curve）来判断学习率是否合适：如果损失一路下降然后趋于平稳，说明学习率基本合适；如果损失忽高忽低甚至越来越大，说明学习率偏大了，往小调。如果损失下降得太慢，可以尝试调大一点。
3.3 逻辑回归：把线性输出"压"到0到1之间
逻辑回归解决的是分类问题。它和线性回归的关系是：先算出线性组合 z = w·x + b，然后通过Sigmoid函数 σ(z) = 1 / (1 + e^(-z))，把输出压缩到(0, 1)区间。这个输出可以理解成"样本属于正类的概率"。
为什么需要Sigmoid函数？因为线性回归的输出范围是整个实数轴，你没法直接拿它当概率使。Sigmoid函数像一个"压缩器"，把负无穷到正无穷的任意实数都映射到0和1之间，而且它在z=0附近变化最陡，离0越远越平缓——这刚好符合直觉：离分类边界越近的样本，类别归属越模糊。
逻辑回归的损失函数是交叉熵损失（Cross-Entropy Loss），也叫对数损失：
L = -(1/n) * Σ [y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]
为什么不用均方误差？因为逻辑回归的输出是概率，用均方误差会让损失函数变成非凸函数，梯度下降容易陷入局部最小值，而且收敛速度慢。交叉熵在概率框架下是最自然的选择，而且它是凸函数，优化起来有保障。
逻辑回归在工业界地位很高，因为模型简单、可解释性强，训练和推理速度都快。你在头歌上做的"逻辑回归"实训，核心就是用sklearn的LogisticRegression跑通一个分类任务，然后调参优化。一个值得做的实验是：把数据标准化后再跑一次，对比不标准化的效果。逻辑回归对特征尺度敏感，标准化往往能显著提升收敛速度和最终效果。
3.4 正则化：防止模型"学过头"的关键手段
线性回归和逻辑回归都容易过拟合，尤其在特征多、样本少的情况下。解决手段之一就是正则化，给损失函数加一项惩罚项，让模型参数不要太大。
- L2正则化（Ridge）：惩罚项是参数平方和，会让参数整体变小但不会变成0，模型更平滑。
- L1正则化（Lasso）：惩罚项是参数绝对值之和，会让部分参数变成0，相当于自动做特征选择。
- 弹性网络（ElasticNet）：L1和L2组合，两者兼顾。
正则化强度由超参数C（在sklearn中）或α（在传统公式中）控制。C越大，正则化越弱，模型越复杂；C越小，正则化越强，模型越简单。调参思路很简单：先用默认参数跑一遍，然后用交叉验证在不同C值下评估，选出最优C。
我个人的实操经验是：遇到高维稀疏特征，优先试L1正则化，看看能不能自动筛掉无关特征；如果特征之间相关性很强，用L2或者弹性网络更稳。课程作业里如果你发现训练集准确率远高于测试集，优先考虑加大正则化强度。
4. 决策树与支持向量机：从"规则组合"到"空间分割"
第4章通常是决策树和SVM的地盘。这两个算法风格差异很大：决策树像是一连串"if-else"规则的组合，通俗易懂；SVM则是在高维空间里找分界线，理论优美。但它们的核心思想都围绕一个共同问题——怎么把不同类别的样本分开。
4.1 决策树的分裂依据：信息增益、增益率、基尼指数
决策树的核心问题是：每一步该用哪个特征来划分数据？教材里给了三个标准：
信息增益（ID3算法）：用信息熵衡量数据集的纯度。划分之前算一次熵，划分之后按比例加权算一次熵，两者之差就是信息增益。增益越大，说明这个特征带来的"信息量"越大，越适合用来划分。缺点是偏好取值数目多的特征——一个特征如果每个样本取值都不同，信息增益会虚高。
增益率（C4.5算法）：为了解决信息增益的偏好问题，引入了"固有值"（Intrinsic Value）作为分母，对取值多的特征做惩罚。但增益率又会反过来偏好取值少的特征，所以C4.5实际做法是从信息增益高于平均水平的特征里，挑增益率最高的。
基尼指数（CART算法）：不折腾信息熵，直接用基尼值衡量纯度。基尼值越小，纯度越高。CART决策树每一步选基尼指数最小的特征。
头歌的"决策树进行收入预测"实训，用的多半就是CART（sklearn的DecisionTreeClassifier默认就是CART）。你不需要手写这三个算法——除非你的课程作业要求纯手写——但理解它们之间的区别非常重要，因为期末简答题特别爱考"ID3、C4.5、CART之间的区别"。
我在自己动手实现决策树之后有个体会：决策树学到的本质是一堆"特征取值 → 类别"的规则。训练完成后，你可以把树的规则打印出来（sklearn的tree.export_text），看看模型到底学到了什么。这一步特别有意思，你会看到模型先拿什么特征做判断、阈值定在多少。模型的"推理逻辑"完全透明，这一点是神经网络做不到的。
4.2 决策树的过拟合与剪枝：为什么你的树在头歌上分数飘忽
决策树特别容易过拟合，因为只要树足够深，理论上可以让每个叶子节点都只包含一个样本，训练集准确率100%。但这样的树毫无泛化能力，换个数据集就彻底垮掉。
解决办法有两个方向：
预剪枝（Pre-pruning）：在构建树的过程中，每打算分裂一个节点，先验证一下分裂之后在验证集上的表现有没有提升，没有就不分裂。优点是省时间，缺点是"短视"——这一步没提升，但接下来两步可能有提升，预剪枝会错过后面更好的结构。
后剪枝（Post-pruning）：先把整棵树长完，然后自底向上检查，把不贡献泛化性能的子树替换成叶子节点。效果通常比预剪枝好，但时间成本更高。
sklearn的DecisionTreeClassifier里，控制剪枝的参数主要有：
- max_depth：树的最大深度。
- min_samples_split：内部节点再划分所需的最小样本数。
- min_samples_leaf：叶子节点最少样本数。
- max_leaf_nodes：最大叶子节点数。
- ccp_alpha：最小成本复杂度剪枝参数，值越大剪枝越狠。
如果你在头歌上做的决策树实训分数不理想，先别急着怀疑代码逻辑，检查这些参数是不是让树长太深了。我当初做收入预测那道题，默认参数下测试集准确率只有七成多，把max_depth调到5之后，成绩直接提了一截。
4.3 SVM的核心思想：最大间隔与支持向量
SVM的思想可以这样理解：假设两类样本在二维平面上是可以用一条直线分开的，但能分开的直线有无数条。哪条最好？SVM选的是"离两类样本都尽可能远"的那条——也就是间隔（margin）最大化的那条。
为什么追求最大间隔？因为间隔越大，分类决策的"容错能力"越强。新来的样本就算稍微偏一点，也不太容易被分错。这种思想叫结构化风险最小化，比单纯追求训练集准确率要稳健。
真正被这条"最优点"决定的样本，叫支持向量（Support Vector）。这是SVM名字的由来，也说明了一个关键特性：SVM的决策边界只由少数几个支持向量决定，其他样本离得再远也不影响边界位置。这是SVM和其他算法的本质区别——决策边界不靠所有样本"投票"决定，而是靠最关键的少数派决定。
SVM最精彩的部分是核函数（Kernel Function）。当数据在低维空间线性不可分时，通过核函数把数据映射到高维空间，在高维空间里找一个线性超平面。比如在二维平面上一堆红蓝点围成一个圈，你没法画一条直线分开它们，但映射到三维后，用一个平面就能切开。
常见的核函数就几种：
- 线性核（Linear）：适合数据本来就近似线性可分的情况。
- 多项式核（Polynomial）：适用于有一定非线性关系的数据。
- 径向基核（RBF）：最常用，适合大多数非线性问题，但需要调gamma参数。
- Sigmoid核：使用偏少。
sklearn的SVC默认用的是RBF核。RBF里的gamma参数控制单个样本的影响半径：gamma越大，每个样本影响范围越小，决策边界越复杂，越容易过拟合；gamma越小，决策边界越平滑，但太小了会欠拟合。C参数控制对误分类的惩罚力度：C越大，模型越不允许训练集出错，越容易过拟合。
4.4 头歌SVM实训的实战踩坑记录（sklearn混合版）
头歌上"支持向量机-python和sklearn混合版"这类实训，坑位特别固定，我把最有代表性的几个列出来，你提前有个心理准备。
第一个坑：数据没做标准化，结果模型完全学不动。SVM对特征的尺度非常敏感。如果有个特征取值范围是0到1，另一个是0到10000，距离计算会被后者主导，SVM的优化过程会变得极其不稳定。我第一次跑SVM实训时，加载数据直接开训练，测试集准确率不到五成。后来加了StandardScaler做标准化，成绩直接拉升到九成以上。几乎可以说，用SVM之前不做特征标准化，等于白做。
第二个坑：不知道gamma和C怎么调，全靠瞎试。SVM的两个核心参数C和gamma配合起来对结果影响很大。如果分数不高，优先跑一遍网格搜索（GridSearchCV），参数范围可以设定C = [0.1, 1, 10, 100]，gamma = [0.01, 0.1, 1, 10]。交叉验证网格搜索特别方便，唯一的问题是数据量大了之后很耗时间，但课程数据量通常不大，可以放心用。
第三个坑：kernel='linear'和kernel='rbf'的选择。如果数据量不大、特征数中等，linear核往往就够了，而且训练快、可解释性强。RBF核更灵活但更容易过拟合。有个判断技巧：先试试linear，如果效果已经够好就别折腾了；效果不够再上RBF，配合调参。
5. 头歌实训与期末复习：把3-4章知识接到项目和考试上
理论和实操之间永远有一道鸿沟。3-4章的内容就算全看懂了，到了头歌实训、期末考试，还是会有大量让人头疼的细节。这一节专治"学完了不会用"。
5.1 头歌实训的正确打开方式：先跑通、再理解、最后优化
很多同学在头歌上做实验，喜欢一上来逐行读代码、试图理解每一行在干什么，结果卡在某个地方就很久。我的建议是反过来：先不管细节，把代码原样运行一遍，确认能出结果，再回头逐段分析每部分在干什么，最后再动手调参优化。
为什么这样效率更高？因为机器学习的代码链路很长——数据加载、预处理、划分、训练、预测、评估——任何一环出问题都会导致整个流程跑不通。如果一开始就钻细节，很容易"见树不见林"。先把整个流程跑通，你对全局就有了把握：输入是什么、中间经历了什么、输出是什么。有了这个框架感，回头分析细节就轻松多了。
头歌实训平台还有一个特点：测试用例可能和你看到的训练数据不完全一样。你的代码要在未知数据上表现好，这就意味着——尽量别对训练数据做过度的针对性处理，比如硬编码某个阈值、死记某个特定样本的标签。
5.2 期末复习的高频考点与答题思路
根据热词里的"机器学习期末""山东大学机器学习期末""西电机器学习期末"以及各种期末复习需求，我把3-4章的常见考点整理一下：
概念辨析类：
- 过拟合和欠拟合的区别、成因、解决方法（加正则化、加数据、剪枝、早停等）。
- 生成式模型和判别式模型的区别。第3章里线性判别分析（LDA）就是典型的生成式或判别式——不同教材归类不一致，但LDA本身和PCA的对比是高频考法：PCA是无监督降维，LDA是有监督降维。
公式推导类：
- 线性回归的最小二乘解推导。
- 逻辑回归的损失函数推导（从极大似然出发）。
- 信息增益的计算、基尼指数的计算。
- SVM的对偶问题推导——这个难度大，专业课老师通常不会要求完整手推，但你要说清楚"为什么要转对偶"（为了引入核函数、处理高维特征）。
计算题：
- 给定一个小数据集，手算信息增益选特征。
- 给定混淆矩阵，算准确率、精确率、召回率、F1。
- 给定AUC值判断模型水平。
论述题：
- 如何解决类别不平衡问题（过采样、欠采样、阈值移动）。这是第3章末尾的重要话题。
- 为什么说"没有免费的午餐"定理——没有哪个算法在所有问题上都最优。
- 如何理解偏差-方差分解，为什么模型复杂度升高时，偏差下降但方差上升。
这些考点直接对应3-4章的核心知识点，期末复习时对着这份清单自查就行，哪里不清楚翻教材补哪里。
5.3 怎么把3-4章的知识接到完整项目流程上
学到3-4章，你应该已经具备独立完成一个"小型机器学习项目"的能力了。完整流程应该是：
- 明确问题：分类还是回归？评价指标选什么？
- 数据获取与理解：数据集长什么样？有没有缺失值、异常值、类别不平衡？
- 数据预处理：处理缺失值、标准化/归一化、编码类别特征、划分训练/验证/测试集。
- 模型选择与训练：从逻辑回归、决策树、SVM等算法里选一个或几个做对比。
- 模型评估与调参：用交叉验证评估，用网格搜索调参。
- 结果分析与总结：哪个模型表现最好？为什么？哪些特征最重要？
这个流程你现在就能跑通。不用等学完后面的神经网络再动手。很多同学有一个误区，觉得"我学完整个学期的课再开始做项目"。但实际经验是：项目是为了巩固已学知识，不是为了展示全部知识。你现在拿着逻辑回归和决策树，已经能解决不少真实问题了。
5.4 一个真实的小案例：用决策树预测收入水平的完整过程
拿头歌上"决策树进行收入预测"这个实训来说，完整思路应该是：
- 数据是典型的表格型数据，包含年龄、职业、教育程度、工作时间等特征，标签是收入是否超过5万美元。
- 第一步：加载数据，检查有没有缺失值、类别特征有多少种取值。
- 第二步：处理类别特征，用sklearn的LabelEncoder或OneHotEncoder编码。
- 第三步：划分训练集和测试集，建议7:3。
- 第四步：创建DecisionTreeClassifier，先用默认参数训练，看测试集准确率。
- 第五步：调参。优先调max_depth和min_samples_leaf。从max_depth=3开始，逐步增大，观察测试集准确率变化。测试集准确率上升后开始下降的那一点，就是比较合理的深度。
- 第六步：输出决策树规则（export_text），看模型学到的最重要的几个特征是什么。
这套流程放在其他分类任务里也完全通用。核心心法就一句话：先有一个能跑的模型，再一点点改进，千万不要一上来就追求完美。
6. 学习3-4章的常见误区与个人经验
聊了这么多技术点，最后再分享几个学习层面的经验。这些东西教材不写、老师不一定会讲，但几乎每个过来人都是碰了壁才明白的。
6.1 误区一：过度纠结公式推导，忽略了直觉理解
第3章的数学推导确实多，线性回归的最小二乘、逻辑回归的极大似然，推导起来都很费劲。但你要想清楚：课程考试考的是推导，可实际工作几乎用不到手推公式——sklearn一行代码就把模型训练完了。
怎么平衡？我的做法是：第一遍先建立直觉，第二遍再啃推导。
第一遍你要搞清楚的是：这个算法解决什么问题、输入输出是什么、有哪些超参数、超参数调大调小各有什么影响。这些问题搞清楚了，你就算"会用"这个算法了。第二遍再回到教材，把公式一步一步步推一遍，这时候你会发现推导其实没那么难，因为每一步要做什么你已经有直觉了。
6.2 误区二：只调参不思考，实训成绩上去了但什么都没学会
头歌这类平台有个"副作用"：题目评分是自动化的，你只要调参调到分数高就算过关。有些同学会用一种"玄学调参"的方式——随机试参数，哪个分数高用哪个。分数确实上去了，但你问他一两个参数为什么这样设，答不上来。
这就本末倒置了。实训的意义不是拿高分，而是通过实操理解模型的行为。我建议你在每个实训任务里，至少做三件"非应试"的事情：
- 记录不同参数下的训练集和测试集准确率，观察过拟合是怎么发生的。
- 用matplotlib画出损失曲线或决策边界，直观感受模型行为。
- 用export_text输出决策树规则，看看模型学到的规则是否合理。
这三件事做完，你的收获一定比单纯拿满分大得多。
6.3 误区三：每个算法都学但从不对比，导致不会选型
3-4章学完，你手里至少有逻辑回归、决策树、SVM三个分类器。但很多人学完之后还是不知道"什么时候该用哪个"。
我的选型经验，你可以抄作业：
- 数据量不大、特征中等、需要快速出基线结果：优先逻辑回归。
- 数据表格型、特征含义明确、需要可解释性：优先决策树或随机森林。
- 数据量不大、特征维度高、有复杂的非线性关系：SVM配合RBF核很能打。
- 数据量巨大（十万级以上）：SVM基本上不用考虑了，训练太慢，优先逻辑回归或树模型。
如果你不确定选型对不对，做法很简单：把所有模型都跑一遍，用交叉验证比一下，哪个好就用哪个。机器学习项目里，通过实验来决定方案是常态，拍脑袋选型反而不靠谱。
6.4 关于数据集、代码环境的一点建议
热词里出现了"机器学习免费公开数据集"“机器学习 应用流程”"机器学习课程环境搭建"这些搜索词，说明很多人在找数据练手、在配环境上卡住了。
数据集方面，入门阶段不需要找多大多全的数据，几个经典的就够了：
- Iris鸢尾花数据集：分类入门必备。
- Boston房价数据集：回归入门经典（虽然已从sklearn移除，但网上很容易找到备份）。
- Titanic泰坦尼克号生存预测：Kaggle入门赛题，特征工程练手非常好。
- UCI Machine Learning Repository：各种领域的数据集都有，课程作业够用了。
环境搭建方面，我的建议只有两条：别在装环境上死磕超过半天；装不上的时候果断用云环境。Anaconda全家桶装好，conda create -n ml python=3.9，然后pip install numpy pandas scikit-learn matplotlib jupyter，这套组合能覆盖95%的课程需求。如果还是装不上，Google Colab或者国内的各种云Notebook平台都能在线跑，不丢人。
我自己当年最崩溃的一次，是在Windows上装了三个小时的scikit-learn，最后发现是Python版本不兼容。后来的惨痛教训总结成一句话：检查Python版本和包版本的兼容性，一定要看官方文档支持的版本范围。这个问题在现在的版本里已经少多了，但万一遇到还是得留个心眼。
7. 最后想说几句心里话
3-4章是整个机器学习课程的"分水岭"。前半学期你可能还在想"机器学习到底是什么"，到了这里，你会第一次真切感受到"机器是怎么从数据里学习的"。这个过程很神奇，但也伴随着大量的公式、代码和莫名其妙的报错。
很多人在这里放弃，也很多人在这里开窍。差别不在智商，而在方法。学公式的时候多问一句"这到底在解决什么问题"，调参的时候多看一眼"参数变了之后模型表现为什么会变"，做实训的时候多一步"不调参直接跑一遍看看会发生什么"。这三个习惯坚持下去，你会发现机器学习没那么玄乎，它只是一套用数据做决策的系统性方法，你完全可以掌握它。
如果你正在为了3-4章焦头烂额，记住：这不是你一个人难，每个学机器学习的人都从这关走过。熬过去，你手里就多了三件真正有用的武器——逻辑回归、决策树、SVM。它们看起来朴素，但这么多年过去，依然活跃在工业界的各个角落。把基础打扎实，后面学神经网络、深度学习的时候，你会感谢现在的自己。
