别只看R²了！用Python的statsmodels库手把手教你做回归模型的F检验与t检验
在数据分析的世界里，R²（决定系数）常常被过度神化，成为评判模型好坏的唯一标准。但真相是，一个高R²值可能掩盖了模型中的致命缺陷——比如某些变量其实对预测毫无贡献，或者整个模型在统计上根本不显著。这就像用华丽的包装纸包裹一个空盒子，外表光鲜却内里空洞。
本文将带你跳出R²的单一视角，使用Python的statsmodels库，通过F检验和t检验这两个强大的统计工具，真正读懂回归模型背后的故事。我们会用真实的广告投放数据集，一步步演示如何：
- 判断模型整体是否有效（F检验）
- 识别哪些变量真正有用（t检验）
- 避免常见的统计误区和陷阱
无论你是数据分析师、市场研究员，还是机器学习实践者，这些技能都将帮助你建立更可靠、更有解释力的预测模型。
1. 环境准备与数据加载
首先确保你的Python环境已安装以下库：
# 必需库安装命令（若未安装） # !pip install statsmodels pandas numpy matplotlib seaborn我们使用一个模拟的广告投放数据集，包含以下变量：
- 销售额（因变量）：某产品周销售额（万元）
- 电视广告（自变量）：电视广告投入（千元）
- 网络广告（自变量）：网络广告投入（千元）
- 户外广告（自变量）：户外广告牌投入（千元）
import pandas as pd import statsmodels.api as sm from statsmodels.formula.api import ols # 模拟广告数据 data = pd.DataFrame({ '销售额': [23, 26, 30, 34, 43, 48, 52, 57, 58, 62], '电视广告': [15, 18, 20, 24, 30, 35, 38, 40, 45, 50], '网络广告': [20, 22, 25, 28, 30, 31, 33, 35, 36, 38], '户外广告': [5, 5, 6, 6, 7, 8, 8, 9, 10, 10] }) # 添加常数列（截距项） data = sm.add_constant(data) print(data.head())输出示例：
| const | 销售额 | 电视广告 | 网络广告 | 户外广告 | |
|---|---|---|---|---|---|
| 0 | 1.0 | 23 | 15 | 20 | 5 |
| 1 | 1.0 | 26 | 18 | 22 | 5 |
| 2 | 1.0 | 30 | 20 | 25 | 6 |
注意：statsmodels中的
add_constant会自动添加一列全为1的截距项，这是线性回归的标准做法。
2. 构建回归模型与解读F检验
让我们先用所有变量拟合一个多元线性回归模型：
# 定义模型公式 model = ols('销售额 ~ 电视广告 + 网络广告 + 户外广告', data=data).fit() # 查看模型摘要 print(model.summary())模型摘要输出的上半部分包含几个关键统计量：
OLS Regression Results ============================================================================== Dep. Variable: 销售额 R-squared: 0.991 Model: OLS Adj. R-squared: 0.986 Method: Least Squares F-statistic: 215.2 Date: Wed, 01 Jan 2020 Prob (F-statistic): 1.23e-06 Time: 00:00:00 Log-Likelihood: -16.483 No. Observations: 10 AIC: 40.97 Df Residuals: 6 BIC: 42.28 Df Model: 3 Covariance Type: nonrobustF检验解读指南：
- F-statistic（215.2）：这是检验模型整体显著性的统计量
- Prob (F-statistic)（1.23e-06）：即p值，远小于0.05
- 假设检验：
- 原假设H₀：所有自变量的系数都为0（即模型无解释力）
- 备择假设H₁：至少有一个自变量系数不为0
专业提示：当p值<0.05时，我们拒绝原假设，认为模型整体是显著的。这里的p值极小（1.23e-06），说明三个广告渠道中至少有一个对销售额有显著影响。
但F检验只能告诉我们模型整体是否有效，要判断具体哪些变量有用，我们需要更精细的t检验。
3. 深入解读t检验与系数显著性
模型摘要的下半部分展示了各个变量的详细统计信息：
============================================================================== coef std err t P>|t| [0.025 0.975] ------------------------------------------------------------------------------ const 5.2476 3.785 1.386 0.215 -4.194 14.689 电视广告 1.0726 0.138 7.790 0.000 0.737 1.408 网络广告 0.4028 0.254 1.588 0.163 -0.206 1.012 户外广告 -0.1350 0.556 -0.243 0.816 -1.488 1.218 ==============================================================================关键列解读：
- coef：回归系数，表示该变量每增加1单位，销售额的变化量
- P>|t|：t检验的p值，检验该系数是否显著不为0
- [0.025 0.975]：系数95%的置信区间
t检验实战分析：
电视广告：
- 系数：1.0726（每增加1千元投入，销售额预计增加1.07万元）
- p值：0.000（远小于0.05）
- 结论：影响极其显著
网络广告：
- 系数：0.4028
- p值：0.163（大于0.05）
- 结论：影响不显著
户外广告：
- 系数：-0.1350（负相关？）
- p值：0.816（远大于0.05）
- 结论：无统计显著性
注意：户外广告的负系数可能与多重共线性有关，我们稍后会讨论这个问题。
4. 模型优化与变量筛选
根据t检验结果，网络广告和户外广告的p值都大于0.05，理论上可以剔除。但最佳实践是每次只剔除最不显著的变量（p值最大的），然后重新拟合模型。
逐步回归示例：
# 第一步：剔除户外广告（p=0.816） model2 = ols('销售额 ~ 电视广告 + 网络广告', data=data).fit() print(model2.summary()) # 第二步：如果网络广告仍不显著，继续剔除 model3 = ols('销售额 ~ 电视广告', data=data).fit() print(model3.summary())优化后的模型摘要对比：
| 模型 | R² | 调整R² | AIC | 保留变量 |
|---|---|---|---|---|
| 全模型 | 0.991 | 0.986 | 40.97 | 电视+网络+户外 |
| 剔除户外 | 0.991 | 0.987 | 39.03 | 电视+网络 |
| 仅电视 | 0.990 | 0.989 | 37.45 | 电视 |
模型选择原则：
- 优先考虑调整R²（惩罚了多余变量）
- 选择AIC/BIC较小的模型（信息准则）
- 确保保留的变量p值都<0.05
在这个案例中，仅保留电视广告的简单模型反而表现最好——调整R²最高（0.989），AIC最低（37.45）。
5. 诊断检验与常见陷阱
优秀的分析师不仅要会建立模型，还要会诊断模型。以下是三个必须检查的关键点：
1. 多重共线性检测
使用方差膨胀因子（VIF）检测自变量间的相关性：
from statsmodels.stats.outliers_influence import variance_inflation_factor # 计算各变量的VIF vif_data = pd.DataFrame() vif_data["feature"] = data.columns[1:] # 排除const vif_data["VIF"] = [variance_inflation_factor(data.values, i) for i in range(1, data.shape[1])] print(vif_data)VIF解读：
- VIF>10：严重共线性
- 5<VIF<10：中度共线性
- VIF<5：可接受
2. 残���分析
检查残差是否符合线性回归的假设：
import matplotlib.pyplot as plt # 残差诊断图 fig = plt.figure(figsize=(12, 8)) fig = sm.graphics.plot_regress_exog(model, "电视广告", fig=fig) plt.show()关键检查点：
- 残差应随机分布在0附近（无模式）
- QQ图上的点应大致落在直线上（正态性）
- 无明显的异方差性（残差范围不随预测值变化）
3. 异常值检测
使用Cook距离识别有过度影响的观测点：
# 计算Cook距离 influence = model.get_influence() cooks_d = influence.cooks_distance[0] # 可视化 plt.stem(np.arange(len(cooks_d)), cooks_d, markerfmt=",") plt.title("Cook's Distance Plot") plt.xlabel('Observation index') plt.ylabel("Cook's distance") plt.show()实用建议：Cook距离>4/n（n为样本量）的观测点需要特别检查。可能是数据录入错误，也可能是真正的特殊案例。
6. 商业决策与报告建议
统计显著性不等于商业价值。作为分析师，你需要将技术结果转化为商业语言：
电视广告分析：
- 每增加1,000元电视广告投入，预计带来约1.07万元的销售额增长
- 投入产出比（ROI）约为1:10.7，远高于行业平均水平1:5
- 建议：在预算允许范围内最大化电视广告投入
网络广告洞察：
- 虽然在本数据集中不显著，但不代表完全无效
- 可能需要更精细的数据（如分渠道、分时段）或更大的样本量
- 建议：设计A/B测试进一步验证效果
执行策略：
- 将户外广告预算重新分配到电视渠道
- 保持网络广告的基本投入，同时收集更多维度数据
- 建立月度模型复审机制，持续监控各渠道效果变化
记住，没有永远正确的模型。市场环境、消费者行为和广告形式都在不断变化，定期用新数据验证和更新你的模型，才是数据分析师的终极武器。
