连续处理效应下的双重差分模型：从核平滑到去偏机器学习的因果推断实践

1. 项目概述：当双重差分遇上连续处理

在实证研究的工具箱里，双重差分（Difference-in-Differences， DiD）无疑是评估政策或干预因果效应的“明星工具”。它的逻辑直观而强大：找一个处理组（受到政策影响）和一个对照组（未受影响），比较它们在政策实施前后结果变量的变化差异。如果两组在政策前的发展趋势是平行的，那么政策后的差异就可以归因于政策效应。

然而，现实世界中的“处理”往往不是简单的“有”或“无”。政策强度、补贴金额、污染暴露水平、市场份额——这些变量天然是连续的。传统DiD模型将处理变量二值化（例如，高于/低于某个阈值），虽然简化了分析，却丢失了关于“剂量-反应”关系的关键信息。一个补贴10%的企业和一个补贴50%的企业，其行为变化可能截然不同，但传统模型只能告诉我们“有补贴”和“无补贴”的平均差异。

这正是“连续处理效应下的双重差分模型”要解决的核心问题。它不再满足于回答“政策有没有用”，而是试图回答“政策强度每增加一个单位，效果会如何变化？”这就像从黑白电视升级到了彩色电视，让我们能看到政策效应随强度变化的完整光谱。

这个项目的核心，是构建一个严谨的计量框架，将DiD的逻辑从二元处理无缝扩展到连续处理。其技术内核在于巧妙地结合了核平滑（Kernel Smoothing）与去偏机器学习（Double/Debiased Machine Learning， DML）。核平滑负责在连续的“处理剂量”上局部地估计效应，而DML则像一位高明的“数据外科医生”，能够灵活地控制高维、非线性的混杂协变量，同时保证估计量的统计性质优良（如√N一致性、渐近正态性）。这使得我们既能捕捉处理效应的异质性曲线，又能抵御因模型误设（如错误的函数形式）带来的估计偏差。

2. 核心思路与识别策略拆解

2.1 从二元到连续：核心挑战与解决思路

传统DiD识别平均处理效应（ATT）依赖于一个关键假设：平行趋势。即，若无政策干预，处理组和对照组的结果变量随时间变化的趋势是相同的。在连续处理场景下，这个假设需要被精炼为条件平行趋势。

假设我们有一个连续的处理变量D（例如，医院的Medicare患者份额），一个结果变量Y（例如，资本劳动比），以及一组在政策前确定的协变量X（例如，医院床位数、地理位置）。政策在时间t实施。我们关心的是，在特定处理强度d下，处理组的平均处理效应ATT(d) = E[Y_t(d) - Y_t(0) | D = d]，其中Y_t(d)是潜在结果。

条件平行趋势假设可以表述为： 对于所有可能的处理强度d > 0，在给定协变量X的条件下，处理组（D=d）与对照组（D=0）在政策前后的结果变化趋势，在反事实情况下是相同的。 数学上：E[Y_t(0) - Y_{t-1}(0) | X, D = d] = E[Y_t(0) - Y_{t-1}(0) | X, D = 0]。

这个假设比无条件平行趋势更强，但也更合理。它允许处理组和对照组在政策前的水平不同，只要在控制了可观测特征X后，它们的变化趋势是平行的。这大大增强了识别策略的可靠性。

注意：条件平行趋势假设无法被直接检验，其合理性依赖于研究设计和领域知识。在实践中，我们通常通过展示政策前各处理强度组在控制协变量后的平行趋势来增强说服力，并讨论哪些关键协变量X被纳入以使得该假设更可信。

2.2 识别公式与直观理解

在条件平行趋势假设下，我们可以推导出ATT(d)的识别公式。对于面板数据，公式的核心是两组期望的差：

1. 第一项：E[Y_t - Y_{t-1} | D = d]。这是处理强度为d的组，在政策前后结果的实际平均变化。
2. 第二项：E[ (Y_t - Y_{t-1}) * {1{D=0} * f(D|X) / [f(D) * P(D=0|X)] } ]。这一项看起来复杂，但其本质是构造一个“反事实”的变化趋势。它利用对照组（D=0）个体在政策前后的变化，但根据其协变量X与处理组个体（D=d）的相似程度（通过条件密度f(D|X)来度量）进行重新加权。权重f(D|X) / [f(D) * P(D=0|X)] 确保了在加权后，对照组的协变量分布与处理组在D=d时的条件分布相匹配。

两者的差值，就剥离出了处理强度d带来的因果效应。因为第一项包含了“处理效应+共同趋势”，第二项在控制X后反映了“如果没有处理，该组应有的共同趋势”，相减后剩下的就是纯处理效应。

对于重复截面数据（不同时期观测不同的个体），识别逻辑类似，但需要额外考虑个体是否处于政策后时期（用指示变量T表示）。公式调整为基于T和Y的加权组合，其核心思想依然是通过加权使得不同时期的样本在协变量分布上可比。

2.3 为何需要去偏机器学习？

识别公式中涉及几个关键的未知函数，统称为** nuisance parameters**：

• f(D|X)：给定协变量X下，处理变量D的条件密度。处理变量和协变量之间可能存在复杂的非线性关系。
• P(D=0|X)：给定协变量X下，个体属于对照组（D=0）的概率，即广义倾向得分。
• E[ΔY | D=0, X]或E[ (T-λ)Y/(λ(1-λ)) | D=0, X]：在对照组中，结果变量变化（或调整后结果）的条件期望。

如果我们用简单的参数模型（如线性回归、Logit）来拟合这些函数，一旦模型设定错误，就会导致最终的ATT(d)估计产生严重的偏差，无论样本量多大都无法消除（即“第一类偏差”）。

去偏机器学习（DML）的引入，正是为了稳健地解决这个问题。其核心是正交化和样本分割：

1. 正交化：构造一个特殊的估计方程（得分函数），使其对 nuisance parameters 的一阶导数在真实值处为零。这意味着即使 nuisance parameters 的估计有微小的误差（只要收敛速度足够快），对目标参数ATT(d)的估计影响也是高阶无穷小，从而避免了偏差的传播。
2. 样本分割/交叉拟合：将数据随机分成K份（如5份）。用其中K-1份数据（训练集）通过灵活的机器学习模型（如随机森林、神经网络）来估计 nuisance parameters，然后在剩下的1份数据（验证集）上计算目标参数的估计量。如此循环K次，再将K次估计结果平均。这避免了因在同一个样本上既做模型选择又做推断而导致的“过拟合偏差”。

通过DML框架，我们可以放心地使用强大的机器学习算法（如项目中使用的随机森林，200棵树，最大深度20）来捕捉f(D|X)等函数中复杂的非线性关系和高维交互，而无需担心模型误设带来的偏差，最终获得对ATT(d)的√N一致且渐近正态的估计。

3. 估计器构建与实操要点

3.1 面板数据估计器详解

基于识别公式和DML框架，我们可以构建出具体的估计器。以下是面板数据下的核心步骤拆解：

步骤1：数据准备与参数定义

• 数据：对于每个个体i，观测到政策前后两期的结果(Y_{i,t-1}, Y_{i,t})，连续处理变量D_i，以及高维协变量X_i。
• 目标：估计在任意处理强度d处的ATT(d)。
• 关键参数：
  • θ = ATT(d)：我们的目标参数。
  • η = (f_h(d|X), g(X), E_ΔY(X))：三个 nuisance parameters。
    • f_h(d|X) = E[K_h(D-d) | X]：使用核函数K_h(·)平滑后的条件密度。
    • g(X) = P(D=0 | X)：广义倾向得分（对照组概率）。
    • E_ΔY(X) = E[Y_t - Y_{t-1} | D=0, X]：对照组结果变化的条件期望。

步骤2：构造正交得分函数这是DML的核心。我们需要的得分函数ψ对 nuisance parameters 的微小误设不敏感（即Neyman正交）。对于面板数据，经过推导，该函数为：ψ(Z; θ, η) = [ K_h(D-d)*g(X) - 1{D=0}*f_h(d|X) ] / [ f(D)*g(X) ] * (ΔY - E_ΔY(X)) - θ其中Z = (ΔY, D, X)，f(D)是D的边际密度（也用核密度估计）。

步骤3：交叉拟合与估计流程

1. 数据分割：将总样本随机分成K个大小相近的折（例如，K=5）。
2. 循环估计：对于每一折k（作为验证集）： a.训练 Nuisance Parameters：使用其他所有折的数据（训练集），用机器学习模型拟合三个函数： * 用X预测K_h(D-d)，得到f̂_{h,k}(d|X)。 * 用X预测1{D=0}，得到ĝ_k(X)。 * 在训练集的对照组（D=0）中，用X预测ΔY，得到Ê_{ΔY,k}(X)。 b.估计边际密度：同样用训练集数据，通过核密度估计得到f̂_k(d)。 c.计算折k的估计值：在验证集k上，代入训练好的 nuisance parameters，计算：θ̂_k(d) = (1/n_k) * Σ_{i in fold k} [ K_h(D_i-d)*ĝ_k(X_i) - 1{D_i=0}*f̂_{h,k}(d|X_i) ] / [ f̂_k(d)*ĝ_k(X_i) ] * (ΔY_i - Ê_{ΔY,k}(X_i))
3. 聚合：最终的DML估计量为所有K折估计的平均值：θ̂(d) = (1/K) * Σ_{k=1}^K θ̂_k(d)。

步骤4：带宽选择与核函数

• 核函数：通常选用二阶高斯核。其作用是为距离d近的观测点赋予更高权重，实现局部平滑估计。
• 带宽h：这是平衡偏差与方差的关键参数。较大的h平滑过度，导致估计偏差大但方差小；较小的h则相反。项目中使用的是欠平滑带宽：h = 1.06 * σ̂_{D̃} * N^{-1/4}。这里σ̂_{D̃}是处理变量（正值部分）的标准差估计。N^{-1/4}的衰减速率确保了由核平滑引入的偏差B_h(d) = O(h^2)的阶数为o(N^{-1/2})，从而在渐近分布中可以被忽略，简化了推断。

实操心得：带宽选择是应用中的一大难点。文中使用的欠平滑带宽是一个理论导向的选择，旨在保证中心极限定理成立。在实际操作中，我通常会辅以交叉验证法来选择最小化均方误差（MSE）的带宽，并将两种方法的结果进行对比，以评估估计结果对带宽选择的敏感性。如果曲线过于锯齿状，可能h太小；如果过于平滑丢失细节，可能h太大。

3.2 重复截面数据估计器的调整

当数据不是跟踪同一批个体的面板数据，而是每个时期观测不同个体的重复截面数据时，估计器需要调整，因为无法直接计算个体层面的前后差异ΔY。

核心调整：我们引入一个时间指示变量T_i（政策后=1，政策前=0），以及政策后时期的样本比例λ = P(T=1)。识别公式中的ΔY被一个基于T和Y的变换所替代：(T - λ) / [λ(1-λ)] * Y。可以证明，这个变换的期望在条件平行趋势下等价于E[Y_t - Y_{t-1} | D=d]。

相应的，nuisance parameterE_ΔY(X)变为E_λY(X) = E[ (T-λ)Y/(λ(1-λ)) | D=0, X ]。估计器ψ函数的形式也相应改变，但DML交叉拟合的框架完全保持不变。λ可以直接用样本中政策后时期的比例来估计。

3.3 统计推断：标准误与置信区间

得到点估计θ̂(d)后，我们需要衡量其不确定性。

1. 点估计的渐近方差：在一定的正则条件下，可以证明√(Nh) * (θ̂(d) - ATT(d))依分布收敛于正态分布。其渐近方差σ_N^2(d)可以通过估计ψ函数的样本方差来构造。
2. 方差估计：采用与估计器结构对应的交叉拟合方差估计量。对于每一折k，计算该折验证集上“估计方程”的样本方差，然后对所有K折的结果取平均，得到σ̂_N^2(d)。
3. 置信区间构建：
   • 逐点置信区间：对于单个处理强度d，利用θ̂(d) ± 1.96 * σ̂_N(d)/√N构建95%置信区间。
   • 一致置信带：当我们需要展示整个处理效应曲线ATT(d)的置信区间时，逐点区间可能无法控制整体错误率。此时需要使用乘数自助法。其步骤是： a. 生成B组（如1000组）独立同分布的标准正态随机数{ξ_i}。 b. 对于每组随机数，构造自助统计量θ̂*(d)_b，公式类似于原始估计量，但在每个观测值前乘上ξ_i。 c. 计算θ̂*(d)_b - θ̂(d)在所有d上的上确界（supremum）分布。 d. 取该分布的1-α/2和α/2分位数作为临界值，为原始估计曲线θ̂(d)构建一个整体的置信带。这个置信带能以1-α的概率同时覆盖整个曲线ATT(d)。

4. 蒙特卡洛模拟：验证与性能评估

在将新方法应用于真实数据前，用蒙特卡洛模拟验证其有限样本性质是必不可少的。这能让我们知道，在已知数据生成过程（DGP）的情况下，估计器是否真的能“找回”真实的处理效应曲线。

4.1 模拟设计

项目中的模拟设计紧密贴合方法的假设和挑战：

1. 真实效应：设定真实的ATT(d) = -0.5 * d^2。这是一个在d=0.9处效应为 -0.405的抛物线，意味着处理效应随强度增加而负向增强。
2. 复杂数据关系：处理变量D与高维协变量X之间存在非线性依赖关系。这直接测试了DML方法处理复杂混淆的能力。
3. 有效样本量问题：在目标处理强度d=0.9附近，数据可能很稀疏（即D接近0.9的观测很少）。这模拟了现实研究中在分布尾部估计效应时的常见困难。
4. 两种数据设置：分别模拟面板数据和重复截面数据，样本量设为N=2000和N=10000，每种设置进行B=500次模拟。
5. 估计细节：使用随机森林（200棵树，最大深度20）估计所有 nuisance parameters，采用5折交叉拟合，使用二阶高斯核和欠平滑带宽。

4.2 模拟结果解读

模拟结果（如表1所示）有力地支持了估计器的有效性：

关键发现：

1. 一致性：随着样本量从2000增加到10000，所有设置的偏差（Bias）、标准差（Std）和均方根误差（RMSE）均显著下降。这表明估计量具有一致性，大样本下会收敛到真实值。
2. 渐近正态性：模拟估计值的分布直方图（图1）显示，其形状接近正态分布，与理论推导的渐近性质相符。
3. 方差估计的准确性：“平均标准误（AVSE）”与“模拟标准差（Std）”非常接近。这说明我们基于估计方程构造的方差估计量σ̂_N(d)是真实抽样方差的良好近似。
4. 置信区间的有效性：95%置信区间的覆盖率在大多数情况下接近名义水平0.95。在面板数据小样本（N=2000）下有轻微的低覆盖（0.918），这可能是有限样本偏差或方差估计略偏小所致，但随着样本增大，覆盖情况改善。
5. 重复截面数据的挑战：相同样本量下，重复截面数据的标准差远大于面板数据。这是因为面板数据利用了每个个体自身的前后变化，信息更丰富，估计更精确。重复截面数据需要更大的样本量才能达到类似的精度。

经验提示：模拟结果给我们的重要启示是，样本量至关重要。尤其是在处理连续变量、数据稀疏区域或使用重复截面数据时，需要有足够的样本支持。在应用该方法时，务必报告估计曲线的置信区间或置信带，并警惕在数据稀疏的d值处，区间可能会变得很宽。

5. 实证应用：重新审视Medicare支付改革

理论和方法需要通过实际应用来检验价值。项目选择复现并拓展Acemoglu和Finkelstein（2008）的经典研究，该文研究了1983年美国Medicare前瞻性支付系统改革对医院行为的影响。

5.1 背景与原有研究

1983年之前，Medicare（美国联邦医疗保险）对医院的报销是基于实际成本。PPS改革将其改为按诊断固定支付。然而，在改革头三年，资本成本仍按实际费用报销，这变相提高了治疗Medicare患者的劳动力相对成本。AF（2008）的理论预测，这会激励医院用资本替代劳动，并鼓励技术采纳。他们使用1980-1986年的美国医院协会调查数据，通过一个双向固定效应模型进行检验：Y_{i,t} = α_i + γ_t + X'_{i,t}η + β * (D_i * Post_t) + ε_{i,t}其中D_i是医院i在改革前的Medicare住院患者份额（连续变量），Post_t是改革后时间虚拟变量。他们发现β显著为正，支持了理论预测。

5.2 连续DiD框架下的再分析

然而，近期研究（如Callaway等，2024）指出，当处理变量连续时，TWFE模型估计的β可能被解释为不同处理强度ATT(d)的加权平均，且权重可能为负，导致解释困难。我们的连续DiD框架为此提供了更清晰的解决方案。

我们的设定：

• 处理变量：改革前的Medicare患者份额D_i（连续）。
• 对照组：D_i = 0的医院（没有Medicare患者）。
• 结果变量：资本劳动比；技术采纳（专科医疗设施数量）。
• 协变量X：床位数、是否位于大都市、是否私立、医务人员数、州虚拟变量等。关键：我们排除了那些可能本身就是PPS豁免标准的医院特征（如联邦医院身份），以避免“坏控制”问题。
• 条件平行趋势：在控制了上述协变量X后，假设不同Medicare份额的医院，若无改革，其资本劳动比（或技术采纳）的变化趋势与无Medicare患者的医院相同。

5.3 结果与新发现

应用我们的面板数据估计器，我们得到了ATT(d)随d（Medicare份额）变化的曲线。

1. 资本劳动比：所有ATT(d)的估计值均为正，这与AF（2008）的基本结论一致，支持PPS改革提高了资本劳动比。然而，我们的估计值（大多低于1.13）比AF报告的常数效应β=1.13要小。更重要的是，效应曲线并非严格递增。这意味着，拥有更高Medicare份额的医院，其资本劳动比的提升幅度并不一定更大，这与AF理论中“份额越高效应越强”的预测不完全吻合。
2. 技术采纳：所有ATT(d)估计值也为正，支持改革激励技术采纳的结论。但曲线呈现先升后降的“倒U型”：在中等Medicare份额处技术采纳效应最大，在极高份额处反而有所减弱。这同样与简单的单调递增预测不符。

为什么会有不同？

• 异质性效应：TWFE模型强加了一个恒定的处理效应β，而我们的方法允许效应随处理强度d变化。现实中的政策反应很可能是非线性的。
• 控制混淆：通过DML非参数地控制高维协变量X，我们可能更干净地分离出了处理效应，减少了因遗漏变量或模型误设导致的偏误。
• 数据稀疏性：在d很高或很低的区域，医院数量少，估计值噪声较大（置信区间变宽）。这提醒我们，在解释分布两端的效应时需要格外谨慎。

实操心得：这个案例生动展示了连续DiD方法的优势。它不仅能验证政策是否有平均效应，还能揭示“对谁、在何种强度下最有效”。这对于政策精准施策具有重要价值。例如，如果技术采纳效应在中等份额医院最强，那么政策资源或许可以更定向地支持这类医院。

6. 常见问题与实操陷阱

在实际应用连续DiD模型时，会遇到一系列技术和解释上的挑战。以下是我结合理论和个人经验总结的常见问题与应对策略。

6.1 模型设定与假设检验

Q1：条件平行趋势假设如何检验？A1：严格来说，此假设不可直接检验，因为无法观测反事实结果。但我们可以进行以下间接检验来增强可信度：

• 政策前趋势检验：使用政策前多期数据，检验不同处理强度组（在控制协变量X后）的结果变量趋势是否平行。可以运行“事件研究”或“动态效应”模型的预检验版本。
• 安慰剂检验：
  • 时间安慰剂：假设一个虚假的政策实施时间（早于真实时间），看是否还能“检测”到效应。
  • 结果变量安慰剂：选择一个理论上不应受政策影响的结果变量，看估计效应是否为零。
• 协变量平衡性：展示在控制协变量X后，不同处理组别的协变量分布在政策前是否平衡。严重的失衡可能暗示条件平行趋势不成立。

Q2：如何选择协变量X？A2：X应满足两个条件：

1. 预处理变量：必须在政策实施前就已确定，不受政策影响。
2. 同时影响处理变量D和结果变量Y：即满足“可忽略性”或“无混淆”条件。基于领域知识选择。切忌将同时受政策影响的变量或结果变量的滞后项作为控制变量，这会导致“坏控制”问题，引入偏误。

6.2 估计过程中的技术细节

Q3：机器学习模型（如随机森林）该如何选择和调参？A3：DML对ML模型的选择相对稳健，但需注意：

• 推荐起点：随机森林（Random Forest）或梯度提升树（Gradient Boosting）是不错的选择，它们能自动处理非线性与交互项。文中使用200棵树、最大深度20是一个合理的起点。
• 调参原则：目标不是最大化预测精度，而是保证 nuisance parameters 的估计达到所需收敛速率（通常为o(N^{-1/4})）。避免过度拟合。可以使用交叉验证选择超参数，但应倾向于选择稍欠拟合的模型，因为DML对轻微欠拟合的容忍度高于过拟合。
• 替代模型：神经网络、lasso等也可用。实践中可用多种模型进行估计，观察ATT(d)曲线是否稳定。

Q4：带宽h的选择非常敏感，怎么办？A4：这是非参数估计的共性问题。

• 理论带宽：文中h ∝ N^{-1/4}是欠平滑选择，为保证渐近无偏。可作为基准。
• 数据驱动选择：可使用交叉验证（CV）选择使 nuisance parameters 预测误差最小的h，或使用插件法（plug-in）。更稳健的做法是进行敏感性分析：在h的一个合理范围内（例如，0.5*h_CV到2*h_CV）计算ATT(d)曲线，观察其形状和统计显著性是否发生根本性改变。如果结论稳健，则结果可信。

Q5：如何处理数据在部分处理强度上的稀疏问题？A5：在d的分布两端，数据点少，估计方差会急剧增大。

• 可视化：务必在效应曲线图上绘制逐点置信区间或一致置信带。在置信区间异常宽的区域，应避免做出强结论。
• 修剪：可以只报告在数据支持度（如密度f(D)）高于某个阈值的d区间上的估计结果。
• 补充分析：考虑将连续处理离散化成几个区间，用多值处理DiD方法进行估计，作为稳健性检验。

6.3 结果解释与报告

Q6：如何解释非单调或复杂的ATT(d)曲线？A6：这是连续DiD方法的核心价值所在。

• 异质性：曲线形状直接揭示了处理效应的异质性。例如，先增后减的“倒U型”可能意味着存在最优政策强度，或不同群体存在不同的反应机制。
• 机制探索：结合理论，对曲线的形状提出解释性假设。例如，在Medicare案例中，高份额医院技术采纳效应减弱，可能是因为它们已接近技术前沿，提升空间有限，或面临其他预算约束。
• 与常数效应模型对比：明确指出你的发现与假设恒定效应的传统模型（如TWFE）结果有何不同，并讨论哪种模式更符合理论预期和现实情况。

Q7：除了ATT(d)，还能估计什么？A7：该框架非常灵活，可以拓展：

• 处理效应的加权平均：例如，E[w(D) * ATT(D)]，其中w(D)是感兴趣的权重函数（如人口权重）。
• 处理效应的函数：如导数ATT'(d)（边际效应）、凸凹性等，可通过数值微分或局部多项式回归实现。
• 分位数处理效应：研究处理效应在结果变量分布不同位置上的异质性。

最后，我想分享一点个人体会。连续DiD结合DML的方法，将计量经济学的识别策略与现代机器学习的数据处理能力深度融合，代表了因果推断领域一个强有力的发展方向。它要求研究者不仅要有扎实的计量理论功底，理解各种假设的微妙之处，还要成为“数据工程师”，熟练运用计算工具。这个过程充满挑战——从代码调试、计算耗时，到对复杂结果的审慎解读。但当你看到一条清晰的效应曲线从杂乱的数据中浮现，并能讲出一个关于“剂量-反应”的因果故事时，这种成就感是无可替代的。记住，再好的方法也只是工具，研究的灵魂始终在于提出好的问题，并用严谨、透明的方式去寻求答案。在报告结果时，坦诚地讨论方法的局限性、假设的合理性以及估计的不确定性，与展示漂亮的图表和显著的系数同样重要。