1. 联合分析实验：从强制选择到排序设计的演进
如果你在政治学、市场营销或者任何需要量化人们偏好的领域做过研究，大概率接触过联合分析实验。这个方法的魅力在于，它能让你像拆解一台精密仪器一样，把人们面对一个复杂决策（比如选候选人、挑政策、买东西）时的思考过程给“拆”出来，看看每个零件——也就是每个属性——到底有多大分量。传统的玩法，我们称之为“强制选择”：给你两个虚拟的候选人A和B，他们的年龄、党派、职业经历都被随机组合好了，你只能二选一。这个方法自2014年被引入政治学以来，确实解决了不少问题，从税收政策偏好到移民决策，都能用它来测。
但做久了你会发现，强制选择有个挺让人头疼的地方：它有点“浪费”。想象一下，你费劲设计了一轮实验，给受访者看了两个精心配置的选项，结果他只告诉你他更喜欢A。那B到底比A差多少？如果还有C和D，他会怎么排？这些信息全丢了。为了获得足够精确的估计，你不得不让同一个受访者重复做很多轮选择，这不仅增加了实验成本，还可能引发疲劳效应，让数据质量打折扣。
排序设计的出现，就是为了解决这个“信息浪费”的问题。它不再问“你选哪个”，而是问“请你把这几个选项从最喜欢到最不喜欢排个序”。这个看似简单的改变，背后是一整套关于如何更高效、更精准地测量偏好的方法论升级。我最近在几个项目中系统对比了这两种设计，实测下来，排序设计在统计效率上的提升是实实在在的，尤其是在使用概率样本、每个受访者时间都很宝贵的今天，它的价值更加凸显。接下来，我就结合自己的实操经验，把排序联合分析的设计思路、实现细节、效率增益和那些容易踩的坑，给你掰开揉碎了讲清楚。
2. 排序设计的核心原理与统计基础
2.1 排序如何转化为可分析的数据
理解排序设计优势的起点，是弄明白它到底比强制选择多出了什么信息。假设在一轮实验里，我们给受访者展示了K个档案（Profile）。在强制选择下，如果K=2，我们只能得到一个数据点：A > B 或 B > A。如果K=3，并且我们只让他选一个最喜欢的，那么对于没被选中的那两个档案，我们只知道它们都不如被选中的那个，但彼此之间谁更好？不知道。这就像只记录了比赛冠军，亚军和季军的成绩关系是缺失的。
排序设计则要求受访者对全部K个档案进行完整排序。比如他对三个档案的排序是：1 > 2 > 3。这个排序结果本身，就隐含了所有两两比较的信息：
- 档案1 > 档案2
- 档案1 > 档案3
- 档案2 > 档案3
通过一个叫做“排序扩展”的数据处理步骤，我们可以把这一条排序记录，展开成上面这3组成对比较的数据行。这样一来，从一轮实验中获得的有效比较次数，就从强制选择的 (K-1) 次（假设只选一个最优），暴涨到了组合数 C(K, 2) 次。当K=3时，是3次；K=4时，是6次；K=6时，就达到了15次。
注意：这里有一个关键的数据结构问题。展开后的这些数据行并不是相互独立的。因为它们都源于同一个受访者在同一轮实验中对同一组档案的排序。在后续计算标准误时，必须考虑这种“簇”结构，通常的做法是将标准误聚类到受访者个体层面。忽略这一点会严重低估不确定性，导致统计检验过于“激进”。
2.2 效率增益的数学直觉与理论边界
排序设计带来的效率提升，直观上很好理解：用同样的受访者和实验轮次，你获得了更多的有效比较数据。但它的理论边界在哪里？我们通过一个简单的模拟来感受一下。
假设我们研究选民对候选人的偏好，有6个二元属性（例如，党派：民主党/共和党；性别：男/女等）。我们模拟500个受访者，每个受访者完成3轮实验。在强制选择组，每轮看2个档案（K=2）；在排序选择组，每轮看3个档案（K=3）。这样，两组受访者评估的档案总数是相同的（都是6个）。我们为每个属性设定一个真实的效用系数，然后从模型中生成受访者的潜在效用和选择行为。
重复这个模拟1000次后，我们发现排序设计估计出的平均边际组件效应，其标准误平均比强制选择设计小12%到15%。这意味着，要达到相同的统计精度（比如相同的置信区间宽度），排序设计所需的样本量或实验轮次更少。这种增益在效应量中等大小时最为明显，而这正是大多数社会科学研究中关心的效应范围。
这种增益主要来自两个方面：
- 信息密度增加：每轮实验捕获了更多偏好信息。
- 认知负担的优化分配：虽然对K个档案排序比二选一更耗时，但完成整个实验所需的总轮次J减少了。我们的实验数据显示，虽然排序单轮耗时更长，但每获得一个有效数据点所花费的时间反而更少。也就是说，排序设计用更“高效”的认知投入，换来了更“密集”的数据产出。
2.3 支撑排序扩展的两个关键假设
当然，天下没有免费的午餐。将排序数据展开为成对比较并沿用强制选择的分析框架（主要是线性概率模型来估计AMCE），依赖于两个核心假设。如果这两个假设不成立，我们的估计就可能产生偏差。
假设A：偏好传递性这是最基础也最直观的假设。它要求受访者的偏好是逻辑一致的：如果他认为档案A优于B，且B优于C，那么他必须认为A优于C。违反传递性可能源于注意力不集中、随机误差，或者在将内心模糊的偏好转化为明确排序时产生的测量误差。
在实际操作中，当K较小（比如3或4）时，这个假设通常比较可靠。排序三四个选项对大多数人来说认知负荷不高。但当K增大到6个甚至更多时，维持一个全局一致的排序就变得困难，违反传递性的风险会增加。因此，将传递性视为一个需要检验的实证问题，而非理所当然的前提，是更严谨的做法。
假设B：无关选项独立性这个假设稍微绕一点。它说的是：任意两个档案（比如A和B）之间的相对排序，不应该受到同一轮实验中出现的其他档案（C, D, E...）的属性影响。换句话说，其他档案的存在应该是“无关”的。 violation 的一个例子是：在一组候选人中，如果其他候选人都是极端党派分子，那么受访者在比较A和B时，可能会更看重“温和”这个特质；但如果其他候选人都是温和派，他可能就更看重“经验”。这就导致了A和B的相对排序因为“无关”的第三方而改变了。
幸运的是，联合分析本身的随机化设计为这个假设提供了天然的保护。因为所有档案的属性都是独立、均匀随机分配的，那些“无关”档案的属性在统计上与我们所关心的那对档案的属性是独立的。这意味着，即使IIA被轻微违反，这种违反也不太会系统性地与某个特定属性水平相关联，从而将潜在的偏差控制在一定范围内。我们的实证分析也发现，即使在K=6时，IIA的违反率也只比K=2时略有上升，并且排除那些违反IIA的受访者后，AMCE的估计结果几乎不变。
3. 排序联合分析的实验设计与实操要点
3.1 实验流程与界面设计
从强制选择切换到排序设计，实验流程需要做相应调整。核心变化发生在任务呈现和数据收集环节。
1. 任务指令与引导指令必须清晰无误。避免使用可能引起混淆的词语。一个经过测试的有效指令是：“请您仔细阅读以下【数字】位候选人的信息。然后，请将代表他们的卡片拖放到下面的排序区域，将您最可能投票支持的候选人放在第1位，第二支持的放在第2位，依此类推，将您最不可能支持的放在最后一位。” 在正式实验开始前，务必提供一个带有示例的练习环节，确保受访者完全理解操作方式。
2. 交互界面实现拖放排序是目前最直观、用户体验最好的方式。前端开发时需要注意几点：
- 视觉反馈：当用户拖动卡片时，需要有明确的视觉提示（如阴影、位置指示线）。
- 撤销与重置：提供便捷的修改方式，允许用户轻松调整顺序。
- 移动端适配：如果调研可能在手机上进行，必须确保拖放操作在触屏上同样流畅。作为备选，也可以提供点击数字（1,2,3...）进行排序的界面，但拖放的直观性通常更优。
- 随机化显示顺序：为了消除潜在的“首位效应”或“末位效应”（即列表顶部或底部的选项被系统性高估或低估），每次向受访者呈现档案时，其初始显示顺序必须是完全随机的。我们的数据确实检测到了轻微的“末位效应”（列表底部的档案排名稍差），但由于属性是随机分配的，这种效应不会污染AMCE的估计。在稳健性检验中，可以加入“显示位置”的固定效应来控制它。
3. 轮次与档案数量的权衡这是设计中的关键决策。我们的实验系统地测试了K=2（强制选择）、K=4和K=6的情况。
- K=3或4：这是一个“甜点”区间。认知负担适中，传递性假设比较稳固，同时能获得显著的效率提升（K=4时，标准误比K=2平均降低42%）。
- K=6：能带来最大的理论效率增益（标准误降低55%），但受访者完成单轮任务的时间明显增加，且传递性和IIA的违反率有轻微但显著的上升。除非你的研究问题天然涉及大量选项的比较（比如从10个政策中筛选），否则K=6可能带来的额外认知负担和潜在的测量误差，会抵消一部分效率收益。对于大多数应用，我推荐从K=4开始。
3.2 样本量与统计功效计算
采用排序设计后，传统的样本量计算工具需要调整。因为你每个受访者提供的“有效比较”数量变了。一个实用的方法是：
- 基于成对比较数计算：首先，确定你希望检测的最小效应量（Minimum Detectable Effect, MDE）和所需的统计功效（如80%）。然后，计算在强制选择设计（K=2）下，达到该功效所需的总成对比较次数（N * J * 1，因为每轮只有1次有效比较）。
- 换算到排序设计：在排序设计中，每轮实验能产生 C(K, 2) 次有效比较。因此，要达到相同的总比较次数，你需要的“受访者-轮次”组合数（N * J）可以按比例减少。例如，如果你的目标是比较次数为M，在K=4的设计中，你需要的大约是 M / 6 个“受访者-轮次”。
- 考虑聚类调整：由于排序扩展后数据行之间存在相关性，最终的标准误会比独立同分布假设下的情况大。我们的经验是，对于K=4的设计，聚类到个体层面的标准误大约是未聚类标准误的1.4倍。在计算样本量时，需要将这个“设计效应”考虑进去。一个保守的做法是，在基于比较次数初步估算出N和J后，再增加20%-30%的样本量作为安全边际。
3.3 数据分析流程与R工具包cjrank应用
排序设计的数据分析流程与强制选择一脉相承，核心仍是估计AMCE，只是前期的数据准备多了一步“扩展”。
步骤一：数据准备与排序扩展你的原始数据可能是一行代表一个受访者的一轮排序，比如：respondent_id,task_id,profile_a_rank,profile_b_rank,profile_c_rank。你需要将其扩展为成对比较的长格式数据。这正是我们开发的R包cjrank的核心功能之一。
# 假设 df 是你的原始数据，包含id，任务id，和每个档案的排名（1为最优） library(cjrank) library(tidyverse) # 使用 cjrank::expand_ranks() 函数进行扩展 expanded_data <- expand_ranks( data = df, id = "respondent_id", task = "task_id", rank_vars = c("rank_a", "rank_b", "rank_c"), # 指定排名变量 profile_vars = list( # 指定每个档案对应的属性变量 a = c("party_a", "gender_a", "age_a"), b = c("party_b", "gender_b", "age_b"), c = c("party_c", "gender_c", "age_c") ) ) # 输出结果是一个长格式数据框，每一行是一个成对比较， # 包含胜者档案的属性、败者档案的属性，以及结果变量（1表示前者胜出）。步骤二：AMCE估计与标准误聚类扩展后的数据格式与强制选择实验数据完全兼容。你可以直接使用cregg或cjoint等包进行AMCE估计，但必须记得聚类标准误。
library(cregg) # 使用 cregg 包进行估计，聚类标准误到受访者层面 amce_results <- cj(data = expanded_data, formula = choice ~ party + gender + age, # 结果变量是扩展后生成的0/1变量 id = ~respondent_id, # 聚类变量 estimate = "amce") plot(amce_results)步骤三：关键假设检验cjrank包还提供了检验传递性和IIA假设的函数。
- 传递性检验：可以在实验结束后，随机抽取两个受访者之前排序过的档案，再次以强制选择的方式呈现，让他二选一。然后对比这个强制选择的结果，是否与他之前排序所隐含的两两关系一致。
- IIA检验：可以随机抽取两个旧档案，再加入一个全新生成的档案，让受访者对这三个进行排序。然后检查两个旧档案的相对顺序，是否与之前实验中它们与其他档案同时出现时的顺序一致。
# 假设你有专门用于检验的数据集 test_data transitivity_violation_rate <- cj_test_consistency(data = test_data, type = "transitivity") iia_violation_rate <- cj_test_consistency(data = test_data, type = "iia")这些检验能帮助你评估数据质量，并决定是否需要在分析中排除那些表现出严重不一致性的受访者。在我们的实验中，即使违反率在K=6时上升到25%，排除这些受访者后的AMCE估计也与全样本结果无实质差异，说明排序设计对此类噪声具有一定的稳健性。
4. 实证效果评估：精度、信息量与预测能力
4.1 统计效率的量化比较
我们通过两项预注册的调查研究，系统比较了强制选择与排序设计。在第一项研究中，我们设置了两个经典场景：候选人选举和联邦预算分配。被试被随机分到强制选择组（6轮，每轮2个档案）或排序组（4轮，每轮3个档案），两组评估的档案总数相同（12个）。
结果非常清晰：在两个场景下，排序设计估计出的AMCE点估计值与强制选择设计几乎完全相同，这意味着两种方法测量的是同一个底层偏好结构。但关键区别在于精度。排序设计估计值的置信区间显著更窄。在候选人实验中，排序组的聚类标准误平均比强制选择组小12%；在预算实验中，小13%。这意味着，排序设计用更少的实验轮次（4轮 vs 6轮），获得了更精确的测量结果。
在第二项研究中，我们进一步测试了档案数量K的影响。设置了K=2（强制选择）、K=4和K=6三组，所有组都完成4轮实验。结果再次证实了效率增益随K增加而扩大：
- K=4组的平均标准误比K=2组小42%。
- K=6组的平均标准误比K=2组小55%。
更重要的是，当我们控制被试评估的档案总数不变时（例如，用1轮K=6对比3轮K=2），排序设计（K=6）的标准误仍然比强制选择（K=2）小30%。这证明，效率增益主要来源于排序行为本身能从每个档案中榨取出更多比较信息，而不仅仅是展示了更多档案。
4.2 测量信息量的深度挖掘
排序设计不仅能提升统计效率，还能捕获更丰富的偏好强度信息。强制选择只记录了“最优”，而排序记录了完整的偏好序。
为了验证排序中蕴含的强度信息是真实的信号而非噪声，我们在实验后让被试用一个0-100的量表对每个档案进行评分（“你有多大可能投票给这位候选人？”）。这是一个独立于排序任务的、连续的偏好强度测量。
我们发现：
- 聚合层面：无论是强制选择还是排序设计，其估计出的AMCE与基于强度评分估计出的AMCE高度相关（相关系数r在0.92到0.98之间）。这说明两者测量的结构一致。
- 个体层面：我们将每个档案的排序位置标准化后，计算其与被试给出的强度评分之间的个人内相关系数。这个相关系数随着K的增加而显著上升：从K=2时的0.47，上升到K=4时的0.60，再到K=6时的0.65。这说明，排序中除了“谁第一”之外的序位信息，确实反映了被试内心真实的偏好梯度。作为对照，如果我们只看“是否是最优选择”这个二值信息，它与强度评分的相关系数在不同K下是稳定的（约0.45），这说明排序设计在保留顶端信息质量的同时，额外获取了中间序位的有效信息。
4.3 样本外预测能力的提升
一个方法是否更好，最终要看它能否更好地预测新情况。我们使用梯度提升树模型，分别用不同实验条件下收集的数据进行训练，然后预测被试对一个全新档案（未在训练中出现过）的选择。
在候选人实验中，结果令人振奋：
- 基于K=4排序数据训练的模型，在预测一个固定测试档案时的性能（AUC=0.627），显著优于基于K=2强制选择数据训练的模型（AUC=0.448）。
- 更有趣的是，排序设计带来的预测增益并非均匀分布。如图7所示，对于那些仅凭强制选择数据最难分类的档案（例如，属性组合比较矛盾或中庸的候选人），排序设计带来的提升最大。这是因为排序数据包含了更多关于“次优选项如何排序”的信息，这些信息有助于模型更精细地刻画决策边界。
在政策偏好实验中，排序设计的预测优势不那么明显。这可能是因为预算分配决策本身更复杂，或者属性间的交互作用更强，简单的排序可能无法完全捕捉其决策机制。这提醒我们，排序设计并非万能，其优势可能因研究领域和决策类型而异。
5. 常见问题、挑战与应对策略
5.1 认知负荷与数据质量权衡
增加K能提升效率，但也增加了单轮任务的难度。我们的数据显示，完成时间随K增加而增长，但每获得一次有效比较的平均时间在下降。K=6时，虽然总时间最长，但“时间效率”依然优于强制选择。关键在于找到一个平衡点。
实操建议：
- 前期测试：正式实验前，务必进行小规模预测试。观察被试完成排序任务的平均时间、挫败感以及开放式反馈。如果很多人反映“排到后面就随便拖了”，说明K可能太大了。
- 视觉辅助：对于属性较多的档案（例如超过5个），考虑在排序界面保持档案卡片始终展开关键属性，避免被试需要反复点击查看细节，这能有效降低记忆负荷。
- 设定上限：基于我们的实验和多数应用场景，K=4是一个在效率增益和认知负担之间取得良好平衡的推荐值。除非理论强烈要求比较更多选项，否则不建议轻易使用K>5的设计。
5.2 假设违反的诊断与处理
传递性和IIA的违反率会随K增加而上升，但我们的研究表明，这种上升是温和的，且即使存在违反，对AMCE估计的偏差影响也很小。
诊断与应对流程：
- 例行检验：在实验设计中就嵌入我们提到的传递性和IIA检验任务。使用
cjrank包中的函数计算违反率。 - 设定阈值：建立一个事前的质量过滤标准。例如，可以排除在检验任务中表现出明显不一致（如违反率超过50%）的受访者。在我们的分析中，排除违反者后的结果与全样本结果基本无差异，说明常规分析已足够稳健。
- 敏感性分析：在论文中报告两种结果：一是全样本分析，二是排除检验不合格者的分析。如果两者结论一致，能极大地增强结果的可信度。
- 理解违反来源：如果违反率异常高，需要反思实验设计。是任务说明不清？是档案描述太复杂？还是K值设置过高？通过预实验和试测来优化。
5.3 排序界面的设计陷阱
界面设计的小细节会极大影响数据质量。
- 陷阱一：默认顺序偏差：如果不随机化初始显示顺序，排在前面的选项可能会获得系统性的更高排名。务必在每次任务开始时对档案呈现顺序进行随机化。
- 陷阱二：移动端体验差：复杂的拖放操作在手机小屏幕上可能令人沮丧。确保你的调查平台或自定义代码在移动端有良好的触摸反馈，或者提供替代的排序方式（如点选序号）。
- 陷阱三：缺乏进度反馈：在多轮排序中，被试可能忘记自己排了多少轮。清晰的进度指示（如“第2题，共5题”）能减少中途放弃率。
- 陷阱四：允许并列排名：有些平台允许被试给多个选项相同的排名。除非你的研究问题特意允许并列，否则应在指令中明确要求“不能有并列排名”，并在前端技术上禁止此操作。
5.4 与现有分析流程的融合
对于已经熟悉强制选择分析的研究者，转向排序设计的迁移成本很低。
- 模型兼容：扩展后的数据可以直接用
cregg、cjoint、logit等模型分析，估计AMCE。你不需要学习全新的模型。 - 结果解读：AMCE的解读方式完全不变。它仍然表示，在其他属性随机分布的情况下，某个属性水平相对于基线水平，使一个档案在成对比较中获胜的概率平均变化了多少个百分点。
- 报告要点：在方法部分，需要额外说明：1）采用了排序设计及K值；2）使用了排序扩展；3）标准误已聚类到个体层面；4）进行了传递性和IIA检验及其结果。在结果部分，可以汇报效率提升的幅度（如标准误缩减百分比）。
排序联合分析不是要取代强制选择，而是在它基础上的一个有力增强。当你需要更高的统计精度、希望从每个受访者身上获取更多信息、或者研究的问题天然涉及多个选项的排序时，它都是一个值得认真考虑的选择。从我自己的项目经验来看，尤其是在样本获取成本高昂或受访者时间宝贵的调查中，切换到排序设计带来的精度提升，常常能让你用更少的样本量得到更可靠的结果，这本身就是一项巨大的节约。
