AI上下文测量：用问卷验证效度，恢复个体与群体效应

如果你做过问卷研究，大概率遇到过这种尴尬：量表测出来的是“人怎么想”，但很多研究问题真正想问的是“环境到底是什么样”。这两者经常被混为一谈，而一旦混为一谈，个体效应和群体效应就很难再分清楚。

举个例子。你想研究“工作压力对员工健康的影响”，最省事的做法是发一份压力感知问卷，让员工自己打分。但员工觉得压力大，可能不是因为岗位本身危险，而是因为他最近状态不好、和同事闹矛盾，甚至只是填写问卷时心情比较差。反过来，一个岗位客观上存在高噪音、高负荷、不规律排班，但员工可能已经适应了，感知分数反而不高。

这时候，传统的问卷调查就会出现系统性偏差。我们要测量的东西，和问卷实际测到的东西，不是一回事。

近年来，随着大语言模型（LLM）能力快速提升，一种新的测量思路开始进入研究者的视野：直接把工作描述、职业说明、组织文本、任务日志等材料交给 AI，让 AI 根据预设的评分准则，对这些“上下文”进行标准化测量。这就是标题里提到的AI Contextual Measurement，可以翻译为“AI 上下文测量”或“AI 情境测量”。

但这里有一个关键判断：AI 上下文测量的价值不在于“用 AI 打标签”，而在于它能恢复出传统问卷难以捕获的上下文效应。而且，这种测量必须经过效度验证，尤其是和已有问卷测量结果做对照，才值得进入正式研究流程。

这篇文章会从一个完整的研究视角来拆解这个主题：为什么要关注上下文测量，个体效应和群体效应指什么，AI 怎么参与测量过程，如何用问卷数据做效度验证，以及它在职业健康和组织研究中能落到哪些具体场景。

1. 这篇文章真正要解决的问题

先说一个研究流程中的真实痛点。

在很多社会科学、公共卫生、组织行为学研究中，研究者需要把“环境特征”纳入分析模型。比如：

• 不同职业的精神压力暴露水平差异有多大？
• 岗位的自主性、体力要求、社会支持度如何影响员工健康？
• 同样的工作环境下，为什么有些员工表现出更好的适应性？

要回答这些问题，理想的数据结构里既要有个体层面的变量，也要有群体或上下文层面的变量。但现实中，研究者往往只有一份员工自填问卷。问卷能测出个体感知，却很难测出客观存在的上下文特征。

过去解决这个问题，通常有三条路：

1. 人工编码。让训练过的编码员阅读职位描述或工作材料，按照指标体系打分。优点是质量可靠，缺点是费时费力，难以规模化，而且不同编码员的一致性很难保证。
2. 二手职业数据库。比如职业信息网络 O*NET 这样的公开数据源，它提供了大量职业维度的打分。但数据库更新频率有限，粒度通常到职业类别，无法覆盖组织内部的具体岗位或动态变化的任务内容。
3. 用个体问卷聚合到群体层。把同一职业或团队的问卷得分取平均值，当作上下文变量。这种方法操作简单，但存在明显的共同方法偏差：如果你用员工自评压力来代表工作环境压力，再用它去预测员工自评健康，两个变量都来自同一批人的同一份问卷，相关性会被高估。

AI 上下文测量提供了第四条路：把职位描述、组织文档、任务日志等“上下文文本”作为输入，用大模型对其进行标准化评分，从而得到独立于个体自我报告的环境特征测量。

但请注意，这条路真正难的不是调 API，而是三个问题：

• 构念效度：AI 打的分数，到底有没有测到你想测的那个概念？
• 层级恢复：测量结果能不能同时解释个体层面的差异和群体层面的差异？
• 外部验证：和成熟的问卷量表相比，AI 测量的结果是否站得住脚？

明白了这些问题，你就能读懂标题后半段“Validation Against Survey Measures and an Occupational Application”的意思：用问卷测量作为外部标准来验证 AI 上下文测量，再把它应用到一个具体职业场景中。

2. Contextual Measurement 的概念与核心原理

2.1 什么是上下文测量

上下文测量（Contextual Measurement），指的是对个体所处环境、岗位、任务、组织或社区等“上下文特征”进行量化的过程。

这里的“上下文”不是大模型提示词里的上下文窗口，而是研究中的情境变量。比如：

• 一个职位的工作强度、技能要求、自主程度；
• 一个团队的任务依赖结构、沟通频率；
• 一个社区的资源可及性、环境压力水平。

传统测量方式依赖问卷或人工评估，而 AI 上下文测量试图从描述这些情境的文本中提取数值化特征。

用职业健康研究来类比：同样是“工作压力”，问卷测量问的是“你觉得工作压力大吗”，AI 上下文测量分析的是“岗位描述里包含哪些压力源指标，比如倒班频率、任务强度、多重任务要求、绩效压力”。前者是个体主观体验，后者是情境客观特征。

2.2 与问卷测量的核心差异

这里有一个容易误解的地方：AI 上下文测量并非要替代问卷。它的定位是补足问卷测不到的那个部分。当研究者希望把“环境特征”作为一个独立变量放进模型时，AI 上下文测量会是一个非常有价值的补充方案。

2.3 个体效应、群体效应与“恢复”的含义

标题中的Recovering Individual and Group-Level Effects，直译是“恢复个体与群体层面的效应”。这里的背景是统计建模中的一个经典问题：

当上下文变量来自个体感知时，它在回归模型中的效应其实是两种效应的混合：

• 个体效应（individual-level effect）：在同一环境中，不同个体的感知差异带来的影响。比如两个员工做同一岗位，一个觉得压力大，一个觉得轻松，这种差异更多反映个体特质。
• 群体效应（group-level effect）：不同环境之间的结构性差异带来的影响。比如外科医生和图书管理员的工作压力差异，反映的是职业本身的性质。

传统问卷数据由于变量来源单一，很难把这两层效应分开。AI 上下文测量则提供了一个契机：因为文本描述的是上下文本身，它不与个体自评共享方法方差，因此可以更干净地恢复出群体层面的结构性效应，同时也能保留个体层面的信息。

换句话说，“恢复”的本质，是把混淆在一起的效应重新拆开。

3. AI 上下文测量在职业研究中为什么重要

职业健康研究是上下文测量最典型的应用领域之一。很多人以为，职业压力测量只需要让员工自己打分，但实际研究中，环境暴露的测量往往才是决定研究质量的关键。

在职业流行病学中，研究者经常需要估计“职业暴露”和“健康结局”之间的关系。这里的暴露变量，可以是物理暴露（噪音、粉尘、高温），也可以是心理社会暴露（工作要求、工作控制、社会支持）。心理社会暴露的一个难点在于：它很难像噪音分贝一样被仪器直接测出来。

过去，研究者通常用职业暴露矩阵（Job Exposure Matrix, JEM）来解决这个问题。JEM 的做法是：把职业分类和暴露评分对应起来，用职业层面的平均暴露来预测个体健康。这种方法的优点是效率高，缺点是颗粒度太粗，忽略同一职业内部的任务差异。

AI 上下文测量改变了这个局面。如果你能把岗位级文本（而不是职业大类的标签）作为输入，就能得到比 JEM 更细致的暴露测量。这就是一种“上下文测量”的升级路径：

• 传统路径：职业代码 → 职业暴露矩阵 → 暴露分数；
• AI 路径：岗位描述/任务文本 → 大模型评分 → 暴露分数。

两者的差异，就像用“城市平均气温”预测个人穿衣，和用“具体街道的实时天气”预测个人穿衣之间的差异。前者不是不能用，但会有大量信息损失。

还有一个关键点：在组织行为研究中，大量变量属于“共享单位属性”。例如团队凝聚力、组织氛围、领导支持，这些变量虽然通过个体问卷测量，却在概念上属于团队或组织层面。用个体问卷测量共享属性时，必须验证组内一致性（如 rwg、ICC(1)、ICC(2)），否则把个体分数聚合到团队层面就会有问题。AI 上下文测量可以从团队文本（会议纪要、项目文档、内部公告）中直接测量这些属性，为多水平研究提供一条独立于问卷的测量渠道。

4. AI 上下文测量的典型技术路径

把 AI 用于上下文测量，并不是简单地把文本丢给大模型然后问“你觉得这个职业压力大吗”。要得到可靠的测量结果，通常有四种技术路径，各有适用场景。

4.1 基于嵌入的语义相似度测量

第一种方法：把待测量文本和一组“锚点文本”分别编码成向量，然后计算余弦相似度。

比如你想测“岗位自主性”，可以写三段锚点文本：

• 低自主性锚点：“员工必须严格按照既定流程操作，没有决定权。”
• 中自主性锚点：“员工可以在一定范围内调整工作方法。”
• 高自主性锚点：“员工可以自主决定工作目标、方式和进度。”

然后将目标岗位描述编码，与锚点文本比较相似度，得到该岗位的自主性得分。

这种方法的好处是无需标签数据、计算稳定、可解释性较强。缺点是锚点文本的选择直接影响结果，且相似度不完全等于语义强度，对复杂多维概念的表达能力有限。

4.2 基于大模型的直接评分测量

第二种方法：把评分准则、锚点和待测文本一起放入提示词，要求大模型输出结构化分数。

你是一位职业健康编码员。请根据以下评分准则，对岗位描述中的“工作强度”维度进行评分。 评分准则： - 1分：工作节奏缓慢，任务量少，基本没有时间压力。 - 2分：工作节奏适中，偶尔需要赶进度。 - 3分：工作节奏较快，经常需要同时处理多项任务。 - 4分：工作节奏很快，几乎一直处于高压状态，时间严重不足。 请输出 JSON 格式：{"score": 1-4, "reason": "简要理由"}

这是目前最灵活的方法，也最接近人工编码的工作方式。缺点是提示词敏感度高，模型输出的稳定性需要验证，成本相对较高。

4.3 基于分类与抽取的测量

第三种方法：把测量任务转化为文本分类问题或信息抽取问题。

比如判断一个岗位是否存在“夜班作业”：

请判断以下文本是否描述了夜班作业。如果存在，输出 "yes"；如果不存在或无法判断，输出 "no"。

又比如从岗位描述中抽取“主要任务动词列表”和“工作环境特征词列表”，再做规则化处理。这种方法适合维度定义清晰、答案形式简单的测量任务，结果稳定且易于审计。

4.4 混合方法

第四种方法：先用大模型做特征提取或初筛，再结合传统统计模型做下游分析。

比如：

1. 用 LLM 从职位描述中抽取压力源关键词和短语；
2. 用 TF-IDF 或嵌入向量将这些文本表示成数值特征；
3. 用回归、聚类或多水平模型处理这些特征。

混合方法的好处是兼顾了大模型的语义理解能力和传统统计模型的可解释性、稳定性，也是目前学术研究里比较稳妥的路径。

4.5 方法选型对比

从实际研究角度看，主流的做法是先用 LLM 评分或分类得到一个初步测量值，然后进入效度验证环节。也就是说，测量本身不是终点，验证才是。

5. 环境准备与数据准备

下面进入可操作的部分。这里以 Python 为例，演示一个完整的 AI 上下文测量与问卷验证流程。本文的示例代码使用通用的大模型调用方式，模型名称和版本请以你实际使用的接口为准，关键思路是一致的。

5.1 环境依赖

建议使用 Python 3.9 及以上版本，需要安装以下依赖：

pip install pandas numpy scipy statsmodels openai

如果希望计算组内相关系数 ICC，推荐安装pingouin：

pip install pingouin

5.2 文本数据与问卷数据结构

准备两份数据。第一份是文本数据，用来做 AI 上下文测量。

假设文件路径为data/job_texts.csv，结构如下：

第二份是问卷数据，用来做效度验证和效应分解。

假设文件路径为data/survey_scores.csv，结构如下：

这份数据里，每个员工属于一个岗位，perceived_stress是员工自评压力，wellbeing是健康结局变量。

5.3 大模型接口的通用封装

为了不把代码绑定到某一个具体厂商，可以做一层简单封装。api_key和base_url通过环境变量传入，这样无论是官方服务还是私有化部署的兼容接口，都可以切换使用。

# 文件路径：llm_client.py import os import json from openai import OpenAI client = OpenAI( api_key=os.getenv("LLM_API_KEY"), base_url=os.getenv("LLM_BASE_URL") or None, ) def call_llm(prompt: str, model: str = None) -> str: model = model or os.getenv("LLM_MODEL", "gpt-4o-mini") response = client.chat.completions.create( model=model, messages=[ {"role": "system", "content": "你是一名严谨的研究编码员。"}, {"role": "user", "content": prompt}, ], temperature=0.0, ) return response.choices[0].message.content

这里把temperature设置为 0，是为了尽量降低随机性，保证多次评分的一致性。

5.4 环境变量配置

在项目根目录下创建.env文件或者直接在终端导出环境变量。注意：不要把 API Key 写进代码仓库。

export LLM_API_KEY="your-api-key" export LLM_BASE_URL="https://api.example.com/v1" export LLM_MODEL="your-model-name"

如果你的环境不需要自定义接口地址，可以不设置LLM_BASE_URL。

6. 完整示例代码实现

这里实现三个核心环节：AI 上下文评分、问卷效度验证、个体与群体效应分解。建议在一个 Jupyter Notebook 或 Python 脚本中按顺序运行。

6.1 环节一：调用 LLM 对职位文本打分

假设我们要测量三个构念：工作强度、工作要求、工作自主性。

# 文件路径：step1_ai_scoring.py import json import pandas as pd from llm_client import call_llm RATING_PROMPT = """ 请根据以下评分维度，对给定的职位描述进行评分。 维度说明： 1. work_intensity（工作强度）： - 1分：任务量少，节奏缓慢 - 2分：任务量适中，偶有高峰 - 3分：任务量较大，经常需要赶工 - 4分：任务量非常大，长期高压 2. work_demand（工作要求）： - 1分：几乎没有量化要求 - 2分：有基本岗位职责 - 3分：有明确的绩效指标 - 4分：存在多重且冲突的目标要求 3. autonomy（工作自主性）： - 1分：完全按指令执行 - 2分：少量方法选择权 - 3分：可调整工作优先级 - 4分：可自主决定目标与方式 只输出 JSON，不要输出其他内容。格式为： {{"work_intensity": 1, "work_demand": 1, "autonomy": 1}} 职位描述：{text} """ def score_text(text: str): prompt = RATING_PROMPT.format(text=text) content = call_llm(prompt) # 防御性解析：只取 JSON 部分 start = content.find("{") end = content.rfind("}") + 1 return json.loads(content[start:end]) df = pd.read_csv("data/job_texts.csv") results = [] for _, row in df.iterrows(): try: score = score_text(row["text"]) score["job_id"] = row["job_id"] results.append(score) except Exception as e: print(f"评分失败: {row['job_id']}, 错误: {e}") ai_scores = pd.DataFrame(results) ai_scores.to_csv("output/ai_scores.csv", index=False) print(ai_scores)

这段代码的核心逻辑是：遍历职位文本，组装评分提示词，要求模型只输出结构化 JSON，然后解析保存。解析时用find和rfind取出大括号之间的内容，可以避免模型偶尔多输出解释文字导致的报错。

6.2 环节二：与问卷测量做效度验证

有了 AI 分数后，把它和员工问卷分数合并，计算相关性。

# 文件路径：step2_validity.py import pandas as pd from scipy.stats import pearsonr, spearmanr ai_scores = pd.read_csv("output/ai_scores.csv") survey = pd.read_csv("data/survey_scores.csv") # 把 AI 分数从岗位层级匹配到员工层级 merged = survey.merge(ai_scores, on="job_id", how="left") # 示例：验证 AI 测出的“工作要求”与员工自评压力的相关性 r, p = pearsonr(merged["work_demand"], merged["perceived_stress"]) rho, p_s = spearmanr(merged["work_demand"], merged["perceived_stress"]) print(f"Pearson r = {r:.3f}, p = {p:.4f}") print(f"Spearman rho = {rho:.3f}, p = {p_s:.4f}")

相关性分析是最直观的效度验证方式。如果 AI 测量的构念和对应的问卷构念在理论上应该相关，那么两者应当呈显著正相关。如果完全不相关，则需要检查测量维度定义是否对齐，或者文本数据是否包含了足够信息。

如果要做更严格的信度分析，可以用pingouin计算 ICC，评估 AI 多次评分的稳定性：

# 文件路径：step2_icc.py import pandas as pd import pingouin as pg # 数据格式：每个 job_id 有多条重复评分 # 示例数据字段：job_id, rater, score icc_df = pd.read_csv("data/ai_repeated_scores.csv") icc = pg.intraclass_corr(data=icc_df, targets="job_id", raters="rater", ratings="score") print(icc)

这里的数据结构是：同一岗位文本被模型重复评分多次，每个rater一次评分。ICC 高于 0.7 通常认为信度可以接受。

6.3 环节三：分解个体与群体效应

最后一步是理解 AI 上下文测量如何“恢复”两个层级的效应。这里用一个多水平模型（混合效应模型）来演示。

以“工作要求”AI 得分作为预测变量，“员工幸福感”作为结局变量，同时把岗位作为随机截距。这样模型可以输出两部分信息：

• 固定效应部分：工作要求的总体效应；
• 随机效应部分：岗位之间的方差有多少。

# 文件路径：step3_multilevel.py import pandas as pd import statsmodels.formula.api as smf ai_scores = pd.read_csv("output/ai_scores.csv") survey = pd.read_csv("data/survey_scores.csv") merged = survey.merge(ai_scores, on="job_id", how="left") # 混合效应模型：员工层嵌套在岗位层中 model = smf.mixedlm( "wellbeing ~ work_demand + perceived_stress", data=merged, groups=merged["job_id"], ) result = model.fit() print(result.summary())

这个模型同时包含了 AI 上下文变量（work_demand）和个体自评变量（perceived_stress）。如果work_demand的系数显著，说明即使控制了个体感知，岗位客观要求仍然对幸福感有独立解释力，这就能证明 AI 上下文测量恢复了问卷单独使用时不一定会出现的群体层面效应。

反过来，如果想看个体层面上的分组效应，还可以把 AI 得分做“组均值中心化”，拆分出组均值部分和组内偏差部分：

# 文件路径：step3_decompose.py import pandas as pd merged = pd.read_csv("output/merged_data.csv") # 计算每个岗位的工作要求均值 group_mean = merged.groupby("job_id")["work_demand"].transform("mean") # 拆分为群体层变量和个体偏差变量 merged["demand_group"] = group_mean merged["demand_individual"] = merged["work_demand"] - group_mean print(merged[["employee_id", "job_id", "work_demand", "demand_group", "demand_individual"]])

这种拆分方式可以清楚地看到：个体的 AI 得分由岗位平均水平和个体与岗位的偏差组成。用于回归时，demand_group估计的是群体层效应，demand_individual估计的是个体层效应。

7. 运行结果与效果验证

7.1 如何判断运行成功

每个环节都有清晰的判断标准：

• 环节一：控制台打印出包含work_intensity、work_demand、autonomy三个字段的 DataFrame，说明评分成功。如果某个 job 评分失败，代码会打印错误信息，但不会中断整体流程。
• 环节二：输出Pearson r、Spearman rho和对应 p 值。效度验证是否通过，取决于效应方向和显著性。比如 AI 测出的“工作要求”与员工“自评压力”显著正相关，就是一个合理的验证结果。
• 环节三：输出Mixed Linear Model Regression Results表格。重点看Work_demand系数、p 值和Group Var（组间方差）。

7.2 验证指标参考

7.3 失败时从哪里开始排查

如果运行结果不理想，不建议一上来就调整模型，而是按顺序排查：

1. 先看 AI 打分的原始输出。是不是每个字段都合理？有没有出现连续多个岗位分数完全相同的异常情况？
2. 再检查文本质量。岗位描述是否太短？是否包含足够多的特征信号？如果文本只有“招聘一名工程师”这句话，AI 不可能给出可信评分。
3. 然后检查样本量。相关分析和多水平模型都需要足够的样本量，岗位数太少时，组间方差估计会非常不稳定。
4. 最后才是调整提示词和模型参数。提示词里的维度定义越具体，越接近问卷条目的语言风格，效度通常越好。

8. 常见问题与排查思路

9. 职业应用场景与实证思路

9.1 职业健康与职业流行病学

在职业健康研究中，AI 上下文测量最直接的应用，是从岗位描述和职业信息库中自动提取精神压力暴露评分。

一个典型的课题思路是：收集某行业不同岗位的职位描述文本，让 AI 按工作要求、工作控制、社会支持等维度打分，然后将这些分数作为暴露变量，和企业员工健康数据连接，估计岗位暴露和心理健康结局之间的关系。

这个设计比传统职业暴露矩阵更灵活，因为你可以面向具体岗位定制评分规则，而不是套用职业大类。

9.2 人力资源与岗位分析

在 HR 场景中，AI 上下文测量可以自动化岗位画像。

比如输入一批岗位职责文本，输出每个岗位在“体力要求”“认知复杂度”“情绪劳动”“时间灵活性”等维度上的分数。这些分数可以用作内部岗位评估的参考数据，也可以用于岗位间相似度匹配。

需要注意，面向人事决策的测量必须经过更严格的效度验证和合规审查，AI 评分只能作为辅助参考，不能直接替代人工判断。

9.3 组织行为与团队研究

如果研究对象的上下文不是岗位，而是团队，文本数据可以换成会议纪要、项目文档、团队内部公告。

例如，想测量“团队任务冲突”，可以定义评分维度后，对团队会议文本进行评分。这种方法可以从过程数据中重建团队层面的上下文特征，避免单纯依赖成员事后回忆填写问卷。

9.4 环境暴露与社会调查

在教育学、社区研究等领域，上下文测量同样有用。对学校、社区、家庭的文本描述进行标准化评分，可以补充个体调查中缺失的环境信息。

一个典型例子是：用社区服务介绍文本评估社区资源丰富程度，再与居民健康调查数据合并，从而区分个体“感受到的资源”和“实际存在的资源”对健康的差异影响。

10. 最佳实践与工程建议

10.1 测量准则要像问卷条目一样严谨

AI 上下文测量最大的坑，是把提示词写得太随意。如果你把维度定义写成“评价一下工作强度大不大”，模型输出的分数就很难稳定。

更稳妥的做法是参考成熟的问卷开发方法：为每个维度写出分级锚点，锚点要包含可观察的行为描述，而不是抽象形容词。这一步本质上和设计问卷量表类似，只是测量对象从“人”变成了“文本”。

10.2 固定模型参数并保留审计痕迹

由于大模型存在随机性和版本更新问题，正式研究必须记录：模型名称、模型版本、temperature、提示词版本、采样次数、解析规则。

建议把提示词保存在单独的配置文件中，通过版本管理跟踪。这样即使模型升级导致分数漂移，也可以回溯到具体原因。

10.3 增加重复抽样与人工抽样检查

对同一段文本，建议至少重复调用 2 到 3 次，取平均值或中位数。抽样检查 AI 输出分数的理由是否合理，不要只看分数。

重复抽样尤其重要，因为即使 temperature 设为 0，某些模型的输出仍然可能有微小波动。取多次结果的平均值，可以有效降低这种噪声。

10.4 数据隐私与合规红线

如果文本数据包含员工个人信息、岗位内部文档或组织敏感信息，使用外部 API 之前必须完成脱敏处理。建议的流程是：

1. 去除姓名、工号、联系方式等直接标识符；
2. 替换或删除可能定位到特定个体的组织内部专有表述；
3. 确认使用外部 AI 服务的数据合规要求；
4. 如果条件允许，优先使用私有化部署模型。

10.5 样本量与层级设计

多水平模型对样本量有一定要求。一般经验是：组数（如岗位数）至少要有 20 到 30 个以上，每组样本量可以少一些，但不能只有 1 个。如果岗位数量太少，建议使用普通回归并做稳健标准误调整，而不是强行使用混合模型。

10.6 从试点走向正式研究的路径

不要一开始就大范围铺开。推荐这样分阶段推进：

• 第一阶段：用 30 到 50 段文本做小规模试点，人工检查 AI 评分；
• 第二阶段：找少量用户做问卷测量，计算初步效度指标；
• 第三阶段：确认效度达标后，再扩展到完整数据集；
• 第四阶段：同步记录模型和提示词版本，为论文或报告补充可复现信息。

11. 总结与后续学习方向

AI 上下文测量不是一个“把文本丢给 AI 就能得到结论”的简单工具，它本质上是一套测量框架：从上下文文本出发，通过标准化提示词让模型输出可量化的维度分数，再用问卷数据或行为数据验证这些分数的有效性，最后将有效的测量结果放入多水平分析中，尝试区分个体与群体层面的效应。

这篇文章的核心思路，可以浓缩成三句话：

• 上下文测量关注的是环境本身，不是个体感知，因此它和问卷测量形成互补；
• AI 让上下文测量具备了规模化能力，但这个能力的可信度必须依赖效度验证；
• 个体效应和群体效应的“恢复”，依赖合理的层级建模设计，AI 测量提供的是更干净的组间信息。

如果你想在自己的研究里尝试这个方向，最稳妥的启动方式，是找一小批公开职位描述文本，写一份评分提示词，先做小规模评分和人工检查。等评分质量稳定了，再去找或收集问卷数据，做相关分析和 ICC 计算。这两步跑通后，再考虑混合模型和更复杂的多水平分析。

后续值得深入学习的方向包括：多水平模型的设定与诊断、测量效度理论中的聚合效度与区分效度、提示词版本管理、以及不同大模型之间评分一致性比较。这些内容每一个展开都有大量细节，但都不如先亲手跑通一个最小验证流程来得实在。