案例数据
300 行 × 10 列教学评估量表(Likert 1-5),用于演示 CR 决断值(高低分组 t 检验)与 题项-总分相关两项核心指标,识别需要修订或删除的低质量题项。
| 文件名 | item.xlsx |
|---|---|
| 样本量 | 300 行 |
| 变量数 | 10 列(Q1-Q10 教学评估题项,全部 Likert 1-5) |
| 数据用途 | 高校教学评价问卷的题项筛选与质量诊断 |
| 变量说明 | Q1 教学态度认真、Q2 备课充分、Q3 讲解清晰、Q4 互动充足、Q5 课件质量、Q6 评估公平、Q7 课外辅导、Q8 启发思考、Q9 教学创新、Q10 整体满意度。 |
完整案例
1. 背景
某高校教务处针对学期末教学评估问卷做正式发放前的题项质量诊断。一份共 10 题的 Likert 5 级量表已小规模试测 300 位学生,研究者关心:①每道题能否把"教学整体评价好"的学生与"评价差"的学生区分开(区分度)?②每道题是否与量表测量的共同主题保持一致(同质性)?项目分析正是回答这两个问题的标准方法——通过CR 决断值检验高低分组差异,通过题项与总分相关 r 检验题项的内部一致性,最终给出每道题"保留 / 修订 / 删除"的判定。
2. 理论与公式
项目分析通过高低分组差异和题项总分相关,判断题项是否能区分被试水平。
检验题项是否能区分高分组和低分组。
题项与量表总分相关越高,区分度通常越好。
用于概括高低组差异大小。
3. 数据结构
每行 1 位学生,10 列为对教学的 10 个维度评价(1=非常不同意 / 5=非常同意)。其中 Q1-Q4 / Q6 / Q8-Q10 共 8 题反映教学核心质量,Q5 与 Q7 为故意混入的"低质量题",用来对照诊断结果:
| 题项 | 题面 | 预期质量 |
|---|---|---|
| Q1 | 教学态度认真 | 合格(核心题) |
| Q2 | 备课充分 | 合格 |
| Q3 | 讲解清晰 | 合格 |
| Q4 | 互动充足 | 合格 |
| Q5 | 课件质量 | 区分力弱(CR 不达标) |
| Q6 | 评估公平 | 合格 |
| Q7 | 课外辅导 | 同质性低(r 不达标) |
| Q8 | 启发思考 | 合格 |
| Q9 | 教学创新 | 合格 |
| Q10 | 整体满意度 | 合格 |
项目分析的"总分"即所选 10 道题的逐行求和。系统按总分排序,取前 27% 为高分组、后 27% 为低分组,对每一题做两组独立样本 t 检验,t 值即CR 决断值。
4. 操作步骤
- 登录 SPSSzero,进入 工作台 → 上传
item.xlsx - 左侧方法栏 → 问卷研究 → 点击 项目分析
- 把 Q1-Q10 共 10 列全部拖入 分析项 框
- (可选)确认 高低分组比例(默认 27%,即 Kelley 推荐值)
- 点击 开始分析
5. 结果表格与结果阅读
结果区按"高低分组 t 检验 + 题项-总分相关"两类指标输出综合结果表。判定规则:CR ≥ 3 且 r ≥ 0.4 同时满足才标记为保留。
| 题项 | 高分组均值 | 低分组均值 | CR (t 值) | p | 题-总相关 r | 判定 |
|---|---|---|---|---|---|---|
| Q1 教学态度认真 | 4.05 | 1.91 | 15.605 | <0.001*** | 0.613 | ✅ 保留 |
| Q2 备课充分 | 4.10 | 1.89 | 16.228 | <0.001*** | 0.616 | ✅ 保留 |
| Q3 讲解清晰 | 4.20 | 1.97 | 17.052 | <0.001*** | 0.627 | ✅ 保留 |
| Q4 互动充足 | 4.12 | 1.90 | 16.263 | <0.001*** | 0.622 | ✅ 保留 |
| Q5 课件质量 | 3.10 | 2.85 | 2.270 | 0.0244* | 0.050 | ❌ 删除 |
| Q6 评估公平 | 4.16 | 1.85 | 17.674 | <0.001*** | 0.685 | ✅ 保留 |
| Q7 课外辅导 | 3.77 | 2.44 | 7.658 | <0.001*** | 0.287 | ⚠️ 修订 |
| Q8 启发思考 | 4.03 | 1.95 | 14.503 | <0.001*** | 0.622 | ✅ 保留 |
| Q9 教学创新 | 4.13 | 1.95 | 15.945 | <0.001*** | 0.632 | ✅ 保留 |
| Q10 整体满意度 | 4.15 | 1.91 | 16.572 | <0.001*** | 0.636 | ✅ 保留 |
| * p<0.05 ** p<0.01 *** p<0.001;判定阈值:CR ≥ 3.0 且 r ≥ 0.4 才保留 | ||||||
关键观察:8 道核心题 CR 均在 14 以上、r 均在 0.6 以上,区分度与同质性都很强。Q5 两项指标双不合格(CR=2.27 / r=0.05)——题面虽然问"课件质量",但学生答题几乎集中在中间档,无法区分高低分学生;Q7 CR 合格但 r 仅 0.29,说明这道题"题面正确但与量表主轴脱节",建议修订题面以贴近教学评价主线。
7. 文字分析
项目分析结果整体良好,但发现 2 道题需要处理:
- 合格保留(8 题):Q1 教学态度认真、Q2 备课充分、Q3 讲解清晰、Q4 互动充足、Q6 评估公平、Q8 启发思考、Q9 教学创新、Q10 整体满意度。这 8 题 CR 在 14.5-17.7 之间(远高于 3.0 阈值)、题-总相关 r 在 0.61-0.69 之间(远高于 0.4 阈值),区分度强、同质性高,可直接进入正式问卷。
- 建议删除:Q5 课件质量。CR=2.27(<3.0)+ r=0.05(远低于 0.4),两项指标均不达标。原因诊断:学生对"课件"的评价高度集中在中间档(3 分占 70%),既不能区分对教学整体评价高与低的学生,又与量表测量的"教学核心质量"主题几乎无关——属于"问了等于没问"的无效题,应予剔除。
- 建议修订:Q7 课外辅导。CR=7.66(达标)但 r=0.29(<0.4,同质性不足)。原因诊断:高低分学生在这道题上确实有差异(所以 CR 合格),但"课外辅导"与"课堂教学质量"理论上是两个不同维度,导致此题与其他 9 道题的总分相关偏低。处理建议:①若研究者关心的是"课堂教学"单维量表,应剔除或重新撰写为课堂相关题面;②若希望保留该题,可在因子分析中将其作为独立维度处理,不与其余题项加总求一个总分。
最终建议:删除 Q5、修订 Q7,对其余 8 题(或修订后的 9 题)再做 Cronbach α 信度与因子分析做后续验证。
8. 剖析提醒
项目分析用于题项筛选,不等同于完整信度或效度检验;删除题项应结合理论内容。