11.5.2  评分者信度实例分析

【例11.5】 某校学生举办歌唱大赛，请5位评委老师为最终进入决赛的6名同学评定等级，结果如表11-10所示，请计算其信度。

表11-10  歌唱大赛评定等级结果

学生

教师

A1

A2

A3

A4

A5

A6

A

3

4

4

3

3

5

B

4

3

4

3

4

3

C

2

3

3

2

5

3

D

4

4

5

3

4

4

E

3

2

4

3

3

3

解：本例数据涉及多个评价者对多个人的成绩评价是否具有一致性，目的在于计算评分者信度的高低，可以用肯德尔W系数描述。具体操作如下。

1．操作过程

(1)根据题意建立数据文件，如图11-17所示。

图11-17  评委老师打分数据(2)选择"分析"�1"非参数检验"�1"旧对话框"�1"K个相关样本"命令，打开"多个关联样本检验"对话框，如图11-18所示。

图11-18 "多个关联样本检验"对话框

(3)选择变量及检验类型：将左边列表框中要分析的变量移入右侧的"检验变量"列表框中，在"检验类型"选项组中勾选"Kendall的W"复选框。

(4)选择统计量：单击"统计量"按钮，打开"多个相关样本：统计量"对话框，如图11-19所示。勾选"描述性"复选框。单击"继续"按钮，返回"多个关联样本检验"对话框。

图11-19 "多个相关样本：

统计量"对话框

(5)单击"确定"按钮，输出结果。

2．结果分析

(1)秩均值表：因为肯德尔检验使用的是等级评分，所以进行检验需要首先将数据转化为其对应的秩。在结果中首先显示的是肯德尔W检验的秩均值表，如表11-11所示。从表中可以看出，6名学生得分的平均秩分别为5.10、3.10、2.00、4.00、3.80和3.00。

表11-11  秩

秩均值

秩均值

A3

5.10

A5

4.00

A1

3.10

A6

3.80

A4

2.00

A2

3.00

(2)检验统计表：结果中接下来呈现的是检验统计量，如表11-12所示。从表中可以看出，Kendall W系数为0.406，卡方为10.146，P=0.071＞0.05，可以认为这6名学生得分的平均秩没有显著差异，也说明这5名评委对6名同学的打分具有一致性，即具有评分者信度。

表11-12  检验统计量

N

5

N

5

KendallWa

.406

df

5

卡方

10.146

渐近显著性

.071

【责任编辑：book TEL：(010)68476606】

点赞 0