CTT试题分析

CTTC试题分析小程序

一、使用方法

1. 访问小工具,选择应用“测试项目分析”,点击”CTT试题分析“。

2. 点击”Browse files”,上传试题得分表(点击下载试题得分样表),得分表每列为一道题目。样表内容如下:

3. 上传后得分表后,默认所有题目为一层次,也可指定各个分层后计算。

二、结果说明

1. 信度

信度是测量理论中最重要的核心概念,指测量结果的一致性程度,亦称可靠性程度。在经典测量理论中信度被定义为:一组测量分数的真分数的方差(变异数)在总方差(总变异数)中所占的比率。

这里采用克龙巴赫$\alpha$信度:
$$r_{X X}=\frac{K}{K-1}\left(1-\frac{\sum S_{i}^{2}}{S_{X}^{2}}\right)$$

分层组合信度($\alpha_{\text {strat }}$):
$$\alpha_{\text {strat }}=1-\frac{\sum \sigma_{x_{i}}^{2}\left(1-\rho_{x_{i} x_{i}^{\prime}}\right)}{\sigma_{x}^{2}}$$

  • 各种评估的信度阈值:

2. 难度

  1. 二分法记分项目的难度
    $P=\frac{R}{N}$, 其中$P, R, N$分别代表项目难度,答对或通过的人数,全体被试数。
  2. 非二分法记分项目的难度
    $P=\frac{\bar{x}}{x_{\max }}$, $\bar{x}$代表某项目的平均分, ,$x_{\max }$代表该项目满分。

等距变换,上述难度无法进一步计算或相互比较,需转换成等距的Z分数。例:测验题目难易转换

且为表示方便,采用美国教育测验服务中心的难度指标:
$$\Delta=13+4 \times Z$$
根据统计$3 \sigma$原则,标准正态分布的$Z$一般在-3到+3之间,所以等距难度指数$\Delta$上限为25,下限为1,平均数为13,标准差为4,$\Delta$越高,难度越大。

3. 区分度

用项目分数与除该项目外的总分的pearson相关系数作为项目区分度指标,相关越高,项目区分度就越高,区分度 $r_R$ :
$$r_R = \frac {\sum xy}{Ns_Xs_Y}$$

  • 区分度常用判断标准:

留下评论