Prometric在将程序从基于纸张的交付过渡到基于计算机的交付方面拥有丰富的经验。测试开发部门配备了直接参与方法学研究和应用的心理学家,以确保在这种过渡期间对候选人表现的影响最小。

研究

在过去的10到15年中,基于计算机的考试(CBT)变得异常多产,因此业界对基于纸质考试和基于计算机的考试之间的可比性的研究数量已大大增加。可以预料,最初将计算机引入测试人群时常见的研究结果不再与当今进入测试环境的候选人群相关。随着候选人群对计算机的了解,访问和熟悉程度的提高,引入基于计算机的考试的影响已大大降低。由于计算机的可用性在所有人口子群体中均呈指数级增长,因此在多个候选细分市场中都是如此。

在总结过去5到10年(最近一次是在1997年进行)的多项研究的结果时,在研究领域中确定的要点如下:

  1. 基于纸质测试和基于计算机的测试对考试成绩的影响大小通常在统计学上不显着(p> 0.05),表明两种测试方法之间没有实质性差异。
  2. 对基于纸质与基于计算机交付的单个项目的差异项目功能(DIF)分析通常表明,当项目类型有利于两种交付方式时,两个交付渠道中项目的性能是可比的。
  3. 与候选人库之间有关基于计算机的考试交付的明确沟通可以进一步减少交付模式影响最终候选人表现的机会。
  4. 在模拟测试环境中进行准备和练习(通过现场测试之前的实践考试和/或辅导)可以减少候选人的表现焦虑,并进一步有助于获得公平的测试结果。

除了可用于测试行业的理论研究之外,Prometric还具有评估和比较多个交付渠道的候选绩效方面的实践经验。我们已经成功地将大量客户从一种交付方式迁移到另一种交付方式,并且一直评估候选人的表现,以确保为所有候选人提供公平的机会来展示其知识(与所使用的渠道无关)。此外,Prometric还拥有许多使用双重交付模型的客户(基于纸张和基于计算机的交付),这也允许在多个测试环境中持续监控考试成绩和单个项目成绩的可比性。 Prometric的发现始终如一地反映了一般测试社区的上述发现,并且我们已经能够开发和改进确保所需结果的方法。

实践

在迁移检查程序时,应考虑几个步骤。尽管有很多单独的任务,但是主要活动包括以下内容:

  1. 当前项目库的评估通常在项目开始时对当前纸质项目库进行评估,以确保适用于基于计算机的环境并收集基线统计信息以供将来评估。
  2. 修改项目演示文稿如有必要,Prometric会就单个项目的修改提出建议,以增加在基于计算机的环境中进行整体考试的公平表现的可能性。
  3. 准备与候选人的沟通工作Prometric与客户合作,以确保在引入新的交付模型之前针对候选人人群进行适当的沟通活动。
  4. 准备样本考试和/或教程Prometric会在现场考试之前准备提供给候选人的实践考试和/或教程,以通过测试交付模型提高候选人的舒适度。
  5. 考试和项目分析使用在步骤2中收集的基准数据,Prometric将评估考试和项目级别的表现,以确保候选人表现的可比性。
  6. 持续监控和维护在初步确认可比性后,交付模型的评估不会停止。 Prometric心理测量师将持续监视USPS项和考试的表现,以确保它们在可接受的统计参数范围内执行,并预测未来测试开发的需求。

Prometric将上述方法嵌入我们的测试开发和交付流程中,以确保所有候选人的公平,有效和合法辩护程序。我们在成功实施基于计算机的考试方面的经验与我们成熟的流程相匹配,可确保在整个考试生命周期中确保产品质量和性能。

返回论文至基于计算机的测试页面