什么叫信度和效度？
https://www.doczj.com/doc/ce9071064.html,/view/698675.htm
测试信度(test reliability)也叫测试的可靠性，指的是测试结果是否稳定可靠。也就是说，测试的成绩是不是反映了受试者的实际语言水平。例如，如果同一套测试在对同一测试对象（即受试者本身没有变化）进行的数次测试中，受试者的分数忽高忽低的话，则说明该测试缺乏信度。测试的信度与测试的效度有着密切的关系。一般说来，只有信度较高的测试才能有较高的效度，但效度较高不能保证信度也一定较高。测试的信度主要涉及到试题本身的可靠性和评分的可靠性这两个方面。试题本身是否可靠主要取决于试题的范围、数量、试题的区分度等因素；评分是否可靠则要看评分标准是否客观和准确。
测试的信度通常用一种相关系数（即两个数之间的比例关系）来表示，相关系数越大，信度则越高。当系数为1.00时，说明测试的可靠性达到最高程度；而系数是0.00时，则测试的可靠性降到最低程度。在一般情况下，系数不会高到1.00，也不会降到0.00，而是在两者之间。对信度指数的要求因测试类别的不同而不同，人们通常对标准化测试的信度系数要求在0.90以上，例如“托福”的信度大致为0.95，而课堂测试的信度系数则以0.70-0.80之间为可接受性系数。测试信度的计算方法有很多种，以下仅介绍三种易于操作的方法：
1）重测法（the retesting method）。用同一套试卷在两个不同时间内来测试同一批受试者，这样便获得两组分数，然后计算出两组分数的相关系数。当然，在两次测试中，学生第二次的测试成绩理应比第一次的要高，因为在第二次测试时学生已经有了进步而且临场经验也更丰富了。但是若该试题是比较可靠的，每个学生在两次测试中的排名次序应该是基本不变的。
2）交替形式法（the alternative method）。对同一批受试者使用试题类型完全相同，难易程度相当，但具体题目不同的两套对等试卷先后进行两次测试，然后计算出两次得分的相关系数。
3）对半法（the split－half method）。测试只进行一次，但将整份试卷的题目按单、双数分成两组来分别计分，算出两组分数的相关系数，然后再用Spearman －Brown的公式计算整份试卷的信度系数。具体计算步骤是：将两组分数的相关系数乘以2，再除以1加两组分数的相关系数。
https://www.doczj.com/doc/ce9071064.html,/view/698674.htm
测试效度(test validity)亦称测试的有效性，指一套测试对应该测试的内容所测的程度。也就是说，一套测试是否达到了它预定的目的以及是否测量了它要测量的内容。例如：“Is photography an art orscience？Discuss．”这种题目以摄影的知识为前提和主要内容，用来考语言能力，就不具有效性。又如用听写来测量学
生的听觉能力，其效度也是不理想的，因为书面记录有声语言不仅涉及学生的听觉能力，而且还与他们的书写速度、拼写能力、语法知识、记忆能力和对全文的理解能力等有关。
测试的效度一般可分为以下几类：
1）表面效度（face validity）。指测试应达到的卷面标准，即一套测试题从表面看来是否是合适的。例如，若一次阅读理解力的测试包括许多受试者没有学过的方言词汇，则可认为这次测试缺乏表面效度。表面效度是测试出受试者正常水平的一种保证因素。
2）内容效度（content validity）。指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。例如，如果某一套发音技能测试题仅仅考查发音所必须具备的某些技能，如只考单一音素的发音，而不考查重读、语调或音素在词语中的发音，那么，该测试的内容效度就很低。
3）编制效度（construct validity）。指一套测试题的诸项目对编制该测试所依据的理论的各个基本方面的反映程度。例如，以结构主义语言理论为基础，认为系统的语言习惯是通过句型而获得的，那么，强调词汇和语法环境的测试题目就失去了编制效度。
4）经验效度（empirical validity）。经验效度是一种衡量测试有效性的量度，通过把一次测试与一个或多个标准尺度相对照而得出。经验效度可分为两种：一是共时效度（concurrent validity），即将一次测试的结果同另一次时间相近的有效测试的结果相比较，或同教师的鉴定相比较而得出的系数；二是预测效度（predictive validity），即将一次测试的结果同后来的语言能力相比较，或是同教师后来对学生的鉴定相比较而得出的系数。
一般来说，对某次测试的效度进行检验时，除了要根据教学大纲的要求和观念有效性的理论对试卷的内容进行考查以外，还须采用计算相关系数的定量方法，即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数。系数高则有效性大。课堂测试的效度应在0.4-0.7之间，规模较大的测试其效度应在0.7以上
调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法，根据调查目的设计的调查问卷是问卷调查法获取信息的工具，其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性，在形成正式问卷之前，应当对问卷进行试测，并对试测结果进行信度和效度分析，根据分析结果筛选问卷题项，调整问卷结构，从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析，本文主要讨论后者。 一、信度分析 信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。信度分析的方法主要有以下四种： 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。显然，重测信度属于稳定系数。重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。 2、复本信度法 复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的
关于调查问卷的信度和效度检验 （一）信度 1 、信度的含义 测验的信度又称测验的可靠性 , 是指同一个测验对同一组被试施测两次或多次 , 所得结果一致形程度。一个好的测验必须是稳定可靠的 , 多次使用所获得的结果是前后一致的。例如 , 用直尺测量长度 , 其结果是稳定可靠的 ; 用橡皮筋测长度则是不可靠的 , 前后测量结果缺乏一致性。在测量理论中 , 信度被定义为 : 某次测验分数的真变异数与总变异数 ( 即实测分数 ) 之比 : 2 2 S R x xx ST = 式中 Rxx 表示测量的信度 ,ST 2 代表真分数的变异数 ( 方差 ),Sx 2 表示实得分数的变异数 ( 方差 ) 。 从上式可看出 , （ 1 ）信度是指实测值和真值相差的程度 , 实测值是指对某物实际进行测量时所获得值 , 也称实测分数 (X); 真值是指被测事物的真实规模取值 , 也称真分数 (T) 。由于各种原因 , 实得分数常不等于真分数 , 两者之差称为测量误差或误差分数 (E) 。从理论上看 , 实得分数由真分数和误差分数两部分组成即 :X=T+E Rxx 就是对一组测验数据的实测分数与真分数相差程度的最好估计。 （ 2 ）信度又是指相同的测验对相同的被试再次测量时引起的同样反应的程度。如果两次测验中 , 受测者所得分数或所处等级前后一致 , 则说明测验结果的信度较高 ; 反之 , 两次测验结果一致性低 , 说明测验结果的信度低。 信度是任何一种测量的必要条件 ( 但不是唯一条件 ), 只有测量值接近或等于真值 , 用同一工具多次测量同一特性获得相同或相近的结果 , 才能认为这个测量结果是可靠的。信度对于教育测量尤其重要 , 只有信度高的教育测验才能成为教育工作者有用的工具 , 才能为教育工作者提供可靠的信息 , 为教育预测和决策提供客观依据。 2 、信度的估计方法 测验的信度是用信度系数的大小来表示的 , 根据测量理论 , 信度系数 2 2 S R x xx ST = 但是在实际测量中 , 一般只能获得实得分数 (X) 及实得变异数 (Sx 2 ), 而真分数 (T) 及真变异数 (ST 2 ) 是不知道的 , 因此 , 依据上述公式还无法机算信度系数。在统计上 , 主要采用相关分析的方法即机算两列变量的相关系数 , 用相关系数的大小来表示信度的高低。主要用以下方法来求得信度 : （ 1 ）再测法 : 用同一测验对同一被试 , 前后施测两次 , 根据两次测验分数计算相关系数 , 即是再测信度。该信度反映了测验的稳定性程度 , 故又称稳定性系数 , 是用皮尔逊积差相关公式计算的 : 2 12 1/21S S M M N X X R xx ?-= ∑ 式中 X 1 .X 2 为同一被试的两次测验得分 ,M1.M2 为两次测验的平均分数 ,S 1 .S 2 是两次测验的标准 差 ,N 是被试人数。 用再测法估计信度 , 可以得到有关测验结果是否随时间而变化及变化程度的资料 , 可以作为预测被测者将来行为表现的依据。但也存在明显的局限性 : 前后两次测验结果易受到练习和记忆的影响 , 前后两次施测的时间间隔影响稳定性系数 , 特别是对学绩测验的影响较大。如果时间间隔太长 , 被测者的身心因受环境影响将发生大的变化 , 从而对第二次施测结果产生较大影响 , 使稳定性系数降低 ; 如果间隔太短 , 则被试第一次完成测验时练习和记忆会对第二次测验产生较大影响 , 使第二次测验性质发生变化。另外 , 有些测验不宜用再测法估计信度 , 如测量创造力测验 , 被试一旦掌握了解决问题的办法、原则 , 重测时 , 他将很容易作出反应 , 这样测验的性质就发生了改变。因此 , 只有在没有复本可用 , 测验不易受重复使用影响 , 现实条件又允许重复施测的情况下才使用重测法估计信度。 用重测法估计信度 , 间隔时间长短没有严格的规定 , 一般说 , 间隔时间越长 , 稳定性系数越低 , 最适
毕业学位论文调查问卷信度效度检验 一、隗金水--博士论文运动员选材的选育结合理论与实证研究 1、问卷的效度问题。本研究的调查问卷是在大量阅读有关运动员选材和早期训练及管理等资料的基础上,结合运动选材和训练实际,同时考虑教练员和运动员的特殊性(时间问题,阅读能力问题,对理论研究的兴趣问题等)编制而成,内容方面力求全面反映选育现状,文字表达方面字斟句酌,反复修改,力求简单朴素,言简意赅.按照《体育测量评价》效度理论及《社会研究方法》中的概念操作化的方法(艾尔.巴比,2000),先对调查的基本内容进行纲要式的拟订、修改,并在征求专家意见的基础上,最后确定调查内容纲要细目表(见表2一1表2一),这样可以在结构上保证内容的全面性而避免遗漏重要内容,再根据细目表逐一进行问卷的编写,达到概念操作化的目的,即将抽象的概念转化为可观测的具体指标或题目。然后在小范围内进行预备测试,并结合教练员和运动员的意见进行反复修改,力争在内容效度和表面效度达到较高要求。 2、调查问卷的信度检验。调查问卷定稿后,以重测法在小范围内进行了信度检验。其中教练员问卷在以沁2年7月在教练员进修班(45名学员)中进行重测,其信度系数为091(P劝.01);运动员问卷在60名运动员(田径专项)中进行重测,其信度系数为0.87(P劝.01)。在问卷设计和正式实施调查的过程中,采取了下列措施以确保问卷信度,(l)问卷题目数量尽量少,控制在一张A4纸(正反面)内。(2)语言表达上尽量通俗、简单扼要,主要采用选择题型,极少数题目采用填空题型。(3)匿名填写问卷。(4)运动员问卷的发放和填写尽量避开教练员在现场。 二、宋秀丽博士论文新农村社区体育研究--以东尉社区为个案 1、问卷信度：笔者之所以能有这样的便利条件发放问卷,原因在于本人的爱人是当地市日报社的记者,长山镇是其常年负责宣传报道的乡镇之一,在2008年6月曾经为东尉社区写过整版宣传报道,并获得滨州市新闻媒体单位的精品工程"本人爱人的工作特点为本论文问卷的发放回收以及实地考察提供了极为便利的条件"问卷调查的对象之所以将56岁以上老年人排除在调查范围之外,原因在于两方面,一是东尉社区对老年人采用集中供养的方式,凡是年龄达56岁者其家庭每年向公寓交一定象征性的费用就可以入住东尉社区的老年公寓,在老年公寓有专门为老年人提供的各种文体活动场地设施;二是东尉社区老年公寓老人文化水平一般较低,问卷的填答对他们来说有相当的难度"所以,对于老年公寓老年人的体育活动开展状况多是采用访谈方式进行 2、效度检验：问卷制定之后,请8位专家对问卷的内容和结构效度进行了检验,有5位专家认为合理,3位专家认为基本合理,问卷具有较高的结构效度" 三、陈琦--博士论文从终身体育思想审视我国学校体育的改革与发展 1、信度检验：问卷设计完后请专家判定问卷的指标是否能够含盖研究主题是否合适从而进行效度检验学生问卷专家认定率为91.72%教师问卷专家认定率为90.41%市民问卷专家认定率95.56%参见表2-1
研究信度与效度的关系 一、信度与效度的定义 信度即可靠性，它指的是采取同样的方法对同一对象重复进行测量时，其所得结果相一致的程度，或者说，信度是指测量结果的一致性或稳定性。 效度即准确度,它是指测量工具或测量手段能够准确测出所要测量的变量的程度，或者说能够准确、真实地度量事物属性的程度.二、信度与效度的关系 (一)教育科学研究中信度与效度的关系 信度是研究结果所显示的一致性、稳定性程度，也是对研究结果一致性和稳定性的评价标准。一个具有信度的研究程序，不论其过程是由谁操作，或进行多少次同样的操作，其结果总是非常一致的.效度是一个研究程序的性质和功能，也是对研究结果正确性的评价标准，一个有效度的研究程序，不仅能够明确地回答研究的问题和解释研究结果，而且能够保证研究结果在一定规模的领域中推广。把两者的作用结合起来看，信度和效度是一项教育科学研究活动和结果具有科学价值和意义的保证。研究的信度是研究的效度的一个必要的前提，没有信度,效度不可能单独存在，也就是说，一项研究不可能没有信度却具有效度。 （二）人力资源招聘信度与效度的关系 影响测评信度的因素有很多，主要是系统误差和随机误差.包括测评者的专业性和素质、被测评者本人的心理、侧评工具的稳定性、
环境的稳定性等都会影响测评的可信度。影响测评的效度因素也有很多，如测评工具、测评过程及测评者因素、被测评者状态、效标因素和信度因素等。在实际招聘与录用评估过程中要把握各相关方面，不仅要有专业的测评人员,同时也要在稳定的环境中为被测评者提供一个放松真实的氛围。信度和效度是人才侧评与选拔质量的重要指标.图形形式表现分析得出的信度和效度的三种关系,则会是以下这些样式，如图8—l .图8-2和图8—3所示。所以，：高信度是高效度的必要条件，但非充分条件.即信度高不一定其效度就高，但要想获得较高的测评效度,其信度必定要高, （三）用结构式问卷来测量家长“溺爱孩子”的行为中信度与效
第六章量表的信度效度检验 我们采用含有多个项目的量表来测量人们的意见、态度、看法等、这样得到的结果是否准确、可靠，是否有适用性？这就需要评价量表的信度和效度。从理论的观点来看，一个良好的测量工具（量表）应具有足够的效度和信度。 一、信度检验 信度（Reliability）即可靠性，是指采用同一方法对同一对象进行调查时，问卷调查结果的稳定性和一致性，即测量工具（问卷或量表）能否稳定地测量所测的事物或变量。信度指标多以相关系数表示，具体评价方法大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性\替换形式）和内在一致性系数（跨项目的一致性）。信度表示的方法主要有以下四种： 1、稳定性系数 稳定性系数是采用同样的问卷，对同一组访问对象在尽可能相同的情况下，在不同时间内进行两次测量，用两次测量结果间的相关分析来评价量表信度的高低，连皮尔逊积差相关系数即是信度系数，也称为重测信度，或再测信度。 两次测量，如果间隔时间过长，调查对象容易受环境和个人经历的影响而发生态度的转变，如果间隔时间过短，则受到上次调查记忆的影响。适当的间隔时间是既不能让调查对象记住上一次测验的内容，也不能让其被测的主观特征在两次测验之间没有发生较大的变化。适合的间隔时间要视调查对象和测量内容不同而不同，一般来说，年幼儿童，间隔时间要小，年长者，间隔时间可以延长。并且调查对象在两次测量期间没有发生于相关的重大事件。在最后提交调研报告时，要对间隔时间加以说明，报告间隔的时间。 2、等值系数（复本信度） 用两个复本在最短时间内对同一组调查对象进行测量所得结果的一致性程度，复本信度系数等于两个复本测量所得分数的皮尔逊积差相关系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度，是等值系数。复本类似于考试中得A、B卷，如果一个人在A卷和B卷的得分相同，就说明考题具有信度；如果两者差异很大，则缺乏信度。 复本信度的使用前提是测量所用的两个复本必须是等效的，两个复本要满足以下几个条件：两个复本测量的是同一种特征。两个复本具有相同的内容和形
如何保证人才测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解，从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要，形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术，已经为越来越多的企业人力资源部门所接受，而如何保证能力素质测评中的信度和效度，也越来越受到关注。下面，就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司，成立于1998年，总部设在上海。随着WTO的开放和工程项目的增多，工程公司在国内如雨后春笋般成长起来，就此拉开了人才竞争的序幕。尤其是上海，工程项目管理人才的争夺十分激烈，N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力，保留现有中高层骨干人才，并让他们“适人适位”，N公司请来了北大纵横管理咨询公司，希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 （一）中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物，测评的目的是为了保留人才、适人适岗，因此经过双方共同探讨，项目组在北大纵横经理人能力素质指标体系的基础上，结合N公司的实际情况，选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时，采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法，来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具，大家一致选定评价中心技术进行本次人才测评，并主要运用三类测评工具：心理测验、深度面谈和情景模拟测验。 （二）测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起，围绕测评因素，结合N公司实际情况进行测试题目的设计，并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试，人机对话；深度面谈设计了20个题目，涵盖了测评的各个维度；情景模拟采用案例分析和主题演讲两种测评工具，其中案例分析题库包含12题，主题演讲题库包含15题，被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中，测评小组成员由N公司内部专家、外部专家，以及北大纵横项目组组成。在测评实施前，对测评小组进行培训，使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问，被测评人根据提问回答问题，与测评小组进行双向沟通后，由测评小组根据评分标准对被测评人的表现现场打分，填入评分表；16PF人格要素测试要求被测试人进行40分钟的人机对话，由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异，为保证各个被试者成绩排序的正确性，在测评时，向测评者提供“成绩比较表”，供其记载各个被试者的各项测试的评分，便于他们进行比较。 4、分析测评结果并统计成绩。采用肯德尔和谐系数法对每个被测评者在各个测评要素上的得分进行评分者信度分析，并结合各测评要素在管理素质和业务素质方面的权重，计算出被测评人在业务素质和管理素质上的得分。测评结束后，测评小组对被测人员进行了问卷调查，了解他们对测评效果的看法。 三、测评为保证信度和效度所采取的措施 （一）保证测评信度采取措施分析 1、16PF测试采取的是计算机标准化题目的方式，计算机答题、计算机处理结果。被测试人员全部独立进行测试，并在规定时间内完成了测试。 2、深度面谈使用了20个题目，围绕测评因素的各个维度对被测评者进行考察。面谈进行顺利，被测人员都能较积极配合回答问题，和主试人进行较好的双向交流。 3、情景模拟采用案例分析和主题演讲两种测评工具，被测人员从两个题库中各抽取1题，测评小组根据其表现进行现场评估。测评得到了被测人员的积极配合，都能就问题提出自己的见解。 4、为增加评分者信度，本次测评工作专门成立了测评小组，并在测评前熟悉了整个测评程序和操作；各类能力素质附有评分标准，各类试题附有评分参考，力图对被测试者的表现进行量化分析；测评中，向测评者提供“成绩比较表”，
测量工具的信度和效度分析 常用的测量工具主要有调查问卷和量表，它们都是对个人行为和态度的一种测量技术，是测量答卷者对问卷题目主观认识的个体差异的工具，也是研究者用来搜集资料的一种技术。一般情况下，编制一份量表必须做效度和信度评价，而调查问卷则不是必须的。对于有些调查问卷，其包含了类似量表性质对答卷者客观指标测量的题目，对这部分题目需要进行效度和信度的评价。 第一节信度分析概述 一、信度的概念 信度是指测量工具的可靠性和稳定性的程度，或是指使用某测量工具所获得结果的一致程度或准确程度。 测量工具的信度包含2层含义：一是相同的个体在不同时间，以相同的测量工具测验或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即测量工具的测验结果是否随时间和地点等因素而变化；二是能否减少随机误差对测量工具测验结果的影响，从而反映测量工具所要测量的真实情况，即测量工具是否具有稳定性、可靠性和可预测性。 信度的三个特征是：稳定性、内部一致性和等同性。一个好的测量工具必须是稳定可靠，且多次测验结果应前后一致。 信度本质上是一个统计学概念，是用于估计测量误差大小的尺度，主要说明测量工具测验结果中测量误差所占的比例。实际应用中主要通过构建平行测验来计算测量工具的信度。 二、信度的评价方法 信度研究的是测量工具测验结果的可靠性与稳定性，这种可靠性与稳定性可以从4个不同的角度来评价：①在相同条件下所得测量工具测验结果一致程度； ②不同研究者用同一种测量工具同时测验所得结果的一致程度；③同一研究者用同一种测量工具在不同时间内测验所得结果的一致程度；④同一答卷者在不同时间内对同一种测量工具测验的稳定程度。 根据研究角度不同，信度分为外在信度（external reliability）与内在信度（internal reliability）两大类。外在信度是指不同时间测量时测量工具测量的一致性程度。内在信度是指测量工具是否测量的是单一概念，同时也表明测
2.3.3 信度和效度检验 （1）信度检验 采用Cronbach α系数、个别项目信度、潜在变量的组合信度（Composite Reliability, CR）进行信度检验，其中运用SPSS15.0中的“Analyze-Scale-Reliability Analysis”命令，并选择“Statistics”中的“Scale if item deleted”，来计算Cronbach α系数，利用LISREL8.70进行验证性因子分析来计算个别项目信度和组合信度，验证性因子分析的运算结果（详见附录3）经整理如表2.6所示： 从表2.6中关于Cronbach α系数的三栏中可以看出：C1、B4对应的“校正得项总计相关性”（Corrected Item-Total Correlation）偏低（相对于该部分量表中的其他指标对应值而言），且删除C1、B4有利于分别提升该部分量表的总体信度，故应将C1、B4两个指标删除。 同时“个别项目信度”一栏中C1、C2、B3、B4、P1这5个指标的因子负荷均小于0.50，根据社会科学研究特点，这5个指标也应删除，且删除后有利于提高整个因素的一致性；而另外35个指标的因子负荷均大于0.5，满足信度要求。 除此之外，诚信环境、企业素质、投标诚信、履约诚信、社会诚信各个量表以及整体的Cronbach α系数分别为0.750、0.845、0.817、0.862、0.830、0.939，属于很可信的区间范围；且对应的组合信度分别为0.75、0.85、0.83、0.86、0.83、0.96，均大于0.5，满足信度要求。 （2）效度检验 在信度检验删除5个指标基础上，首先，对有效样本数据进行KMO抽样适当性检验和Bartlett球形检验，检验结果显示KMO值为0.5，Bartlett球形检验的x2值为250.278（自由度为105），达到显著水平（p=0.000<0.001）。一般认为，当KMO值大于0.5时，即可进行因子分析，而本次KMO的检验值为0.5，说明本调查问卷的样本数据基本适合进行因子分析。 其次，采用主成分分析法，进行V arimax方差正交旋转，最终提取特征值大于1的因子4个，7个共同因子累计解释的变异量为60.74%，且正交旋转后得到的因子负荷矩阵如表2.7所示：
测量工具的信度和效度分析
测量工具的信度和效度分析 常用的测量工具主要有调查问卷和量表，它们都是对个人行为和态度的一种测量技术，是测量答卷者对问卷题目主观认识的个体差异的工具，也是研究者用来搜集资料的一种技术。一般情况下，编制一份量表必须做效度和信度评价，而调查问卷则不是必须的。对于有些调查问卷，其包含了类似量表性质对答卷者客观指标测量的题目，对这部分题目需要进行效度和信度的评价。
第一节信度分析概述 一、信度的概念 信度是指测量工具的可靠性和稳定性的程度，或是指使用某测量工具所获得结果的一致程度或准确程度。 测量工具的信度包含2层含义：一是相同的个体在不同时间，以相同的测量工具测验或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即测量工具的测验结果是否随时间和地点等因素而变化；二是能否减少随机误差对测量工具测验结果的影响，从而反映测量工具所要测量的真实情况，即测量工具是否具有稳定性、可靠性和可预测性。 信度的三个特征是：稳定性、内部一致性和等同性。一个好的测量工具必须是稳定可靠，且多次测验结果应前后一致。 信度本质上是一个统计学概念，是用于估计测量误差大小的尺度，主要说明测量工具测验结果中测量误差所占的比例。实际应用中主要通过构建平行测验来计算测量工具的信度。 二、信度的评价方法 信度研究的是测量工具测验结果的可靠性与稳定性，这种可靠性与稳定性可以从4个不同的角度来评价：①在相同条件下所得测量工具测验结果一致程度；②不同研究者用同一种测量工具同时测验所得结果的一致程度；③同一研究者用同一种测量工具在不同时间内测验所得结果的一致程度；④同一答卷者在不同时间内对同一种测量工具测验的稳定程度。 根据研究角度不同，信度分为外在信度(external reliability )与内在信度(internal reliability )两大类。外在信度是指不同时间测量时测量工具测量的
试卷的难度、区分度、信度和效度 一.试卷的难度 （一）什么是难度 难度是指试卷的难易程度，是评价考试的一个非常重要的一个指标。一个题目，如果大部分考生都能答对，那么这个题目的难度就小；如果大部分考生都不能答对，那么这个题目的难度就大。 客观题难度计算公式：P（难度指数）＝试卷答对人数/考生人数；主观题难度计算公式：P＝试卷平均得分/试卷满分。试卷难度计算公式：P＝为平均分，K 为试卷满分值。易、中、难的标准为：易：P≥0.7，中：0.4≤P≤0.69，难：P≤0.39；P值越大，难度越低，P值越小，难度越高。一般来说，难度值平均在0.5最佳，难度值过高或过低，都会降低测验的信度。 （二）难度的计算 （1）客观性试卷难度P（这时也称通过率）计算公式： P=k/N（k为答对该题的人数，N为参加测验的总人数） （2）主观性试卷难度P计算公式： P=X/M（X为试卷平均得分；M为试卷满分） （3）适用于主、客观试卷的计算公式： P=（P H +P L ）/2（P H 、P L 分别为试卷针对高分组和低分组考生的难度值） 步骤为:①将考生的总分由高至低排列；②从最高分开始向下取全部试卷的27%作为高分组；③从最低分开始向上取全部试卷的27%作为低分组；④计算。 （三）试卷难度的一般要求 就高考来说，难度以适中为宜，单个试卷的难度以0.3--0.7之间为好，整卷以0.5--0.6之间为最佳。一般将难度值大于和等于0.7的试卷定为容易题；大于0.4和小于0.7的定为中档题；小于和等于0.4的试卷定为难题。命题时难度一般要按一定比例分配，如3：6：1或3：5：2。 二.试卷的区分度 （一）什么是区分度 区分度是指考试卷目对考生心理特征的区分能力。区分度高的试卷能将不同水平的考生区分开来，水平高的考生得高分，水平低的考生得低分。区分度高的
附件6、 难度、区分度、信度和效度的一般说明 一、难度 难度是指试题的难易程度，它是衡量试题质量的一个重要指标参数，它和区分度共同影响并决定试卷的鉴别性。 一般认为，试题的难度指数在0.3－0.7之间比较合适，整份试卷的平均难度最好在0.5左右，高于0.7和低于0.3的试题不能太多。 1、难度的两种定义 （1）P=1－x/w 其中：x为某题得分的平均分数，w为该题的满分。 这种定义法，难度值小时表明试题容易，值大时表明试题难，最小值为0，最大值为1。 （2）P=x/w 这种定义法，难度值小时表明试题难，值大时表明试题容易，最小值为0，最大值为1。 2、难度的计算 （1）主观性试题的难度 A、基本公式法：P=1－x/w B、极端分组法P=1－(XH+XL)/2W 其中：XH为高分组的平均得分（前27%），XL为低分组的平均得分（后27%）。
（2）客观性试题的难度 A、基本公式法：P=1－R/N 其中：R为答对人数，N为全体人数。 B 极端分组法：P=1－（PH+PL）/2 其中：PH=RH/n叫高分组通过率，RH为高分组答对人数，n 为总人数的前27%。PL=RL/n 叫低分组通过率，RL为低分组答对人数。 二、区分度 区分度是区分应试者能力水平高低的指标。试题区分度高，可以拉开不同水平应试者分数的距离，使高水平者得高分，低水平者得低分。而区分度低则反映不出不同应试者的水平差异。 试题的区分度与试题的难度直接相关。通常来说，中等难度的试题区分度较大。另外，试题的区分度也与应试者的水平密切相关，试题难度只有等于或略低于应试者的实际能力，其区分性能才能充分显现出来。 1、区分度指标的评价 -1.00≤D≤+1.00，区分度指数越高，试题的区分度就越强。一般认为，区分度指数高于0.3，试题便可以被接受。 2、区分度的计算方法 （1）基本公式法：D＝（H－L）/N 其中：D代表区分度指数，H代表高分组答对题的人数，L代表低分组答对题的人数，N代表一个组的人数即高分组与低分组人数之
如何进行信度检验、效度检验：概念介绍&软件操作一、构念的维度： 可以用验证性因子分析（CFA）检验因子（维度）与测项之间的从属关系是否正确。检验指标是各个拟合优度指数和路径系数。 二、量表的信度： 信度包括重测信度、复本信度和内部一致性信度。在一次测量中，只能检验内部一致性信度，通常是用α系数。SPSS可以进行信度检验，一般要求α>0.7。每个测项的item-total correlation（项对总项相关系数）>0.4。同时还要看每个测项“α if item deleted”的值，它表示的是当删除该测项时，量表的α系数的值。如果α if item deleted>原来的α，则应该删除该测项。 三、构念的效度 1. 构念的收敛效度（convergent validity） 收敛效度指的是量表与同一构念的其他指标确实相互关联的程度。收敛效度可通过CFA检验，观察测量项目在构念上的负载（loading），如果标准化估计值（standardizes estimate）大于0.5，且t值大于1.96，平均提取方差（Average variance extracted，AVE）大于0.6，组合信度（construct reliability，CR）大于0.7，通常认为收敛效度较高。 ●平均提取方差（AVE）：表示的是潜变量的变异量中有多大比例能用指 标变异量来解释（即指标解释潜变量的程度）； ●组合信度（CR）：模型内在质量的判别准则之一，反映了每个潜变量中 所有测项是否一致性地解释该潜变量。 2. 构念的判别效度（discriminant validity） 判别效度指的是一个测量值与其他应该有所不同的构念之间不相互关联的程度。判别效度可通过CFA检验，如果各个因子的AVE的平方根比该因子与其他因子之间的相关系数都大，则判别效度较高（或者说AVE的平方根大于该构念与任何其他构念的相关系数，则判别效度较高）。 另外一种检验判别效度的方法是卡方检验。在一个限制模型中(相关系数限制为1)，配对构念之间的相关系数如果允许自由估计，卡方值显著地减少了，则说明两个构念之间的判别效度较高。卡方分布临界点为 3.84(P<0.05)或6.63(P<0.01)。 3. 构念的法则效度（nomological validity） 法则效度指的是量表以在理论上可以预测的方式，与不同但相关的构念的测量值之间相互关联的程度。 ◆收敛效度、判别效度、法则效度并称为建构效度（construct validity）；另外 两种效度是内容效度（content validity）和标准效度（criterion validity）。内容效度是对量表的内容表现特定测量项目任务的优劣程度的一个主观而系统的评价。标准效度指一个量表是否像预期的那样反映与选作标准的其他变
评估测评的信度与效度 案例 一、案例背景 N公司是一家外资工程管理公司，成立于1998年，总部设在上海。随着WTO 的开放和工程项目的增多，工程公司在国内如雨后春笋般成长起来，就此拉开了人才竞争的序幕。尤其是上海，工程项目管理人才的争夺十分激烈，N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力，保留现有中高层骨干人才，并让他们“适人适位”， N公司请来了北大纵横管理咨询公司，希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 （一）中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物，测评的目的是为了保留人才、适人适岗，因此经过双方共同探讨，项目组在北大纵横经理人能力素质指标体系的基础上，结合N公司的实际情况，选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时，采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法，来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具，大家一致选定评价中心技术进行本次人才测评，并主要运用三类测评工具：心理测验、深度面谈和情景模拟测验。 （二）测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起，围绕测评因素，结合N公司实际情况进行测试题目的设计，并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试，人机对话；深度面谈设计了20个题目，涵盖了测评的各个维度；情景模拟采用案例分析和主题演讲两种测评工具，其中案例分析题库包含12题，主题演讲题库包含15题，被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中，测评小组成员由N公司内部专家、外部专家，以及北大纵横项目组组成。在测评实施前，对测评小组进行培训，使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问，被测评人根据提问回答问题，与测评小组进行双向沟通后，由测
如何进行信度检验、效度检验：概念介绍& 软件操作一、构念的维度： 可以用验证性因子分析（CFA）检验因子（维度）与测项之间的从属关系是否正确。检验指标是各个拟合优度指数和路径系数。 二、量表的信度： 信度包括重测信度、复本信度和内部一致性信度。在一次测量中，只能检验内部一致性信度，通常是用α系数。SPSS可以进行信度检验，一般要求α>0.7。每个测项的item-total correlation（项对总项相关系数）>0.4。同时还要看每个测项“α if item deleted”的值，它表示的是当删除该测项时，量表的α系数的值。如果α if item deleted>原来的α，则应该删除该测项。 三、构念的效度 1. 构念的收敛效度（convergent validity） 收敛效度指的是量表与同一构念的其他指标确实相互关联的程度。收敛效度可通过CFA检验，观察测量项目在构念上的负载（loading），如果标准化估计值（standardizes estimate）大于0.5，且t值大于1.96，平均提取方差（Average variance extracted，AVE）大于0.6，组合信度（construct reliability，CR）大于0.7，通常认为收敛效度较高。 ●平均提取方差（AVE）：表示的是潜变量的变异量中有多大比例能用指 标变异量来解释（即指标解释潜变量的程度）； ●组合信度（CR）：模型内在质量的判别准则之一，反映了每个潜变量中 所有测项是否一致性地解释该潜变量。 2. 构念的判别效度（discriminant validity） 判别效度指的是一个测量值与其他应该有所不同的构念之间不相互关联的程度。判别效度可通过CFA检验，如果各个因子的AVE的平方根比该因子与其他因子之间的相关系数都大，则判别效度较高（或者说AVE的平方根大于该构念与任何其他构念的相关系数，则判别效度较高）。 另外一种检验判别效度的方法是卡方检验。在一个限制模型中(相关系数限制为1)，配对构念之间的相关系数如果允许自由估计，卡方值显著地减少了，则说明两个构念之间的判别效度较高。卡方分布临界点为 3.84(P<0.05)或6.63(P<0.01)。 3. 构念的法则效度（nomological validity） 法则效度指的是量表以在理论上可以预测的方式，与不同但相关的构念的测量值之间相互关联的程度。 ◆收敛效度、判别效度、法则效度并称为建构效度（construct validity）；另外 两种效度是内容效度（content validity）和标准效度（criterion validity）。内容效度是对量表的内容表现特定测量项目任务的优劣程度的一个主观而系统的评价。标准效度指一个量表是否像预期的那样反映与选作标准的其他变
一、构念的维度： 可以用验证性因子分析（CFA）检验因子（维度）与测项之间的从属关系是否正确。检验指标是各个拟合优度指数和路径系数。 二、构念的效度 1.构念的收敛效度（convergent validity） 收敛效度指的是量表与同一构念的其他指标确实相互关联的程度。收敛效度可通过CFA检验，观察测量项目在构念上的负载（loading），如果标准化估计值（standardizes estimate）大于0.5，且t值大于1.96，平均提取方差（Average variance extracted，AVE）大于0.6，组合信度（construct reliability，CR）大于0.7，通常认为收敛效度较高。 2.构念的判别效度（discriminant validity） 判别效度指的是一个测量值与其他应该有所不同的构念之间不相互关联的程度。判别效度可通过CFA检验，如果各个测量对因子的平均提取方差（Average variance extracted，AVE）大于该因子与任何其他因子的共同方差（highest shared variance），则判别效度较高。另外一种检验判别效度的方法是检验修正指数（modification index，MI）的显著性。MI指的是模型中某个受限制的参数（通常是固定为0的参数），若允许自由估计，模型会因此改良，整个模型卡方值的减少量，称为此参数的修正指数。Ml小于3.84(P<0.05)或6.63(P<001)，表明测量模型有较好的判别效度。 3.构念的法则效度（nomological validity） 法则效度指的是量表以在理论上可以预测的方式，与不同但相关的构念的测量值之间相互关联的程度。 收敛效度、判别效度、法则效度并称为建构效度（construct validity）；另外两种效度是内容效度（content validity）和标准效度（criterion validity）。内容效度是对量表的内容表现特定测量项目任务的优劣程度的一个主观而系统的评价。标准效度指一个量表是否像预期的那样反映与选作标准的其他变量（标准变量）之间的关系，包括平行效度（parallel validity）和预测效度（predictive validity）。 三、量表的信度： 信度包括重测信度、复本信度和内部一致性信度。在一次测量中，只能检验内部一致性信度，通常是用α系数。SPSS可以进行信度检验，一般要求α>0.7。每个测项的item-total correlation（项对总项相关系数）>0.4。同时还要看每个测项“αif item deleted”的值，它表示的是当删除该测项时，量表的α系数的值。如果αif item deleted>原来的α，则应该删除该测项。 1 / 1
从统计数据质量角度谈调查问卷的设计质量 一、引言 从保证统计数据质量的统计工作过程看，统计数据质量可以被划分为统计设计质量、统计调查质量、统计整理质量、统计分析质量以及数据发布传输质量等。统计设计质量是保证统计数据质量的首要环节，在统计数据质量保证体系中起着关键性作用。统计设计质量一般包括调查问卷设计质量与调查方案设计质量，其中调查问卷设计质量指的是：通过问卷测量得到的，反映调查对象客观现象的统计数据的准确性和有效性，即调查问卷设计质量的好坏，需要通过问卷测量能力的高低来检验。 在市场调查中，为了深入地研究一些本质的或理论性的现象，问卷调查法被广泛运用，除了调查时采用的抽样方法以及所抽取的调查对象是否具有代表性之外，调查者最关心的就是调查问卷的测量能力。问卷测量能力包含了两个方面的内容，即问卷测量结果的准确性和有效性。准确性和有效性是统计数据质量蕴涵的最主要的两个特性，一个好的调查问卷设计不仅可以保证在多次重复使用下得到可靠的数据结果，即准确性；也可以保证所得测量结果能够反映它所应该反映的客观现实，即有效性。 所以我们可以通过对问卷测量能力的分析来检验问卷的设计质量，对问卷设计进行质量控制，进而发现问卷设计中应注意的问题。在此基础上，通过不断改进问卷设计，提高其测量能力，最终将有助于我们得到高质量的调查数据。 二、调查问卷的设计质量检验 信度和效度的概念来源于心理测试中关于测验的可靠性和有效性研究，当建构和评估测量时，通常使用信度和效度这两个技术性指标。因此我们采用问卷的信度和效度分析来评估其测量能力，进而实现对问卷设计质量的检验。 1．问卷设计质量的信度检验 所谓问卷设计质量的信度检验，指的是对问卷测量结果准确性的分析，即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中，信度检验多以相关系数表示，常用的方法有：重测信度，复本信度，折半信度，克朗巴哈信度，评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献，在这里，笔者不再一一详述，仅列出相关公式作为参考。 （1）重测信度，也叫稳定系数，对同一组调查对象采用同一调查问卷进行先后两次调 查，采用检验公式，其中为两次调查结果的协方差，为第一次调查结果 的协方差，为第二次调查结果的协方差。系数值越大说明信度越高。 （2）复本信度，也叫等值系数，对同一组调查对象进行两种相等或相近的调查，要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式，系数越大，说明两份问卷的信度越高，具体调查时使用哪一份都可以。 （3）折半信度，也叫内在一致性系数，将调查的项目按前后分成两等份或按奇偶题号分成两部分，通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得 分的方差相等时，检验用Spearman-Brown公式来表示：，其中表示折半信度系数；当假定方差不相等时，采用Flanagan 公式：，其中、分别 表示两部分调查结果的方差，表示整个问卷调查结果的方差。如果折半信度很高，则说明这份问卷的各项题之间难度相当，调查结果信度高。 （4）克朗巴哈信度，是对折半信度的改进，检验公式是：，其中
浅析语言测试中信度与效度两者之间的关系语言测试在语言教学中处于中心地位，是从属于应用语言学这一学科的。在过去语言测试在应用语言学中处于边缘地位，而在长达三十多年的发展中，语言测试现已发展成为一个相对独立的学科，已经在学术上占有了一席之地。通过语言测试教育者可以及时发现学习者学习上存在的不足之处并在日后的教学过程中加以正确引导，也可以衡量教学任务和教学大纲的执行情况，但是这些都是基于科学的语言测试能够得到良好的反馈情况，反之，如果是一套不科学的语言测试就很可能对学习者做出错误的判断从而影响学习效率，所以科学的语言测试无论是对受教育者还是对教育者来说都是非常重要的。一套设计比较科学的测试应该是具有信度，效度，难度和区分度四点特征，信度与效度是难度和区分度的基础，同时也是语言测试的两大根本要求，只有正确认识了信度与效度两者之间的关系才能寻找出一个科学的方法使得语言测试更加科学准确。 信度指的是测量的一致性，一个实验或测试的信度指它在重复测量时产生同样结果的程度，也就是说测量的稳定性是否一致。影响信度的因素很多，其不仅存在于考试过程中的各个环节，也存在于阅卷的过程中，如试卷中的试题长度偏长，项目种类多，那么测试的信度就会提高，反之则会降低，考试分数集中于某一点或某一个区域时信度也会有所降低；考试期间考生时间充裕那么估算能力考试的信度也相对较高等等，这些都是存在于考试过程中各个环节的部分举例，在阅卷过程中阅卷者自身的信度和阅卷者之间的信度等问题也是影响信度的因素之一，如在评阅主观性的题目时（作文，口语等），阅卷者在评分时就具有很大的主观色彩，而不同的阅卷者掌握的主观的评分标准在评阅主观性试题时，不容易取得一致，也会使得测试的信度不稳定。效度指的是我们所获的证据在多大程度上支持我们根据分数所做出的推断，也就是考试是否检测到了它所要检测的东西，是否达到了它的预定目标。效度共分为三种不同的类型，其不同类型的效度测试有各自不同的测试着重面，内容效度测试的目的是为了了解测试者在一些实际环境中是如何运作的，如果测试的样本能够充分代表总体，那么测试在内容上就是有效的，反之效度则不高；预测效度和共时效度都是属于与标准有关的效度，预测效度是标志测试者将来能力的标准，如通过摸底考试分班，共时效度是指一个测试结果与另一个同时使用的标准的结果的关系;构想效度是指要考察一个测试者在多大程度上和我们根据某一理论所作出的预测是否一致，也就是说验证的是我们所做的假设是否有效。 信度和效度是语言测试中的两个最重要的方面，两者之间既相互依存又相互对立，可以说二者是存在于对立统一的一个整体中。