当前位置:文档之家› 心理学中的各种信度和效度

心理学中的各种信度和效度

心理学中的各种信度和效度
心理学中的各种信度和效度

心理学中的各种信度和效度

一、信度

所谓信度,指的是测量结果的稳定性程度,其操作定义是,信度乃是一个测验X与它的任意一个“平行测验X'的相关系数。无关因素、测验的长度、测验试题的区分度、被试团体的代表性都会影响信度。

(一)重测信度

1、定义:利用同一量表,让同一被试群体在不同时间两次施测之后的相关值。这一信度值表示的是测验结果的稳定性,故也称之为稳定性系数。

2、形式:施测——经过适当时间——再施测

3、举例:假设有一份主观幸福感调查表,先后两次施测于10名学生,时间间隔为半年,结果如下表所示,求该测验的重测信度。

4、使用的前提条件

(1)所测量的心理特质必须是稳定的。

(2)遗忘和练习的效果基本上互相抵消。

(3)在两次施测的间隔期内,被试在所要测查的心理特质方面没有更多的学习和训练。5、注意事项

(1)有些测验不宜采用重测法估计信度,如测量推理和创造力的测验。那些不易受重复使用影响的测验才能用再测法估计信度。如感觉运动测验、人格测验。

(2)两次测验间隔的时间要适当,并注意提高被试的积极性

(3)测验手册中报告重测信度时应说明两次施测的间隔,以及在此期间内被试的有关经历(4)时间间隔的把握:适宜时间间隔依照测验目的、性质及被试特点而定,可以是几分钟甚至几年。例如对于年幼儿童的间隔要小;年长群体的间隔可大。但智力测验的间隔不能太短,成就测验的间隔不能太长。一般间隔时间不超过六个月,既不能让被试记住上一次测验的内容,又不能让其特质发生变化,或对所学知识产生遗忘。

6、重测信度的评价:

(1)优点:能够提供有关测验结果是否随时间而变异的资料,可作为预测受测者将来行为表现的依据。

(2)缺点:易受练习和记忆的影响,前后两次施测间隔的长短必须要适度。

(二)复本信度

1、什么是复本:任何测验只是所有可能题目中的一份取样,所以可编制许多平行的等值测验,叫做复本。复本等值要符合下列条件:

(1)各份测验测量的是同一种心理特性。(2)各份测验具有相同的内容和形式。

(3)各份测验的题目不应重复。(4)各份测验题目数量相等,难度和区分度大体相同。(5)各份测验的分数分布(平均数和标准差)大致相等。

(6)复本编好后,应再测一次,以确保各份测验的等值。

2、复本信度定义:两个复本施测同一被试群体,求其相关。

(1)等值性系数:同时连续施测,反映内容变异。形式:复本A—同时—复本B

(2)稳定与等值性系数是对信度最严格的检验,反映的是“内容变异+时间变异”的共同作用效果。形式为:复本A—适当时间—复本B

3、使用前提条件:构造出两份或两份以上真正平行的测验,被试要有条件接受两个测验。

4、复本信度的评价

(1)优点:可以在一定程度上避免重测法的缺点

(2)缺点

①只能减少而不能排除练习和记忆的影响。

②第二个测验只改变了测验的具体内容,已经掌握的解题原则容易迁移到同类问题。

③对于许多测验来说,建立复本十分困难。

(三)分半信度

1、定义:在测验没有复本且只能实施一次的情况下,可将测验项目分成对等的两半,根据被试在这两半测验中所得的分数计算相关系数,即得分半信度。计算分半信度先要对测验分半。不同的分半法可能会得到不同的信度值。有时为了使两半基本等值,可将项目按由易到难的顺序排列编号,然后按奇数和偶数序号将项目分半。要注意使那些性质相同、联系紧密的项目分在相同的一半,否则会使信度值偏高。

2、校正:分半信度只是半个测验的信度,须用斯皮尔曼-布朗公式校正: r xx=2r hh/(1+r hh) 且两半测验分数的变异数相等时才能使用。

(四)同质性信度(内部一致性信度)

1、定义:同质性指测验的所有题目测量的是同一种心理特质,表现为各个题目得分之间有较高的相关,相关越高则同质性越强。同质性信度也叫内部一致性系数,是指测验内部所有题目间的一致性程度,一个测验所测内容或特质的相同程度。

2、注意事项:同质测验分数的意义比较明确,但是,单独的同质性测验不能预测一个异质

的行为或心理特性。现行的许多心理测验都是异质的,不过它们多半是由若干个相对同质的分测验或分量表所组成,每个分测验或分量表只测量一个方面的特征。这样,当把分数组合起来后便可以做出明确的解释。

3、使用范围:学绩测验可不考虑同质性。同质性信度与结构效度密切相关。

4、计算方式:一般采用数据统计软件,克隆巴赫系数最为常用。

(五)评分者信度

1、定义评分者信度是指不同评分者之间在测验结果计分上的一致性。在心理测验中,评分者信度的计算,通常是随机抽取若干份试卷,由至少两位受过训练的评分者按计分规则分别判分,然后计算它们的相关。几个评分者的评分越一致,评分者信度越高。

2、计算方法:最简单的估计方法就是随机抽取若干份答卷,由两个独立的评分者打分,再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方法,也可以采用斯皮尔曼等级相关方法。如果评分者在二人以上,而且又采用等级记分时,就需要用肯德尔和谐系数来求评分者信度。

(六)对信度系数计算的评价

1、在一般情况下,间隔施测的复本信度最低,因为很多因素有机会影响到分数。

2、校正过的分半相关,因为影响的因素少,所得的信度估计为最高。

3、稳定与等值性系数是对信度最严格的检验,反映的是“内容变异+时间变异”的共同作用效果。

(七)信度的影响因素和提高信度的方法

1、影响因素:被试、主试者方面、施测情景方面、测量工具方面、两次施测得间隔时间;

2、提高信度的方法

(1)适当增加测验的长度:虽然增加题目可以提高信度,但并非多多益善。增加测验长度的效果遵循报酬递减率,测验过长是得不偿失的,有时还会引起被试的疲劳和反感而降低可靠性,还要注意一点的是,只有当新题目是与原题目选自同一总体,即新题目与原题目具有同质性时,增长测验才能改进信度。

(2)使测验中所有试题的难度接近正态分布,并控制在中等水平。

(3)努力提高测验试题的区分度

(4)选取恰当的被试团体,提高测验在各同质性较强的亚团体上的信度。

(5)减少无关因素的影响。

二、效度

所谓效度,指一个测验或量表实际能测出其所要测的心理特质的程度。

(一)内部效度:在研究的自变量和因变量之间存在一定关系的密切程度。成熟、历史、被试选择偏差、被试缺失、前测、实验程序、统计回归以及多种条件的交互作用都可影响内部效度。

(二)外部效度:是指研究结果能够一般化和普通化到样本来自的总体和其他变量条件、时间和背景中的程度,即研究结果所代表的普遍性和适用性。被试的代表性、操作定义的准确性、研究的反作用、前测对实验的影响、被试多重处理、实验者效应、研究和实际情境的差异大小、被试与实验的交互作用会影响外部效度。

(三)内容效度

1、定义:一个测验实际测得的内容与所要测得的内容之间的吻合程度。主要应用于成就测验、选拔和分类的职业测验,但不适用于能力倾向测验和人格测量。注意要与表面效度相区分,是指某个外行人对某个测验表面上看好像是测某种心理特质的一种现象,假如这个外行人能够有效的的测得某种心理特质时,该测验就可以说是有较高的表面效度。一般来讲,最高行为测验往往表面效度高,而其他的测验则希望表面效度低。

2、确定方法:首先要明确预测内容的范围,其次确定每个题目所测的内容,并与测验编制者所列的双向细目表进行比对,最后制定评定量表,考察题目是否能够反映所要测定内容。此外,还可以测量复本信度,或者采用再测法(前测后测比较)。

3、评价

(1)优点:不但是评价学绩测验的最适合的方法,而且编制任何测验都要加以考虑的方面;(2)缺点:缺乏理想的数量指标,因而妨碍了信息交流和各测验间的相互比较。

(四)结构效度

1、定义:也叫构思效度、构念效度,旨在以心理学的理论概念来说明并分析测验分数的意义,即从心理学的理论观点,就测验的结果加以诠释和探讨,亦即根据心理学理论上的构想来编制测验的内容或选择试题。

2、确定方法:可以通过测验内部寻找证据法、测验之间寻找证据法、考察实证效度法以及多种特质——多种方法矩阵法。测量之间寻找证据法需要注意聚合效度和区别效度,所谓聚合效度,是指当测量同一构念的多重指标彼此间聚合或有关连时,就有此种效度存在;所谓区别效度(分歧效度),是与聚合效度相反,此类效度是指当一个构念的多重指标相聚合或呼应时,则这个构念的多重指标也应与其相对立之构念的测量指标有负向相关。

3、多种特质——多种方法矩阵法:如图表所示

(1)主对角线数值:同样方法测相同特质所得相关,是信度指标;

(2)虚线三角形之间的两条对角线的数值:不同方法测相同特质的相关,是效度指标;(3)实线三角形内的数值:同样方法测不同特质的数值;

(4)虚线三角形内的数值:不同方法测不同特质的数值。

(五)实证效度

1、定义:也称效标关联效度,是指一个测验对处于特定情境中的个体的行为进行估计的有效程度,一个测验是否有效,应该以实践的效果来作为检验的标准。效标是衡量一个测验是否有效的外在标准,独立于测验并且可以从实践中直接获得我们感兴趣的行为。因此,作为效标来讲,应该具有多样性、复杂性、特殊性和时间性,一般常用的效标有学业成就、等级评定、临床诊断、实际工作表现、某个训练成绩等。

2、实证效度的确定方法

(1)相关法:求测验分数与效标测量间的相关,是最常用的方法;

(2)区分法——t检验:比较高低分组的差异;

(3)命中率法:分为总命中率和正命中率法,如下表所示

A、总命中率法:

B、正命中率法:

(六)统计结论效度:是检验研究结果的数据分析程序与方法的一种有效性指标。若数据的质量差、违反统计检验的假设、统计检验能力低,则统计结论效度就差。

(七)提高效度的方法

测验的构成、测验的实施过程、接受测验的被试、所选效标的性质、测量的信度都会影响效度。因此可以采用以下方法提高效度:

1、精心编制测验量表,避免出现较大的系统误差

2、妥善组织测验,控制随机误差

3、创设标准的应试情境,让每个被试都能发挥正常水平

4、选好正确的效标,定好恰当的效标测量,正确地使用有关公式

三、信度和效度的关系

1、信度高是效度高的必要而非充分条件

2、测验的效度受它的信度制约,信度系数的平方根是效度系数的最高界限

量表的信度效度检验

第六章量表的信度效度检验 我们采用含有多个项目的量表来测量人们的意见、态度、看法等、这样得到的结果是否准确、可靠,是否有适用性?这就需要评价量表的信度和效度。从理论的观点来看,一个良好的测量工具(量表)应具有足够的效度和信度。 一、信度检验 信度(Reliability)即可靠性,是指采用同一方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,即测量工具(问卷或量表)能否稳定地测量所测的事物或变量。信度指标多以相关系数表示,具体评价方法大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性\替换形式)和内在一致性系数(跨项目的一致性)。信度表示的方法主要有以下四种: 1、稳定性系数 稳定性系数是采用同样的问卷,对同一组访问对象在尽可能相同的情况下,在不同时间内进行两次测量,用两次测量结果间的相关分析来评价量表信度的高低,连皮尔逊积差相关系数即是信度系数,也称为重测信度,或再测信度。 两次测量,如果间隔时间过长,调查对象容易受环境和个人经历的影响而发生态度的转变,如果间隔时间过短,则受到上次调查记忆的影响。适当的间隔时间是既不能让调查对象记住上一次测验的内容,也不能让其被测的主观特征在两次测验之间没有发生较大的变化。适合的间隔时间要视调查对象和测量内容不同而不同,一般来说,年幼儿童,间隔时间要小,年长者,间隔时间可以延长。并且调查对象在两次测量期间没有发生于相关的重大事件。在最后提交调研报告时,要对间隔时间加以说明,报告间隔的时间。 2、等值系数(复本信度) 用两个复本在最短时间内对同一组调查对象进行测量所得结果的一致性程度,复本信度系数等于两个复本测量所得分数的皮尔逊积差相关系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度,是等值系数。复本类似于考试中得A、B卷,如果一个人在A卷和B卷的得分相同,就说明考题具有信度;如果两者差异很大,则缺乏信度。 复本信度的使用前提是测量所用的两个复本必须是等效的,两个复本要满足以下几个条件:两个复本测量的是同一种特征。两个复本具有相同的内容和

心理学中的各种信度和效度

心理学中的各种信度和效度 一、信度 所谓信度,指的是测量结果的稳定性程度,其操作定义是,信度乃是一个测验X与它的任意一个“平行测验X'的相关系数。无关因素、测验的长度、测验试题的区分度、被试团体的代表性都会影响信度。 (一)重测信度 1、定义:利用同一量表,让同一被试群体在不同时间两次施测之后的相关值。这一信度值表示的是测验结果的稳定性,故也称之为稳定性系数。 2、形式:施测——经过适当时间——再施测 3、举例:假设有一份主观幸福感调查表,先后两次施测于10名学生,时间间隔为半年,结果如下表所示,求该测验的重测信度。 4、使用的前提条件 (1)所测量的心理特质必须是稳定的。 (2)遗忘和练习的效果基本上互相抵消。 (3)在两次施测的间隔期内,被试在所要测查的心理特质方面没有更多的学习和训练。5、注意事项 (1)有些测验不宜采用重测法估计信度,如测量推理和创造力的测验。那些不易受重复使用影响的测验才能用再测法估计信度。如感觉运动测验、人格测验。 (2)两次测验间隔的时间要适当,并注意提高被试的积极性 (3)测验手册中报告重测信度时应说明两次施测的间隔,以及在此期间内被试的有关经历(4)时间间隔的把握:适宜时间间隔依照测验目的、性质及被试特点而定,可以是几分钟甚至几年。例如对于年幼儿童的间隔要小;年长群体的间隔可大。但智力测验的间隔不能太短,成就测验的间隔不能太长。一般间隔时间不超过六个月,既不能让被试记住上一次测验的内容,又不能让其特质发生变化,或对所学知识产生遗忘。 6、重测信度的评价: (1)优点:能够提供有关测验结果是否随时间而变异的资料,可作为预测受测者将来行为表现的依据。 (2)缺点:易受练习和记忆的影响,前后两次施测间隔的长短必须要适度。 (二)复本信度

信度与效度的关系

研究信度与效度的关系 一、信度与效度的定义 信度即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度,或者说,信度是指测量结果的一致性或稳定性。 效度即准确度,它是指测量工具或测量手段能够准确测出所要测量的变量的程度,或者说能够准确、真实地度量事物属性的程度.二、信度与效度的关系 (一)教育科学研究中信度与效度的关系 信度是研究结果所显示的一致性、稳定性程度,也是对研究结果一致性和稳定性的评价标准。一个具有信度的研究程序,不论其过程是由谁操作,或进行多少次同样的操作,其结果总是非常一致的.效度是一个研究程序的性质和功能,也是对研究结果正确性的评价标准,一个有效度的研究程序,不仅能够明确地回答研究的问题和解释研究结果,而且能够保证研究结果在一定规模的领域中推广。把两者的作用结合起来看,信度和效度是一项教育科学研究活动和结果具有科学价值和意义的保证。研究的信度是研究的效度的一个必要的前提,没有信度,效度不可能单独存在,也就是说,一项研究不可能没有信度却具有效度。 (二)人力资源招聘信度与效度的关系 影响测评信度的因素有很多,主要是系统误差和随机误差.包括测评者的专业性和素质、被测评者本人的心理、侧评工具的稳定性、

环境的稳定性等都会影响测评的可信度。影响测评的效度因素也有很多,如测评工具、测评过程及测评者因素、被测评者状态、效标因素和信度因素等。在实际招聘与录用评估过程中要把握各相关方面,不仅要有专业的测评人员,同时也要在稳定的环境中为被测评者提供一个放松真实的氛围。信度和效度是人才侧评与选拔质量的重要指标.图形形式表现分析得出的信度和效度的三种关系,则会是以下这些样式,如图8—l .图8-2和图8—3所示。所以,:高信度是高效度的必要条件,但非充分条件.即信度高不一定其效度就高,但要想获得较高的测评效度,其信度必定要高, (三)用结构式问卷来测量家长“溺爱孩子”的行为中信度与效

心理测量信度部分练习题

心理测量学---真分数和信度部分的练习题 心理测量中有三种误差的形式,它们是___________,___________,抽样误差. 测验的分数就是该被试的真实水平或特征。() 真分数是一个理论上的构想,在实际测量中可以得到。() 真分数是无数次测量结果的平均值。() 真分数和测量误差之间相互独立,即二者相关为0.() 如何减少心理测量中的误差? 测量分数、真分数和误差分数之间存在怎样的关系? 计算重测信度时,相隔时间越长,稳定性系数。 对信度最严格的考验是系数。 同质性信度主要代表测验内部()间的一致性。 A.两半测验 B.所有题目 C.题目与分测验 D.分测验 一般而言,若获得信度的取样团体较为异质的话,往往会()测验的信度。 A.高估 B.低估 C.忽略 D.不清楚 用两个平行的(等值的)测验,间隔一段时距施测于同一组被试得到两组测验分数,求这两组测是()。 A.复本信度 B.重测信度C.等值稳定性系数 D.内部一致性系数 用重测法估计信度,最适宜的时距一般是()周为宜,间隔时间最好不超过()个月。 A. 1周左右;4 B.4周左右;6 C.6周左右;8 D.8周左右;10 复本信度反映的是测验在()上的等值性。 A.时间 B.题目 C.评分 D.形式 每个测验信度的估计值是唯一的。() 每个测验信度的估计值不是唯一的。() 信度的估计可以不采用统计方法的。() 重测信度就是稳定系数。() 系统误差影响测验的信度。() 随机误差影响测验的信度。()

任何一个测验都只有一个重测信度。() 任何一个测验都不只有一个重测信度。() 任何一个测验都只有一个分半信度。() 任何一个测验都不只有一个分半信度。() 并不是所有的心理测验都要求有较高的同质性信度。() 所有的心理测验都要求有较高的同质性信度。() 测验的题目数量越多,信度越高。() 影响信度系数的因素有哪些? 什么是信度?估计信度的方法有哪些? 提高信度的方法有哪些? 一个包含60个题目的测验信度是0.80,欲将信度提高到0.90,需要增加多少题目? 某测验有10个项目,信度是0.60,问测验应增加到多少个项目,才能使信度达到0.90? 一个测验有20道测题,其信度仅为0.55,若把测题增加到60题,信度能达到多少?增加到12已知一个测验的分半信度为0.61,请问校正后的信度是多少? 谈谈估计信度的几种方法的及其使用的前提条件。

信度与效度的关系

信度与效度的关系 信度是效度的必要条件,但不是充分条件。一个测量工具要有效度必须有信度,没有信度就没有效度;但是有了信度不一定有效度。 信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象。 信度高,效度未必高。例如,如果我们准确地测量出某人的经济收入,也未必能够说明他的消费水平。 效度低,信度很可能高。例如,即是一项研究未能说明社会流动的原因,但它很有可能很精确很可靠地调查各个时期各种类型的人的流动数量。 效度高,信度也必然高。 信度:测量的数据准确性

效度:结果的符合程度 1请问为什么随机分派前后测就可以控制选择、被试缺失的干扰了。而随即分派后侧就不能对被试缺失加以控制了。它们的不同只是多了一次前侧,怎么会对被试产生影响呢? 2消除无关变量的方法平衡法和恒定法,有何区别呢,我总是有点弄混,能各举个例子吗? 1、在一个延续时间较长的研究中,被试的更换、淘汰或者中途退出可能会对研究结果产生深刻的影响。所以如果只有后测,两组或多组相等的假设就无法保证,很难控制被试的情况。而前后测可以解决这个问题。 2、恒定法。恒定法就是采取一定措施,使某些无关变量在整个研究过程中保持恒定不变。它也是控制无关变量的基本方法。平衡法。平衡法就是对某些不能被消除,又不能或不便被恒定的无关变量,通过采取某些综合平衡的措施或方式,使其影响通过平衡而抵消,达到控制它们的方法。平衡法主要采用对比组方法和循环法。

先体会一下两者定义。简单的说: 恒定法:前后不变,比如上课时间、学生作业 平衡法:分组实验中,各组作用相同,比如教师水平,学生数目,知识基础。 在实验设计主要格式中,带有随机分配的优点是可以控制选择与成熟的交互作用,是什么意思啊?这里的成熟是指的被试身心的成熟程度吗? 支持(0) 中立(0) 反对(0) 单帖管理 举报帖子 使用道具 | 引用| 回复 zdjy 小大2楼个性首页| 博客| 信息| 搜索| 邮箱| 主页| UC

信度和效度

信度和效度 社会学系02研王丽云 当我们建构和评估测量时,我们通常使用信度和效度这两个技术性指标。 简单地说信度就是指测量数据和结论的可靠性程度,也就是说测量工具能否稳定地测量到它要测量的事项的程度。 我们可以举例说明信度的问题:如果想知道某人的体重,我们可以叫两个人来估计,一个人的估计为150镑,另一个人的估计为300镑,那么我们就可以认为,叫别人来估计体重是非常不可信的方法。如果用磅秤,连续测量两次的结果都是相同的,因而我们可以说,在测量体重方面,用磅秤的方法要比叫人来估计更可信。我们可以用信度系数来表示信度的大小。 我们知道在进行测量时,误差是难免的,这就使得真实值和测量值之间是不可能完全一致。我们可以这样来表示真实值和测量值之间的关系。 X=T+B+E T表示真实值,B表示偏差即系统误差,E表示测量误差即随机误差。由于系统误差很难分解,因而有些书中的分解式将系统误差包括在真实值之中,因而X可以简单地概括为X=T+E 对于测量误差E,一般假定他的期望值是0,却与真实值相独立,在此假定下,可以证明:E(x)=E(T)实得分数和真分数的总体均值相等。σ2x=σ2T+σ2E实得分的方差等于真分数的方差与误差方差

之和。 信度一般规定是真分数的方差在总体方差中所占的比例,即:信度系数Rxx=σ2T/σ2X=1-(σ2E/σ2X) 信度系数越大,表明测量的可信程度越大。在实际应用中,信度主要有以下几种类型: (一) 重测信度 这种方法通常是重复同样的测量来检验信度信度系数可以用相关系数来表示。假如我们第一次测量时的观测值是X,第二次的观测值是Y,那么重测信度就等于X与Y的相关系数。 但重复测量时,我们要注意两次测量的时间间隔要恰当。如果时间间隔太久,可能会发生一些变故,影响到被调查者的态度,那么前后的测量就会有很大的差异。 (二)复本信度 复本是针对原本而言的,它使原本的复制品。 对一项调查的问题,让被调查者接受问卷测量,并同时接受调查问卷的副本的调查,然后根据结果计算原本和复本的相关系数,就得到复本信度。 (三)折半信度 通常是在无副本且不准备重测的情况下,我们就用折半信度来计算信度系数。 举例来说,如果有一份问卷,其中有十个问题涉及到女性歧视现象。利用折半信度时,可将是个问题随机分成两组,每组有五个问题,

第五讲 心理学研究的信度和效度

第五讲心理学研究的信、效度 长江大学教育科学系严磊 研究设计的主要目标是特高整个研究的科学性水平,即保证研究结果、结论能真实的反映人的心理活动规律和教育规律。信度与效度不但是研究设计应当遵循的标准,而且也是评价研究设计质量乃至整个研究结果科学水平。信度、效度源于心理与教育测验领域,现在心理学者将诶用了测量领域的信度与效度概念,并把研究的信度和效度作为设计与评价各种研究的标准,以提高心理与教育科学中各类研究的客观性、可靠性和科学性。如今,有关研究信度和效度的理论和方法已经为心理、教育研究者普遍接受,成为研究和实验设计的关键,也成为心理、教育研究方法发展的里程碑。 一心理测量的信度和效度射击打靶 1.真分数假设 假设一:在所讨论的问题范围内,真分数不变,亦即个体具有恒定的特质,其分量一定,取值是常数。 假设二:误差是完全随机的。这里有二层意思,一是测量误差是平均数(期望值)为零的正态随机变量;二是测量误差跟被测心理特质即真分数间相互独立。 假设三:观察分数是真分数与误差分数的和。 2.测量的信度 信度(reliability)是指测量结果的稳定性和可靠性程度。 重测信度、复本信度、分半信度、评分者一致性信度 3.测量的效度

一研究的信度 二研究的信度 1.研究信度的概念 研究的信度指研究所的事实、数据的一致性和稳定性程度。一向好的心理与教育研究,其结果必须稳定可靠,即重复研究的结果要保持稳定、一致,否则便可不信。 根据影响信度的误差来源,信度可分为两大类:稳定性和同质性。稳定性指研究结果跨时间、跨情境的一致性。同质性指研究工具本身各项目内容的一致性。举例:用同一思维研究工具在前后相隔较短的时间内测查某一年级的儿童两次,结果发现两次测查结果不一致,第一次测查结果表明被试未达到逻辑思维水平,第二次结果发现他们已经达到逻辑思维水平。 2.判定研究信度的方法 重复法运用重复测量、重复研究的方法,在相同条件下用相同方 法进行两次以上的研究,然后考察它们是否取得相同结果。 重测信度 相似法通过比较同质或类似研究工作、或同类研究的结果的一致 性程度,来判断研究工具或研究结果的可靠性。 复本信度 独立评判法即两个或两个以上的研究者同时对一组被试的行为、操作 水平等各种表现进行独立判断或评价,然后比较它们之间 的一致性,此法可以判定研究者之间一致性的程度。 评分者一 致信度 举例: 相似法:将某一特定研究的结果与国内外同类研究的结果进行比较,是判定研究的信度的常用方法。新编智力量表与韦克斯勒智力量表的比较。 独立评定法:采用观察法、问卷法、访谈法、测验法、实验法等方法进行的研究中,日益注重观察者、评定者和计分者之间的信度。攻击性行为,助人行为。二研究的效度

SPSS与测验信度、效度、及项目分析

SPSS在测验信度、效度、及项目分析中的应用 李鹏 云南师范大学教育科学与管理学院 在SPSS中,专门用来进行测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块,可以利用因素分析的方法来进行测验的建构效度检验;至于项目分析则没有专门的模块可以之间进行计算分析,但是却可以利用Summarize下的Frequencies、Correlate下的Bivariate 和Compare Mean下的Independent-Samples T Test来计算几个常用的项目分析指标。 一、信度分析 Reliability Analysis模块主要功能是检验测验的信度,主要用来检验分半信度、库李及a系数以及Hoyt信度系数值。至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用Correlate 之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则就是使用的Spearman等级相关及Kendall和谐系数。 表1 Reliability Analysis模块的Model选项的参数及对应中文术语 关键字功能 Alpha Cronbach a系数 Split-half 分半信度,n是第二分量表的题数 Guttman Guttman最低下限真实信度法 Parallel 各题目变异数同质时的最大概率(maximum-likelihood)信度Strict parallel 各题目平均数与变异数均同质时的最大概率信度 表2 Reliability Analysis模块的Statistics部分选项的参数及对应中文术语 关键字功能 F test Hoyt信度系数 Friedman Chi Friedman等级变异数分析及Kendall和谐系数 Cochran Chi Cochran’s Q检验,适用于答案为二分(如是非题)的量表

信度与效度分析报告报告材料步骤

如何用spss做问卷的结构效度分析? 问:因子分析里面Descriotives里面KMO和巴特利检验就可以了吗?除此之外,还要做什么啊?请高手赐教点简单易懂又能说明效度问题的,谢谢啦! 问题补充: 提取因子的个数怎么确定?是选特征值大于1的吗?还有,因子载荷怎么算?是在输出结果中直接可以看到吗?本人刚接触spss,请多多指教! 答: 首先必须要做KMO和Bartlett球形检验,这个你应该会了吧,如果这两个检验合格的话说明数据是适合做因子分析的。 然后提取因子后,看主因子解释总变异的百分比和个因子的因子载荷,主因子解释总变异一般若大于60%的和因子载荷大于0.6的话说明结构效度很好。 pS: ,如果题目没有规定就是选特征值大于1的,如果题目事先要提取几个因子,那么在操作的时候,用SPSS那个因子分析的选项里面有一个地方可以著名,因子载荷在输出的结果直接可以看到(rotated compoment matrpx),一定要是旋转后的因子载荷 用spss进行效度分析? 我要对我的问卷调查数据做一个信度和效度分析。信度分析我会了,就是看Cronbach’s Alpha 系数。效度分表面效度、准则效度和构建效度,前面两项只要说明一下,但是构建效度要用SPSS分析,我想是在因子分析里面吧?就是不知道哪个值代表效度。 答: 因子分析的效度分析主要的指标可以看,因子提取的方差累积贡献率,如果因子提取的越少且方差累积率又不低的话(一般如果2个因子达到40%以上的贡献率就算可以的了),就可以认为因子分析的效度还可以。 除此之外,你可以用因子分析里面Descriotives里面KMO和巴特利检验(battele,不知道是不是这样写的),KMO的值如果>0.5,则说明因子分析的效度还行,可以进行因子分析;另外,如果巴特利检验的P<0.001,说明因子的相关系数矩阵非单位矩阵,能够提取最少的因子同时又能解释大部分的方差,即效度可以。 问:问卷效度测验如何应用于SPSS 问卷效度测验如何应用于SPSS,然后因为做效度检验貌似要用皮尔逊相关还是因子分析,所以不懂如何把这些应用于SPSS,不想要变量,想要整体,一个整体。 用因子分析,就已经是在检验变量的整体了 因子分析就是用少数几个因子来描述许多指标或因素之间的联系,以较少几个因子反映原资料的大部分信息的统计方法。三、因子分析的SPSS过程 第一步:准备数据文件,打开对话框,加载观测变量。数据文件主要是由较多的(一般在10个以上)可观测变量组成,个案数应比较大。然后点击“Analyze” ,选择“Data Reduction” 中的“Factor”打开因子分析对话框,将参与分析的所有观测变量加载到“Variables”下边的方框中。

如何保证人才测评的信度和效度

如何保证人才测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。 4、分析测评结果并统计成绩。采用肯德尔和谐系数法对每个被测评者在各个测评要素上的得分进行评分者信度分析,并结合各测评要素在管理素质和业务素质方面的权重,计算出被测评人在业务素质和管理素质上的得分。测评结束后,测评小组对被测人员进行了问卷调查,了解他们对测评效果的看法。 三、测评为保证信度和效度所采取的措施 (一)保证测评信度采取措施分析 1、16PF测试采取的是计算机标准化题目的方式,计算机答题、计算机处理结果。被测试人员全部独立进行测试,并在规定时间内完成了测试。 2、深度面谈使用了20个题目,围绕测评因素的各个维度对被测评者进行考察。面谈进行顺利,被测人员都能较积极配合回答问题,和主试人进行较好的双向交流。 3、情景模拟采用案例分析和主题演讲两种测评工具,被测人员从两个题库中各抽取1题,测评小组根据其表现进行现场评估。测评得到了被测人员的积极配合,都能就问题提出自己的见解。 4、为增加评分者信度,本次测评工作专门成立了测评小组,并在测评前熟悉了整个测评程序和操作;各类能力素质附有评分标准,各类试题附有评分参考,力图对被测试者的表现进行量化分析;测评中,向测评者提供“成绩比较表”,

信度和效度

什么是信度? 简单地说信度就是指测量数据和结论的可靠性程度,也就是说测量工具能否稳定地测量到它要测量的事项的程度。我们可以举例说明信度的问题:如果想知道某人的体重,我们可以叫两个人来估计,一个人的估计为150镑,另一个人的估计为300镑,那么我们就可以认为,叫别人来估计体重是非常不可信的方法。如果用磅秤,连续测量两次的结果都是相同的,因而我们可以说,在测量体重方面,用磅秤的方法要比叫人来估计更可信。我们可以用信度系数来表示信度的大小 如何计算信度 我们知道在进行测量时,误差是难免的,这就使得真实值和测量值之间是不可能完全一致。我们可以这样来表示真实值和测量值之间的关系。 X=T+B+E T表示真实值,B表示偏差即系统误差,E表示测量误差即随机误差。由于系统误差很难分解,因而有些书中的分解式将系统误差包括在真实值之中,因而X可以简单地概括为X=T+E 对于测量误差E,一般假定他的期望值是0,却与真实值相独立,在此假定下,可以证明: E(x)=E(T)实得分数和真分数的总体均值相等。σ2x=σ2T+σ2E实得分的方差等于真分数的方差与误差方差之和。 信度一般规定是真分数的方差在总体方差中所占的比例,即:信度系数Rxx=σ2T/σ2X=1-(σ2E/σ2X) 信度系数越大,表明测量的可信程度越大。 信度类型 (一) 重测信度 这种方法通常是重复同样的测量来检验信度信度系数可以用相关系数来表示。假如我们第一次测量时的观测值是X,第二次的观测值是Y,那么重测信度就等于X与Y的相关系数。 但重复测量时,我们要注意两次测量的时间间隔要恰当。如果时间间隔太久,可能会发生一些变故,影响到被调查者的态度,那么前后的测量就会有很大的差异。 (二)复本信度

(完整word版)SPSS信度和效度检验全套资料

关于调查问卷的信度和效度检验 (一)信度 1 、信度的含义 测验的信度又称测验的可靠性 , 是指同一个测验对同一组被试施测两次或多次 , 所得结果一致形程度。一个好的测验必须是稳定可靠的 , 多次使用所获得的结果是前后一致的。例如 , 用直尺测量长度 , 其结果是稳定可靠的 ; 用橡皮筋测长度则是不可靠的 , 前后测量结果缺乏一致性。在测量理论中 , 信度被定义为 : 某次测验分数的真变异数与总变异数 ( 即实测分数 ) 之比 : 2 2 S R x xx ST = 式中 Rxx 表示测量的信度 ,ST 2 代表真分数的变异数 ( 方差 ),Sx 2 表示实得分数的变异数 ( 方差 ) 。 从上式可看出 , ( 1 )信度是指实测值和真值相差的程度 , 实测值是指对某物实际进行测量时所获得值 , 也称实测分数 (X); 真值是指被测事物的真实规模取值 , 也称真分数 (T) 。由于各种原因 , 实得分数常不等于真分数 , 两者之差称为测量误差或误差分数 (E) 。从理论上看 , 实得分数由真分数和误差分数两部分组成即 :X=T+E Rxx 就是对一组测验数据的实测分数与真分数相差程度的最好估计。 ( 2 )信度又是指相同的测验对相同的被试再次测量时引起的同样反应的程度。如果两次测验中 , 受测者所得分数或所处等级前后一致 , 则说明测验结果的信度较高 ; 反之 , 两次测验结果一致性低 , 说明测验结果的信度低。 信度是任何一种测量的必要条件 ( 但不是唯一条件 ), 只有测量值接近或等于真值 , 用同一工具多次测量同一特性获得相同或相近的结果 , 才能认为这个测量结果是可靠的。信度对于教育测量尤其重要 , 只有信度高的教育测验才能成为教育工作者有用的工具 , 才能为教育工作者提供可靠的信息 , 为教育预测和决策提供客观依据。 2 、信度的估计方法 测验的信度是用信度系数的大小来表示的 , 根据测量理论 , 信度系数 2 2 S R x xx ST = 但是在实际测量中 , 一般只能获得实得分数 (X) 及实得变异数 (Sx 2 ), 而真分数 (T) 及真变异数 (ST 2 ) 是不知道的 , 因此 , 依据上述公式还无法机算信度系数。在统计上 , 主要采用相关分析的方法即机算两列变量的相关系数 , 用相关系数的大小来表示信度的高低。主要用以下方法来求得信度 : ( 1 )再测法 : 用同一测验对同一被试 , 前后施测两次 , 根据两次测验分数计算相关系数 , 即是再测信度。该信度反映了测验的稳定性程度 , 故又称稳定性系数 , 是用皮尔逊积差相关公式计算的 : 2 12 1/21S S M M N X X R xx ?-= ∑ 式中 X 1 .X 2 为同一被试的两次测验得分 ,M1.M2 为两次测验的平均分数 ,S 1 .S 2 是两次测验的标准 差 ,N 是被试人数。 用再测法估计信度 , 可以得到有关测验结果是否随时间而变化及变化程度的资料 , 可以作为预测被测者将来行为表现的依据。但也存在明显的局限性 : 前后两次测验结果易受到练习和记忆的影响 , 前后两次施测的时间间隔影响稳定性系数 , 特别是对学绩测验的影响较大。如果时间间隔太长 , 被测者的身心因受环境影响将发生大的变化 , 从而对第二次施测结果产生较大影响 , 使稳定性系数降低 ; 如果间隔太短 , 则被试第一次完成测验时练习和记忆会对第二次测验产生较大影响 , 使第二次测验性质发生变化。另外 , 有些测验不宜用再测法估计信度 , 如测量创造力测验 , 被试一旦掌握了解决问题的办法、原则 , 重测时 , 他将很容易作出反应 , 这样测验的性质就发生了改变。因此 , 只有在没有复本可用 , 测验不易受重复使用影响 , 现实条件又允许重复施测的情况下才使用重测法估计信度。 用重测法估计信度 , 间隔时间长短没有严格的规定 , 一般说 , 间隔时间越长 , 稳定性系数越低 , 最适

问卷信度效度检验

从统计数据质量角度谈调查问卷的设计质量 一、引言 从保证统计数据质量的统计工作过程看,统计数据质量可以被划分为统计设计质量、统计调查质量、统计整理质量、统计分析质量以及数据发布传输质量等。统计设计质量是保证统计数据质量的首要环节,在统计数据质量保证体系中起着关键性作用。统计设计质量一般包括调查问卷设计质量与调查方案设计质量,其中调查问卷设计质量指的是:通过问卷测量得到的,反映调查对象客观现象的统计数据的准确性和有效性,即调查问卷设计质量的好坏,需要通过问卷测量能力的高低来检验。 在市场调查中,为了深入地研究一些本质的或理论性的现象,问卷调查法被广泛运用,除了调查时采用的抽样方法以及所抽取的调查对象是否具有代表性之外,调查者最关心的就是调查问卷的测量能力。问卷测量能力包含了两个方面的内容,即问卷测量结果的准确性和有效性。准确性和有效性是统计数据质量蕴涵的最主要的两个特性,一个好的调查问卷设计不仅可以保证在多次重复使用下得到可靠的数据结果,即准确性;也可以保证所得测量结果能够反映它所应该反映的客观现实,即有效性。 所以我们可以通过对问卷测量能力的分析来检验问卷的设计质量,对问卷设计进行质量控制,进而发现问卷设计中应注意的问题。在此基础上,通过不断改进问卷设计,提高其测量能力,最终将有助于我们得到高质量的调查数据。 二、调查问卷的设计质量检验 信度和效度的概念来源于心理测试中关于测验的可靠性和有效性研究,当建构和评估测量时,通常使用信度和效度这两个技术性指标。因此我们采用问卷的信度和效度分析来评估其测量能力,进而实现对问卷设计质量的检验。 1.问卷设计质量的信度检验 所谓问卷设计质量的信度检验,指的是对问卷测量结果准确性的分析,即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中,信度检验多以相关系数表示,常用的方法有:重测信度,复本信度,折半信度,克朗巴哈信度,评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献,在这里,笔者不再一一详述,仅列出相关公式作为参考。 (1)重测信度,也叫稳定系数,对同一组调查对象采用同一调查问卷进行先后两次调 查,采用检验公式,其中为两次调查结果的协方差,为第一次调查结果 的协方差,为第二次调查结果的协方差。系数值越大说明信度越高。 (2)复本信度,也叫等值系数,对同一组调查对象进行两种相等或相近的调查,要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式,系数越大,说明两份问卷的信度越高,具体调查时使用哪一份都可以。 (3)折半信度,也叫内在一致性系数,将调查的项目按前后分成两等份或按奇偶题号分成两部分,通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得 分的方差相等时,检验用Spearman-Brown公式来表示:,其中表示折半信度系数;当假定方差不相等时,采用Flanagan 公式:,其中、分别 表示两部分调查结果的方差,表示整个问卷调查结果的方差。如果折半信度很高,则说明这份问卷的各项题之间难度相当,调查结果信度高。 (4)克朗巴哈信度,是对折半信度的改进,检验公式是:,其中

心理学考研心理测量知识点:信度(一)

心理学考研心理测量知识点:信度(一) 1、信度是指:测量结果的可靠性和一致性。因为心理测验通常测量人的行为,行为会由于各种各样的原因,因时、因事、因地而产生变动,这些因素有些是偶然的,有些是固有的,人在完成心理测验时的行为也会受上述因素的影响,从而使测验结果与真实结果不完全一致,所以我们要用信度来衡量测验的可靠性和一致性。 2、信度的操作化定义: (1)误差理论认为:一个人的测验分数X是由真实分数(T)和误差(E)两部分构成的,公式是X = T + E。 (2)因此信度就被定义为:一组测量分数的真实方差与实得方差的比,或者是指真实方差占总方差的百分比。公式为:rxx = 1-SE 2/SX 2 (3)根据统计学理论,真实方差与实得方差的比是一个相关系数的平方,所以我们把这种相关系数的平方叫做信度系数。 (4)计算公式为:rxx = ST2/SX2 3、由于误差的来源信度的可分为:这种分类是基于信度的传统定义-真分数理论。 (1)重测信度:考虑的误差来源是时间取样。 (2)复本信度:考虑的误差来源是内容取样。 (3)分半信度:它考虑的误差来源也是内容取样,它与复本信度的差别是:分半信度考查一个测验内容的两半题目测量的是否是同一个心理特点行为。 (4)同质性信度(内部一致性系数):考虑的是测验内容是否异质。 (5)评分者信度:考虑的误差来源是评分者间的差别。 4、信度的表示方法: (1)信度系数和信度指数: 1信度系数:rxx = rx2T = S2T/S2 2信度指数:rXT = ST/SX (2)测量标准误:SE = SX 1-rxx 5、信度的意义: (1)信度系数可以解释为样本测验分数的总方差中有多少比例是真分数方差,也就是测验的总变异中真分数造成的变异占百分之几。它直接告诉我们测量的误差有多大。 (2)测量的标准误可以告诉我们有多大可能性真实分数在某一分数范围内,并且可以预测实得分数再测时可能的变化情况。 6、信度的作用: (1)解释预测个人分数的意义。 (2)解释真实分数与实得分数间的关系,明确告诉我们测验误差大小。 (3)新编的测验信度应高于原有的同类测验或相似测验。 (4)下结论说某测验比较可靠,必须是依据情境的,经多次证实的。 (5)它是确定测验好坏的一个指标。一般的原则是: 1当rxx<0.70时,测验不能用于对个人作出评价或预测,而且不能做团体间比较。 2当0.70≤rxx<0.85时,可用于团体比较。

什么是测试的信度和效度,如何保证测试的信度和效度

什么是测试的信度和效度,如何保证测试的信度和效度 棋盘中小张倩倩 在教育研究中,信度与效度是很常见的两个概念。但每次看到或听到这两个名词,我的脑袋老反应不过来,看来基础就是不扎实。我在这里就谈谈我浅显的认识。 一、信度 所谓的信度,是指使用相同指标或测量工具重复测量相同事物时,得到相同结果的可能性。如果说某个指标或测量工具的信度高,那它提供的测量结果就不会因为指标、测量工具或测量设计本身的特性而发生变化;反之亦然。根据测量过程中不同的误差来源,可分为再测信度、复本信度和折半信度。 再测信度,是用同一测量工具在不同的时间对同一群受试者前后测量两次,然后计算两次测量分数的相关系数,相关系数越大说明两次测量的一致性越高。相隔的时间不应该太长。 复本信度,是用两个完全等值的(平行的)复本对同一群受试者进行测试,计算两种复本测量分数的相关系数,相关系数越大说明两个复本构成带来的变异越小。如考试中使用的A、B卷 折半信度,只用一个测量工具对同一群受试者实施一次测量,但将奇数题和偶数题分开计分,再计算奇数试题和偶数试题分数之间的相关系数。 二、效度 所谓的效度,是指测量工具能够测出其所要测量的特征的正确性程

度。效度越高,即表示测量结果越能显示其所要测量的特征。如果说根据某项特征能够区分人、物或事件,那么说某个测量该特征的测量工具是有效的,就是指它的测量结果能把具有不同特征的人、物或事件进行有效的区分。常用的有变面效度、内容效度和效标效度。 表面效度是指测量效果和人们头脑中的印象或学术界形成的共识之间的吻和程度,吻合程度高,表面效度就高。 内容效度是指测量在多大程度上涵盖了被测量概念的全部内涵,测量工具代表概念定义的内容越多,内容效度就越高。 效标效度是指测量结果与一些标准之间的一致性程度,这些标准能够精确表示被测概念。 三、信度与效度的关系 信度是效度的必要条件,但不是充分条件。一个测量工具要有效度必须有信度,没有信度就没有效度;但是有了信度不一定有效度。 信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象。 信度高,效度未必高。例如,如果我们准确地测量出某人的经济收入,也未必能够说明他的消费水平。 效度低,信度很可能高。例如,即是一项研究未能说明社会流动的原因,但它很有可能很精确很可靠地调查各个时期各种类型的人的流动数量。 效度高,信度也必然高。

如何进行问卷效度与信度分析

如何进行问卷信效度分析 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 重测信度法:这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 复本信度法:复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 折半信度法:折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式,求出整个量表的信度系数(ru)。 α信度系数法:Cronbach α信度系数是目前最常用的信度系数。其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型:内容效度、准则效度和结构效度。效度分析有多种方法,其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种: 单项与总和相关效度分析:这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效。若量表中有反意题项,应将其逆向处理后再计算总分。 准则效度分析:准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著

信度和效度的关系口诀

信度: 信度是指测验结果的一致性、稳定性及可靠性,一般多以内部一致性来加以表示该测验信度的高低。信度系数愈高即表示该测验的结果愈一致、稳定与可靠。系统误差对信度没什么影响,因为系统误差总是以相同的方式影响测量值的,因此不会造成不一致性。反之,随机误差可能导致不一致性,从而降低信度。 定义: 信度(reliability)即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度。从另一方面来说,信度就是指测量数据的可靠程度。 信度和效度的关系: 问卷的信度与效度之间既有明显的区别,又存在着相互联系、相互制约的关系。信度主要回答测量结果的一致性、稳定性和可靠性问题;效度主要回答测量结果的有效性和正确性问题。 效度和信度的关系可以用测量值的构成公式O=T S R来理解。如果测量是完全有效的,即0=T,S=0,R=0,此时测量必然是完全可信的,若量表的信度不足,它也不可能完全有效,因为有O=T R。如果量表是完全可信的,可以达到完全有效,也可能达不到,因为有可能存在导致误差,虽然缺乏信度必然缺乏效度,但信度的大小并不能体现效度的大小。信度是效度的必要条件,但不是充分条件。从理论的角度来看,量应具有足够的效度和信度;从实践的观点来看,一个好的量表还应该具有实用性。实用性指量表的经济性、便利性和可

解释性。 一般来说,信度是效度的必要条件,也就是说,效度都必须建立在信度的基础上;但是没有效度的测量,即使它的信度再高,这样的测量也是没有意义的。信度和效度的关系有如下几种类型: ①可信且有效 这种问卷准确地反映被调查人员的真实态度,问卷中的题目是和调查目标紧密关联的。若调查结果能真实地反映所调查的对象,测量的误差较小,则说明问卷调查的结果是可信而且有效的。 ②可信但无效 这种问卷调查结果虽然能准确地反映被调查人员的真实态度,但问卷中题目与真实的调查目的的关联程度较弱,与调查的目标不相一致。。这种情况表明,虽然调查中所得的结果是可信的,但可能在某些环节上出了差错,例如问卷中题目的设计使得所有的被调查人员都出现了理解的偏差,从而出现了系统性的偏差。 ③不可信亦无效 在这种情况下,统计调查的结果分布较为分散,是难以从调查问卷中得出有效结果的,这是测量中应避免的类型。

相关主题
文本预览
相关文档 最新文档