当前位置:文档之家› 关于调查问卷的信度和效度检验

关于调查问卷的信度和效度检验

关于调查问卷的信度和效度检验
关于调查问卷的信度和效度检验

关于调查问卷的信度和效度检验

(一)信度

1、 信度的含义

测验的信度又称测验的可靠性 ,是指同一个测验对同一组被试施测两次或多次 ,所得结果 一致形程度。一个好的测验必须是稳定可靠的

,多次使用所获得的结果是前后一致的。例 如,用直尺测量长度,其结果是稳定可靠的

;用橡皮筋测长度则是不可靠的 ,前后测量 结果缺乏一致性。在测量理论中 ,信度被定义为:某次测验分数的真变异数与总变异数

ST2

(即实测分数)之比:R xx - S x 2

式中Rxx 表示测量的信度,ST -代表真分数的变异数

(方差),Sx -表示实得分数的变异

数(方差)。 For pers onal use only in study and research; not for commercial use

从上式可看出,(1)信度是指实测值和真值相差的程度

,实测值是指对某物实际进行测 量时所获得值 ,也称实测分数 (X );真值是指被测事物的真实规模取值

,也称真分数 (T )。由于各种原因,实得分数常不等于真分数 ,两者之差称为测量误差或误差分数 (E )。从理论上看,实得分数由真分数和误差分数两部分组成即

:X=T+E Rxx 就是对一组测验数据的实测分数与真分数相差程度的最好估计。

(2 )信度又是指相同的测验对相同的被试再次测量时引起的同样反应的程度。如果两次

测验中,受测者所得分数或所处等级前后一致

,则说明测验结果的信度较高 ;反之,两 次测验结果一致性低 ,说明测验结果的信度低。

For pers onal use only in study and research; not for commercial use

信度是任何一种测量的必要条件 (但不是唯一条件 ),只有测量值接近或等于真值 ,用同

一工具多次测量同一特性获得相同或相近的结果

,才能认为这个测量结果是可靠的。 信度 对于教育测量尤其重要,只有信度高的教育测验才能成为教育工作者有用的工具

,才能为 教育工作者提供可靠的信息,为教育预测和决策提供客观依据。

2、 信度的估计方法

测验的信度是用信度系数的大小来表示的 ,根据测量理论,信度系数

For pers onal use only in study and research; not for commercial use ST2

R xx

S 2 但是在实际测量中,一般只能获得实得分数 (X )及实得变异数 (Sx 2 ),而真分数(T )及 真变异数(ST 2 )是不知道的,因此,依据上述公式还无法机算信度系数。在统计上

,主 要采用相关分析的方法即机算两列变量的相关系数

,用相关系数的大小来表示信度的高 低。主要用以下方法来求得信度 :

差相关公式计算的:R xx X1X2/N M1M2

S1 ?S2

(1 )再测法:用同一测验对同一被试

,前后施测两次,根据两次测验分数计算相关系 数,即是再测信度。该信度反映了测验的稳定性程度

,故又称稳定性系数 ,是用皮尔逊积

式中X 1 .X 2 为同一被试的两次测验得分

,M1.M2为两次测验的平均分数 ,S 1 .S 2是两 次测验的标准差,N 是被试人数。

用再测法估计信度,可以得到有关测验结果是否随时间而变化及变化程度的资料

,可以作 为预测被测者将来行为表现的依据。但也存在明显的局限性 :前后两次测验结果易受到练 习和记忆的影响,前后两次施测的时间间隔影响稳定性系数 ,特别是对学绩测验的影响较 大。如果时间间隔太长 ,被测者的身心因受环境影响将发生大的变化 ,从而对第二次施测 结果产生较大影响,使稳定性系数降低;如果间隔太短,则被试第一次完成测验时练习 和记忆会对第二次测验产生较大影响 ,使第二次测验性质发生变化。另外 ,有些测验不宜 用再测法估计信度 ,如测量创造力测验 ,被试一旦掌握了解决问题的办法、原则 ,重测 时,他将很容易作出反应 ,这样测验的性质就发生了改变。因此 ,只有在没有复本可用 , 测验不易受重复使用影响,现实条件又允许重复施测的情况下才使用重测法估计信度。

用重测法估计信度 ,间隔时间长短没有严格的规定 ,一般说,间隔时间越长,稳定性系 数越低,最适宜的时距应根据测验目的、性质及被试特点而定 ,最好不超过六个月。对儿 童的时距应该短些 ,对成年人的时距可适当长些 ,因为个体早期的身心特征变化较大

而成年人的身心特征则相对稳定。

(2)复本法.根据同一测验目的编制的许多平行德等值测验 ,可测定被试的同一特征 ,

这些等值的测验叫做复本。对一组受测者间隔一定时间或同时施测两个复本 ,根据两次测 验结果求得相关系数 ,即得等值性系数,又称复本信度。对一组受测者间隔一定时间后施 测两个复本所求得的稳定性系数又称等值稳定性系数。 因为用这种方法求得的信度不仅受复 本质量的影响,而且受时间练习等因素的影响 ,因此,等值稳定性系数更全面地反映了 测验的信度。计算等值稳定性系数是对两个复本测验结果计算斯皮尔曼积差相关系数

(具 体公式见前)。

(3 )分半法?当测验没有复本 (复本的编制是很复杂的 )而且测验只适合施测一次的 情况下,可用分半法估计信度 ,即将测验题目分成对等的两半 ,根据每人在这两半测验 中的得分,计算其相关系数,这个系数又称内部一致性系数。

要求得分半信度,首先要将测验分成对等的两半。

绝大多数测验是由许多题目排列组成的

, 但是若将测验简单地分成前后两部分 ,常常是不对等的,对等的两部分起码有两个要求

一是测验的两部分在难度、区分度及测验目标上基本是相同的 ;一是被测者以同等的态度 来对待两部队测验 ,即在完成两部分测验过程中 ,练习,疲劳,情绪等因素对被试产生

了同等的影响。因此,将一个测验分成两部分时 ,常用的是奇偶分半法 ,即将奇数题分为 一部分,将偶数题分为一部分。 特别是测验题目是按由易到难排列时 ,这种分法可以将测 验分为大致相等的两半 ,但是,对于速度型的测验不适合用奇偶分半法。

用分半法求出的测验的信度系数并不能反映整个测验的信度。

这是因为信度受测验的长度的 ,Rhh 是两个分半测验的相关系数。上述公式的前提假设 ,

但是若测验资料不符合这个假定 ,可用下列公式求得信

影响,测验越长,信度越高 因

此,需对测验系数加以校正 将测验分成两半求得的信度系数 ,校正公式是斯皮尔曼一布朗

,低估了整个测验的信度 (Spearman — Brown )公 2Rhh

1 Rhh

Rxx 是整个测验的信度估计系数 是两个半测验分数的变异性相等

弗朗那根(Flanagan)公式:2?(1 --------------------------- )

Sx2

Sa 2和Sb 2分别代表两个分测验分数的变异数,Sx 2代表整个测验的变异数。

卢伦(Rulon)公式:Rxx 1 -

SX2

Sd 2代表两个半测验分数之差的变异数,Sx 2代表总测验变异数。

对于由客观性题目组成的测验(即答对一题得一分,答错得0分),则可用库得一理查

k (pq)

逊(Kuder —Richards。n)公式估计测验的内部一致性:Rkk ( )(1 )

k 1 Sx2

k为测验的总题目数,p为某一个题目的答对率或通过该题目的人数比例,q为未通过该题

目的人数比例,p=1-q,Sx 2为测验总分的方差。

对于由客观性题目和主观性题目组成的测验,有些题目是多重计分的情况下,则要用克伦

k Si2

巴赫(Cronbach)公式计算a系数来估计测验的内部一致性:()(1 )

k 1 Sx2

k为测验题目总分,Si 2是某一题目得分的方差,Sx 2是整个测验分数的方差。

上面这些公式不适用于速度性测验,因为只有每个人做完所有的题目,题目的方差才是准

确的。

3、提高测验信度的方法:

影响测验信度的误差归纳起来主要有:

(1) 抽样误差:简单说,这是在抽样过程中由于被试间的差异所造成的误差。被试间的差异可以用全距和方差大小来表示。全距是指某一心理量最大值与最小值之差。全距大说明被

试间差异大,全距小说明被试间差异小。被试间在某一心理量上参差不齐,差别悬殊,则

该心理量的方差大;反之,方差小。对于方差小的样本,被试间在某一心理特征上相差较小,则前后两次测验结果的一致性较低,即降低了信度。因为被试之间的差别越小其同质

性越高,被试的分数只要发生小的变化,其名次就可能改变,从而降低信度。

⑵随机误差:由于各种偶然因素的影响而产生的误差,表现为用同一方法多次测量同一

对象时结果上不一致。随机误差是由许多因素造成的,如量标的质量,测量的程序,被试

的身心状态,测量的环境等。

根据影响测验信度的因素,可从以下几方面来提高测验的信度:一是从测验本身考虑,如测验的长度、难度、区分度、速度、程序、环境条件与计分方法等;一是从被试自身考虑,如被试在被测心理特征上的差异大小,参加测验的动机水平,对测验的态度和积极

性等。在此主要介绍如下几种提高测验信度的方法:

(1 )适当延长测验的长度:

测验的长度主要指量表所包含的题目多少。对一个测验来说,测验的题目越少,得分越容

易受偶然因素的影响,故测验的信度越低。反之如果测验题目较多,即测验长度延长,扩

大了被试得分范围,可在一定程度上排除偶然因素的影响,从而提高测验信度。但是测验

信度的增加并不是等比例提高信度系数。当信度系数较小时,延长测验长度信度系数增加

较大;当信度系数已经较大时,延长测验长度对信度系数的影响就较小了。而且,在延长

测验长度时,还需考虑其他因素的影响,如被试在回答问题时是否疲倦或产生厌烦情绪

是否节省时间、物力和财力,测题是否附合测验目的等。

(2 )测验的难度要适中:难度即测验的难易程度,当测验难度太大时,被试得分普遍太低,呈负偏态分布;当测验难度太小时,被试得分普遍较高,呈正偏态分布。太难太易的测验都使被试得分差异减小,使实得分数方差减小,从而降低测验信度。参见公式:

E2 x2

(3 )测验的内容尽量同质:性质相同的测验内容,对被试也要求相同的能力、知识和技能;而内容不同质的测验,则要求被试不同的能力、知识和技能。因而为了提高测验信度

测验内容应尽量同质。

(4 )测验的时间要充分:对某一测验而言,应保证绝大多数被试在规定时间内完成测

验;否则,如果被试不能从容回答所有问题,就不能反映被试的真实水平。

(5)测验的程序要统一:包括测验的题目统一,指导语、回答问题的方式、分收试卷的方法、测验时间等都要统一。

(6)评分要客观:评分是否客观对测验信度有直接的影响。对于客观性题目,评分标准

明确,评分容易做到客观;但对于主观性题目,受评分者影响较大,不易做到客观。为了尽可能客观评分,应制定明确而易掌握的评分标准,尽量做到一卷多评,或一人只评一

题等。

(二)效度

1、效度的含义效度(Validity)是指测量的有效程度或测量的正确性,即一个测验能够测量出所要测量特

性的程度。例如,用直尺测量长度是有效的,而用来测量温度则是无效的。对效度的定义

可作如下理解:

(1 )任何一种测验只是对一定目的来说才是有效的。

(2 )测验的效度是对测量结果而言的,即一种测量工具只有经过实际测量,才能根据测量结果判断它的效度。

(3 )测验的效度是相对的而非绝对的。测验是根据行为样本,对所要测量的心理特性作

间接推断,只能达到某种程度的准确性,而没有全有、全无的差别。

在测量理论中,效度被定义为:在一系列测量中,与测量目的有关的真变异数(即有效变异)与总变异数之比:rxy2 泱

SX2

rxy表示测量的效度系数,Sv 2代表有效变异数,Sx 2代表总变异数。

根据上述公式,可看出效度与信度的关系:

?/ Sx 2 =Sv 2 +SI 2 +SE 2

ST 2 =Sv 2 +SI 2

c Sy2 ST2 SI 2 SI2

rxy 2

Sx2 Sx2 Sy2

/? rxy 2 < rxx

SI 2表示系统误差方差,它稳定地与有效方差结合在一起,对信度没有影响,而影响效度。从以上证明看出,测验的效度受测验的信度所制约,而且效度系数不会大于信度系数。效度高的测验,信度必定高;但信度高的测验,效度则未必高。

效度在教育测量中有重要的意义。对一个测验来说,效度比信度更为重要,测验首先要保证能如实地测量出所要测量的东西,否则,这种测量将是没有意义的。在教育测量中,效

度问题尤其重要,首先,教育测量的对象大多是精神现象,只能对被测者的外部表现进

行测量,以间接了解其心理活动特点或知识技能水平。其次,学生的心理活动特征与其外

部表现之间,仅有相关关系而没有严格的函数关系,外部行为有时并不能准确地反映某种

心理状态。再次,教育测量对象是有主观能动性的人,人是能够有意识地调节自己的外部

行为,掩盖自己的内心活动,这就更增加了教育测量的难度。

2、效度的类型与估计

(1)内容效度(Content Validity):是指测验目的代表所欲测量的内容和引起预期反应所达到的程度。例如, 以考查学习成绩为目的的测验来说," 所欲测量的内容" 是指教学大纲所规定的全部教材;" 起预期反应" 是指学生学习这些教材所产生的行为变化, 如对教材的记忆、理解和应用。

在编制测验时, 内容效度是一个相当复杂的问题, 例如教师编制学绩测验, 其目的是了解学生在某一学科或专题上对知识掌握情况, 若条件允许, 应该对大纲规定的所有内容进行全面考试, 这显然是行不通的, 只能从这一范围总体内容中选取有代表性题目( 样本), 组成测验, 根据测验分数推论学生对该范围总体知识的掌握。若测验题目较好地代表了这个知识范围, 则推论是有效的, 即测验的内容效度高; 若选题有偏差, 则推论是无效的, 即测验的内容效度低。从另一方面看, 测验题目所引起的被试反应( 是一个样本), 若能代表其对本学科或专题的全部行为反应, 也说明该测验是有效的; 反之, 则是无效的。因此, 一个测验要有较高的内容效度应具备如下两个条件:1. 要有定义好的内容范围。 2. 测验题目取样应有代表性( 对所界定的内容范围而言) 。估计内容效度的方法:

A 、由专家进行逻辑分析: 即请有关专家对测验题目与原来的内容范围是否符合进行分析作出判断, 看测验题目是否较好地代表了原来的内容。

B 、统计分析: 克伦巴赫(Cronbach) 认为内容效度可以进行数量估计, 方法是从同一教学内容总体中抽取两套测题, 分别对同一组被试进行测验, 两种测验的相关系数可用来估计内容效度。若相关系数大, 则内容效度高; 若相关系数小, 则两个测验中至少有一个内容效度低。

另外, 有经验的任课教师对本学科测验的内容效度有较好的判断。当然, 若能与有关专家配合会更好些。

( 2 )结构效度(Construct Validity): 又称构想效度, 是测验对某一理论概念或心理特质量的程度。即某测验对所要测量的结构或心理特质实际测量的程度。心理测验都是建立在心理学理论基础的,例如比纳一西蒙智力量表的制订,心理学家比纳(Binet)首先详细研究了

智力的结构, 他认为智力行为是一种连锁性的过程, 包括判断、推理、解决问题等。他根据这一理论编制的智力测验,确实测量出被试的判断、推理和解决问题能力,可以认为他所编制的测验具有结构效度。一般说,学科测验主要看内容效度,心理测验主要看结构效度。判断内容效度更容易一些,有教学大纲作依据; 判断结构效度更难一些,因为理论结构和心理特质不易把握。因此,要制订有构想效度的测验,首先要建立理论结构,例如智力测验,先要确定关于智力的一套理论,如智力的概念、结构、与环境的关系、与年龄的关系、与性别的关系等,在理论的基础上提出若干假设并编制测题。确定结构效度的方法:

A 、对测验题目进行分析: 主要是分析测验的内容,被试对题目所作的反应,测验题目的同质性以及分测验之间的关系来判断测验的构想效度。

B 、计算与同类权威测验的相关: 某一个新测验如果与同类的大家公认有效的已有测验之间,在测验结果上相关很高,说明这两个测验测的是相同特质,即新测验也有较高的结构效度,如后编的智力测验常与斯坦福一比纳智力量表进行比较。

C 、因素分析: 通过因素分析找到影响测验分数的共同因素,在测验分数的总变异中来自有关因素的比例,可以作为构想效度的指标。

(3) 预测效度(Predictive Validity): 又称实证效度,是指一个测验对个体将来的行为或获得的成就进行预测时的准确性。一个测验预测得越准确,预测效度越高。被预测的行为或成

绩是检验预测效度的标准,简称效标(Criterion),即衡量测验有效性的参照标准。效标是估计预测效度的主要依据,应具备如下一些条件1) 有效性: 即效标测量本身必须有效。(2) 可靠性: 效标

测量要具有较高的信度。(3) 客观性: 在效标测量时要防止受评定者主观印象和成见的影响, 要防止效标污染, 即由于主试知道某个人原来的测验成绩, 因而影响了在效标测量中对这个人的评定分数。

(4) 效标测量应该简单省时, 花费少, 经济实用。一般常用学业成就, 等级评定, 临床诊断, 实际的工作表现作为效标。例如, 一个智力测验其预测效度既可用被试的学业成就作效标, 也可用熟悉的班主任对其进行等级评定作效标。

估计预测效度的主要方法是:

A 、相关法: 即求某测验分数与效标测量间的相关, 所得结果即效标系数。当测验分数与效标测量分数都是连续变量时, 用积差相关公式求相关系数( 具体公式见统计教材) 。当测验分数是连续变量

, 而效标测量分数是二分变量时, 可用二列相关公式计算效度系数

( 具体公式见统计教材) 。

B 、区分法: 即看原先测验的分数是否可以区分由效标测量所化分的团体。例如, 某工厂通过测验录用了一批工人, 过一段时间后, 根据工作成绩将其分为称职和不称职两种, 然后回过头来检查他们的测验分数, 运用t 检验看看两组在测验上的平均分数是否有显著差异。若有显著差异, 说明测验是有效的; 若差异不显著, 说明测验是无效的。

C 、功利率: 为了测定测验的功效, 人们还可对使用测验所化掉的费用与得到的利益进行比较, 看其利弊大小, 这种效度指标叫功利率。

U=B(Ns)-C(Nu)-S

U 代表功利率,B 表示录用一个合格的工人所产生的平均利润,C 表示录用一个不合格的工人所造成的损失,Ns 和Nu 分别代表所录用的人中成功和不成功的人数,S 代表整个选人程序的费用。

计算功利率说明, 如果一个测验简单易做, 适合于团体施测, 即使效度低些, 也会有人

采用; 反之, 如果测验复杂, 只能个别施测, 费时费力, 那么只有效度极高, 给人带来

极大好处时, 人们才会使用它。

提高测验效度对教育测验非常关键, 效度系数多大合适? 要根据测验的具体情况而定:

(1) 智力测验分数与熟悉教师对学生智力等级评定之间的效度系数一般在0.30 —0.50之间。教师评定常受许多其他因素的影响。

(2) 某一科目的标准测验成绩与任课教师对学生名次排列之间的相关系数应达到0.60 —0.70 。

(3) 两种不同的智力测验或两种标准测验之间的相关系数应达到

0.60 —0.80

效度系数可解释为效标分数中的变异有百分之几来源于测验的变异。例如效度系数为0.50,则说明效标分数中有0.502=25% 的变异来自原测验分数的变异; 若效度系数为0.71, 则效标分数中有50% 的变异来自原测验分数。

3 、提高测验效度的方法:

( 2 )控制系统误差: 系统误差是影响测验效度的主要因素。它主要包括仪器不准, 题目和指导语有暗示性, 答案按排不当( 被试可以猜测) 等, 控制这些因素可以降低系统误差, 提高效度。

(2) 精心编制测题和测验量表: 首先测题内容要适合测验目的, 如知识性测题就不能全面反映被试的智力水平, 它主要测量其知识水平。其次, 测题要清楚明了, 用语要让被试理解, 排列由易到难。第三, 测题的难度和曲分度要合适。

(3) 严格按照测验程序进行测量, 防止测量误差: 要严格按照测验手册进行测量, 不能作过多的解释, 按标准评分, 两次测验间隔要适当。

(4) 样本容量要适当: 当样本容量增大时, 样本对总体的代表性提高, 样本大, 被试的内部差异增大, 扩大了真分数的方差, 使效度提高。样本容量一般不应低于30 。另外,

问卷的信度与效度

调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 2、复本信度法 复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的

量表的信度效度检验

第六章量表的信度效度检验 我们采用含有多个项目的量表来测量人们的意见、态度、看法等、这样得到的结果是否准确、可靠,是否有适用性?这就需要评价量表的信度和效度。从理论的观点来看,一个良好的测量工具(量表)应具有足够的效度和信度。 一、信度检验 信度(Reliability)即可靠性,是指采用同一方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,即测量工具(问卷或量表)能否稳定地测量所测的事物或变量。信度指标多以相关系数表示,具体评价方法大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性\替换形式)和内在一致性系数(跨项目的一致性)。信度表示的方法主要有以下四种: 1、稳定性系数 稳定性系数是采用同样的问卷,对同一组访问对象在尽可能相同的情况下,在不同时间内进行两次测量,用两次测量结果间的相关分析来评价量表信度的高低,连皮尔逊积差相关系数即是信度系数,也称为重测信度,或再测信度。 两次测量,如果间隔时间过长,调查对象容易受环境和个人经历的影响而发生态度的转变,如果间隔时间过短,则受到上次调查记忆的影响。适当的间隔时间是既不能让调查对象记住上一次测验的内容,也不能让其被测的主观特征在两次测验之间没有发生较大的变化。适合的间隔时间要视调查对象和测量内容不同而不同,一般来说,年幼儿童,间隔时间要小,年长者,间隔时间可以延长。并且调查对象在两次测量期间没有发生于相关的重大事件。在最后提交调研报告时,要对间隔时间加以说明,报告间隔的时间。 2、等值系数(复本信度) 用两个复本在最短时间内对同一组调查对象进行测量所得结果的一致性程度,复本信度系数等于两个复本测量所得分数的皮尔逊积差相关系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度,是等值系数。复本类似于考试中得A、B卷,如果一个人在A卷和B卷的得分相同,就说明考题具有信度;如果两者差异很大,则缺乏信度。 复本信度的使用前提是测量所用的两个复本必须是等效的,两个复本要满足以下几个条件:两个复本测量的是同一种特征。两个复本具有相同的内容和

毕业学位论文调查问卷信度效度检验--总结

毕业学位论文调查问卷信度效度检验 一、隗金水--博士论文运动员选材的选育结合理论与实证研究 1、问卷的效度问题。本研究的调查问卷是在大量阅读有关运动员选材和早期训练及管理等资料的基础上,结合运动选材和训练实际,同时考虑教练员和运动员的特殊性(时间问题,阅读能力问题,对理论研究的兴趣问题等)编制而成,内容方面力求全面反映选育现状,文字表达方面字斟句酌,反复修改,力求简单朴素,言简意赅.按照《体育测量评价》效度理论及《社会研究方法》中的概念操作化的方法(艾尔.巴比,2000),先对调查的基本内容进行纲要式的拟订、修改,并在征求专家意见的基础上,最后确定调查内容纲要细目表(见表2一1表2一),这样可以在结构上保证内容的全面性而避免遗漏重要内容,再根据细目表逐一进行问卷的编写,达到概念操作化的目的,即将抽象的概念转化为可观测的具体指标或题目。然后在小范围内进行预备测试,并结合教练员和运动员的意见进行反复修改,力争在内容效度和表面效度达到较高要求。 2、调查问卷的信度检验。调查问卷定稿后,以重测法在小范围内进行了信度检验。其中教练员问卷在以沁2年7月在教练员进修班(45名学员)中进行重测,其信度系数为091(P劝.01);运动员问卷在60名运动员(田径专项)中进行重测,其信度系数为0.87(P劝.01)。在问卷设计和正式实施调查的过程中,采取了下列措施以确保问卷信度,(l)问卷题目数量尽量少,控制在一张A4纸(正反面)内。(2)语言表达上尽量通俗、简单扼要,主要采用选择题型,极少数题目采用填空题型。(3)匿名填写问卷。(4)运动员问卷的发放和填写尽量避开教练员在现场。 二、宋秀丽博士论文新农村社区体育研究--以东尉社区为个案 1、问卷信度:笔者之所以能有这样的便利条件发放问卷,原因在于本人的爱人是当地市日报社的记者,长山镇是其常年负责宣传报道的乡镇之一,在2008年6月曾经为东尉社区写过整版宣传报道,并获得滨州市新闻媒体单位的精品工程"本人爱人的工作特点为本论文问卷的发放回收以及实地考察提供了极为便利的条件"问卷调查的对象之所以将56岁以上老年人排除在调查范围之外,原因在于两方面,一是东尉社区对老年人采用集中供养的方式,凡是年龄达56岁者其家庭每年向公寓交一定象征性的费用就可以入住东尉社区的老年公寓,在老年公寓有专门为老年人提供的各种文体活动场地设施;二是东尉社区老年公寓老人文化水平一般较低,问卷的填答对他们来说有相当的难度"所以,对于老年公寓老年人的体育活动开展状况多是采用访谈方式进行 2、效度检验:问卷制定之后,请8位专家对问卷的内容和结构效度进行了检验,有5位专家认为合理,3位专家认为基本合理,问卷具有较高的结构效度" 三、陈琦--博士论文从终身体育思想审视我国学校体育的改革与发展 1、信度检验:问卷设计完后请专家判定问卷的指标是否能够含盖研究主题是否合适从而进行效度检验学生问卷专家认定率为91.72%教师问卷专家认定率为90.41%市民问卷专家认定率95.56%参见表2-1

问卷的信度与效度

?调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 2、复本信度法

复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(r hh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式: 求出整个量表的信度系数(r )。 u 4、α信度系数法 Cronbach α信度系数是目前最常用的信度系数,其公式为: 其中,K为量表中题项的总数,为第i题得分的题方差,为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析

SPSS测量问卷信效度分析

测量问卷信效度分析 信度和效度分析是问卷分析的第一步,也是检验该问卷是否合格的标准之一,所以,我们在做问卷调查的时候第一步就要进行信度和效度的分析,才能确保我们的问卷有意义。 信度(Reliability)即可靠性,是指使用相同指标或测量工具重复测量相同事物时,得到相同结果的一致性程度。一个好的测量工具,对同一事物反复多次测量,其结果应该始终保持不变才可信。例如,我们用一把尺子测量一张桌子的高度,今天测量得高度与明天测量的高度不同,那么我们就会对这把尺子产生怀疑。因此,一张设计合理的调查问卷应该具有它的可靠性和稳定性。 目前最常用的是Alpha信度系数,一般情况下我们主要考虑量表的内在信度——项目之间是否具有较高的内在一致性。通常认为,信度系数应该在0~1之间,如果量表的信度系数在0.9以上,表示量表的信度很好;如果量表的信度系数在0.8~0.9之间,表示量表的信度可以接受;如果量表的信度系数在0.7~0.8之间,表示量表有些项目需要修订;如果量表的信度系数在0.7以下,表示量表有些项目需要抛弃。 信度分析是:“分析”——“度量”——“可靠性分析”,把所有主观题选到:“项目”中,确定即可,得出总的信度。把统一维度的题目选中,得出先关维度的信度。 具体步骤:分析——度量——可靠性分析 模型选择a,点击确定即可。 结果分析: 分析各个维度和总量的信度后,将它们列出一个表格,其中每个维度的a信度系数都大于0.7,说明该量表信度较好,符合问卷调查。 效度(Validity)即有效性,是衡量综合评价体系是否能够准确反映评价目的和要求。是指测量工具能够测出其所要测量的特征的正确性程度。效度越高,即表示测量结果越能显示其所 要测量的特征,反之,则效度越低。常用于调查问卷效度分析的方法主要有以下几种。 1、单项与总和相关效度分析 这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项

关于调查问卷的信度和效度检验

关于调查问卷的信度和效度检验 (一)信度 1、 信度的含义 测验的信度又称测验的可靠性 ,是指同一个测验对同一组被试施测两次或多次 ,所得结果 一致形程度。一个好的测验必须是稳定可靠的 ,多次使用所获得的结果是前后一致的。例 如,用直尺测量长度,其结果是稳定可靠的 ;用橡皮筋测长度则是不可靠的 ,前后测量 结果缺乏一致性。在测量理论中 ,信度被定义为:某次测验分数的真变异数与总变异数 ST2 (即实测分数)之比:R xx - S x 2 式中Rxx 表示测量的信度,ST -代表真分数的变异数 (方差),Sx -表示实得分数的变异 数(方差)。 For pers onal use only in study and research; not for commercial use 从上式可看出,(1)信度是指实测值和真值相差的程度 ,实测值是指对某物实际进行测 量时所获得值 ,也称实测分数 (X );真值是指被测事物的真实规模取值 ,也称真分数 (T )。由于各种原因,实得分数常不等于真分数 ,两者之差称为测量误差或误差分数 (E )。从理论上看,实得分数由真分数和误差分数两部分组成即 :X=T+E Rxx 就是对一组测验数据的实测分数与真分数相差程度的最好估计。 (2 )信度又是指相同的测验对相同的被试再次测量时引起的同样反应的程度。如果两次 测验中,受测者所得分数或所处等级前后一致 ,则说明测验结果的信度较高 ;反之,两 次测验结果一致性低 ,说明测验结果的信度低。 For pers onal use only in study and research; not for commercial use 信度是任何一种测量的必要条件 (但不是唯一条件 ),只有测量值接近或等于真值 ,用同 一工具多次测量同一特性获得相同或相近的结果 ,才能认为这个测量结果是可靠的。 信度 对于教育测量尤其重要,只有信度高的教育测验才能成为教育工作者有用的工具 ,才能为 教育工作者提供可靠的信息,为教育预测和决策提供客观依据。 2、 信度的估计方法 测验的信度是用信度系数的大小来表示的 ,根据测量理论,信度系数 For pers onal use only in study and research; not for commercial use ST2 R xx S 2 但是在实际测量中,一般只能获得实得分数 (X )及实得变异数 (Sx 2 ),而真分数(T )及 真变异数(ST 2 )是不知道的,因此,依据上述公式还无法机算信度系数。在统计上 ,主 要采用相关分析的方法即机算两列变量的相关系数 ,用相关系数的大小来表示信度的高 低。主要用以下方法来求得信度 :

如何进行问卷效度与信度分析

如何进行问卷信效度分析 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 重测信度法:这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 复本信度法:复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 折半信度法:折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式,求出整个量表的信度系数(ru)。 α信度系数法:Cronbach α信度系数是目前最常用的信度系数。其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型:内容效度、准则效度和结构效度。效度分析有多种方法,其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种: 单项与总和相关效度分析:这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效。若量表中有反意题项,应将其逆向处理后再计算总分。 准则效度分析:准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著

问卷信度效度检验

从统计数据质量角度谈调查问卷的设计质量 一、引言 从保证统计数据质量的统计工作过程看,统计数据质量可以被划分为统计设计质量、统计调查质量、统计整理质量、统计分析质量以及数据发布传输质量等。统计设计质量是保证统计数据质量的首要环节,在统计数据质量保证体系中起着关键性作用。统计设计质量一般包括调查问卷设计质量与调查方案设计质量,其中调查问卷设计质量指的是:通过问卷测量得到的,反映调查对象客观现象的统计数据的准确性和有效性,即调查问卷设计质量的好坏,需要通过问卷测量能力的高低来检验。 在市场调查中,为了深入地研究一些本质的或理论性的现象,问卷调查法被广泛运用,除了调查时采用的抽样方法以及所抽取的调查对象是否具有代表性之外,调查者最关心的就是调查问卷的测量能力。问卷测量能力包含了两个方面的内容,即问卷测量结果的准确性和有效性。准确性和有效性是统计数据质量蕴涵的最主要的两个特性,一个好的调查问卷设计不仅可以保证在多次重复使用下得到可靠的数据结果,即准确性;也可以保证所得测量结果能够反映它所应该反映的客观现实,即有效性。 所以我们可以通过对问卷测量能力的分析来检验问卷的设计质量,对问卷设计进行质量控制,进而发现问卷设计中应注意的问题。在此基础上,通过不断改进问卷设计,提高其测量能力,最终将有助于我们得到高质量的调查数据。 二、调查问卷的设计质量检验 信度和效度的概念来源于心理测试中关于测验的可靠性和有效性研究,当建构和评估测量时,通常使用信度和效度这两个技术性指标。因此我们采用问卷的信度和效度分析来评估其测量能力,进而实现对问卷设计质量的检验。 1.问卷设计质量的信度检验 所谓问卷设计质量的信度检验,指的是对问卷测量结果准确性的分析,即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中,信度检验多以相关系数表示,常用的方法有:重测信度,复本信度,折半信度,克朗巴哈信度,评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献,在这里,笔者不再一一详述,仅列出相关公式作为参考。 (1)重测信度,也叫稳定系数,对同一组调查对象采用同一调查问卷进行先后两次调 查,采用检验公式,其中为两次调查结果的协方差,为第一次调查结果 的协方差,为第二次调查结果的协方差。系数值越大说明信度越高。 (2)复本信度,也叫等值系数,对同一组调查对象进行两种相等或相近的调查,要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式,系数越大,说明两份问卷的信度越高,具体调查时使用哪一份都可以。 (3)折半信度,也叫内在一致性系数,将调查的项目按前后分成两等份或按奇偶题号分成两部分,通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得 分的方差相等时,检验用Spearman-Brown公式来表示:,其中表示折半信度系数;当假定方差不相等时,采用Flanagan 公式:,其中、分别 表示两部分调查结果的方差,表示整个问卷调查结果的方差。如果折半信度很高,则说明这份问卷的各项题之间难度相当,调查结果信度高。 (4)克朗巴哈信度,是对折半信度的改进,检验公式是:,其中

问卷调查的信度与效度分析图解

问卷调查的信度与效度分析图解 蒋智钢 前几天有朋友要我帮忙算下调查问卷的信度和效度,看了一下后才发现原来这个问题是很多人都会碰到的,似乎有必要写那么一丁点东东。 对于从医还要涉及那么点科研的人来说,问卷调查是许多人都不可避免要做的一项工作,无论你是要做毕业课题,还是要完成一项基金项目,甚至好多人的课题的核心就是做一个问卷调查,那么,你把问卷设计好了,也发出去了,或者结果也统计出来了,但是,问你一句:你的结果可靠吗?你的问卷合格吗?怎么回答? 判断一份用于调查的问卷是否合格是有指标的,也就是我今天要提到的这2个:信度和效度。顾名思义,信度嘛,当然是指调查问卷的可信程度;效度呢,就是指问卷的有效性,二者各取一字成其名。好了,闲话到此打住,直接进入正题,怎么个算法。 1. 先算信度,这个指标是用Cronbach α信度系数来评价的,其实信度系数还有好多个,但是,我们一般就考虑量表的内在信度【这里的量表也就是调查表啦】,简言之,就是项目之间是否具有较高的内在一致性,所以,就算这个Cronbach α就好了。再啰嗦一句:这个α在0~1之间,α>0.8时,表示量表信度很好;0.7~0.8之间,表示量表的信度可以接受;如果是在0.6~0.7范围内,表示量表也可以接受但需改进。 计算的方法很简单,打开SPSS,把你的数据都输入进去即可,当然,数据的输入也是有技巧的,你可以在excel里面先输入数据然后再导入,我比较喜欢这种方式。但是要记住,一列代表一个指标或者称之为“维度”,换言之也就是你的问卷里面的一个具体的题目,有多少个问题就对应多少列,一行代表一个调查对象。数据都弄好之后,在SPSS中点“Analyze-Scale-Reliability Analysis…”进行计算,剩下的不打字了,自己看图吧。 你的问卷调查表的数据可能与下面的类似:【这些数据是我随便弄的,这里只讲方法,不论结果好坏!】

SPSS信度和效度检验全套资料

关于调查问卷的信度和效度检验 (一)信度 1 、信度的含义 测验的信度又称测验的可靠性 , 是指同一个测验对同一组被试施测两次或多次 , 所得结果一致形程度。一个好的测验必须是稳定可靠的 , 多次使用所获得的结果是前后一致的。例如 , 用直尺测量长度 , 其结果是稳定可靠的 ; 用橡皮筋测长度则是不可靠的 , 前后测量结果缺乏一致性。在测量理论中 , 信度被定义为 : 某次测验分数的真变异数与总变异数 ( 即实测分数 ) 之比 :22 S R x xx ST = 式中 Rxx 表示测量的信度 ,ST 2 代表真分数的变异数 ( 方差 ),Sx 2 表示实得分数的变异数 ( 方差 ) 。 从上式可看出 , ( 1 )信度是指实测值和真值相差的程度 , 实测值是指对某物实际进行测量时所获得值 , 也称实测分数 (X); 真值是指被测事物的真实规模取值 , 也称真分数 (T) 。由于各种原因 , 实得分数常不等于真分数 , 两者之差称为测量误差或误差分数 (E) 。从理论上看 , 实得分数由真分数和误差分数两部分组成即 :X=T+E Rxx 就是对一组测验数据的实测分数与真分数相差程度的最好估计。 ( 2 )信度又是指相同的测验对相同的被试再次测量时引起的同样反应的程度。如果两次测验中 , 受测者所得分数或所处等级前后一致 , 则说明测验结果的信度较高 ; 反之 , 两次测验结果一致性低 , 说明测验结果的信度低。 信度是任何一种测量的必要条件 ( 但不是唯一条件 ), 只有测量值接近或等于真值 , 用同一工具多次测量同一特性获得相同或相近的结果 , 才能认为这个测量结果是可靠的。信度对于教育测量尤其重要 , 只有信度高的教育测验才能成为教育工作者有用的工具 , 才能为教育工作者提供可靠的信息 , 为教育预测和决策提供客观依据。 2 、信度的估计方法 测验的信度是用信度系数的大小来表示的 , 根据测量理论 , 信度系数 2 2 S R x xx ST = 但是在实际测量中 , 一般只能获得实得分数 (X) 及实得变异数 (Sx 2 ), 而真分数 (T) 及真变异数 (ST 2 ) 是不知道的 , 因此 , 依据上述公式还无法机算信度系数。在统计上 , 主要采用相关分析的方法即机算两列变量的相关系数 , 用相关系数的大小来表示信度的高低。主要用以下方法来求得信度 : ( 1 )再测法 : 用同一测验对同一被试 , 前后施测两次 , 根据两次测验分数计算相关系数 , 即是再测信度。该信度反映了测验的稳定性程度 , 故又称稳定性系数 , 是用皮尔逊积差相关公式计算的 :2 12 1/21S S M M N X X R xx ?-= ∑ 式中 X 1 .X 2 为同一被试的两次测验得分 ,M1.M2 为两次测验的平均分数 ,S 1 .S 2 是两次测验的标准差 ,N 是被试人数。 用再测法估计信度 , 可以得到有关测验结果是否随时间而变化及变化程度的资料 , 可以作为预测被测者将来行为表现的依据。但也存在明显的局限性 : 前后两次测验结果易受到练习和记忆的影响 , 前后两次施测的时间间隔影响稳定性系数 , 特别是对学绩测验的影响较大。如果时间间隔太长 , 被测者的身心因受环境影响将发生大的变化 , 从而对第二次施测结果产生较大影响 , 使稳定性系数降低 ; 如果间隔太短 , 则被试第一次完成测验时练习和记忆会对第二次测验产生较大影响 , 使第二次测验性质发生变化。另外 , 有些测验不宜用再测法估计信度 , 如测量创造力测验 , 被试一旦掌握了解决问题的办法、原则 , 重测时 , 他将很容易作出反应 , 这样测验的性质就发生了改变。因此 , 只有在没有复本可用 , 测验不易受重复使用影响 , 现实条件又允许重复施测的情况下才使用重测法估计信度。 用重测法估计信度 , 间隔时间长短没有严格的规定 , 一般说 , 间隔时间越长 , 稳定性系数越低 , 最适

调查表的的信度与效度评价方法

调查表的的信度与效度评价方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。 一、信度分析 信度(Reliability)即可靠性,是指采用同一方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,即测量工具(问卷或量表)能否稳定地测量所测的事物或变量。信度指标多以相关系数表示,具体评价方法大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 同样的问卷,对同一组访问对象在尽可能相同的情况下,在不同时间进行两次测量。两次测量相距一般在两到四周之内。用两次测量结果间的相关分析或差异的显著性检验方法,评价量表信度的高低。 2、折半法。折半法是将上述两份问卷合成一份问卷(通常要求

这两份问卷的问题数目相等),每一份作为一部分,然后考察这两个部分的测量结果之间的相关性。 3、折半信度法折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式: 求出整个量表的信度系数(ru)。 4、α信度系数法 Cronbach α信度系数是目前最常用的信度系数,其公式为: 其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型:内容效度、准则效度

问卷的信度和效度

第五章问卷的信度和效度 问卷是收集资料的工具,与其他的测量工具有很大不同,对其评价较为复杂,难一份优秀问卷应该是研究对象乐意接受的,能收集到所需要的数据,且所收集的数据是可信的。一般来说,评价一份问卷的质量,可从信度、效度、可行性和灵敏度四方面进行分析。 问卷的可行性是指问卷被研究对象接受的程度,包括是否参与调查、中断调查、完成问卷调查过程和拒绝调查的情况,常用参与率、拒答率、平均完成时间、调查中断率、问卷有效率等指标来说明。 灵敏度是指问卷应能及时反映出研究对象某些特征的变化,如健康量表的高灵敏性就是量表应对测量人群健康水平的微小变化都能及时地反映出来。下面将着重介绍问卷的两个最重要的特征:信度和效度。 问卷测验是测量答卷者对问卷题目主观认识的个体差异的工具。问卷测验的结果与问卷时的情景和测验时的条件有关。 问卷测验中测量误差对问卷结果的影响是不可避免的,误差通常来源于两个方面: 一是产生于问卷测验过程中的误差,称为测量误差(meas-urement error),也称为随机误差(random error); 二是由问卷的质量造成的误差,称为系统误差(system error)。与两类误差相对应,在问卷测验结果分析中引入了信度(reliability)和效度(validity)的概念,信度和效度是衡量问卷整体质量的重要指标,一份好的问卷应同时具有较高的信度和效度。 一、信度分析 无论是调查问卷,还是一次考试的试卷,还是对同一生物体进行重复测量,信度的高低都是评价其质量的重要指标。 (一)信度分析的意义 信度又称为问卷的可靠性,其主要是指问卷是否精准(precision)。 信度分析涉及了问卷测验结果的一致性和稳定性,其目的是如何控制和减少随机误差。 调查问卷的信度包含两层含义: 一是相同的个体在不同时间,以相同的问卷测验,或以复本测验,或在不同 的情景下测验,是否能得到相同的结果,

前测数据分析__信度和效度分析

第二节信度和效度分析 一、信度分析 与预测试数据分析方法一样,为了确保问卷的可靠性,先进行信度分析,信度检验指标在前面已详细述,在此不再述。问卷信度分析如表4-2所示: 表4-2:量表信度检验结果

经过SPSS24.0数据统计软件分析得知个变量Cr onbach's α均大于0.6,且组合信度在0.792以上,说明所有问卷都具备可靠性,能够较好的反应变量的真实情况。 二、效度检验 (一)容效度 为了确保调研问卷容的有效性,问卷量表通过文献研究先初步圈定问卷容,所用量表大多采用国外已经开发出的成熟量表,对于这部分量表,本文给予直接采用的方式,其余量表则是在前人研究的基础上,根据本文的研究目的和方向进行谨慎的拟定。因此,本问卷具有容效度。 (二)结构效度 在测量结构效度时,通常采用探索性因子分析。在进行因子分析时,通常采用主成分分析法,主成分分析的目的在于利用变量间的线性组合来解释每个层面的方差,变量的第一个线性组合可以解释最大的变异量,以此类推,所以主成分分析法的步骤是,选取特征值大于1的因子,然后利用方差最大旋转法进行旋转,使得旋转后题目在各个因子的负荷量大小出现明显差异,大部分题目在每个公共因子中有一个差异较大的因子负荷量出现。但在因子分析之前需要进行KMO值和Bartlett球形检验,只有当KMO>0.5且Bartlett球形检验的Sig.值小于0.05时,

问卷才具有结构效度,才能够进行因子分析。本研究中对三个量表进行的结构效度分析具体情况如下。 (1)虚拟品牌社群价值的效度检测 1.1虚拟品牌社群价值的KMO值和Bartlett球形检验 在对虚拟品牌社群价值做因子分析之前,先做KMO值和Bartlett球形检验,检测结果如表4-3所示: 表4-3:虚拟品牌社群价值的KMO值和Bartlett检验 取样足够度的Kaiser-Meyer-Olkin度量.901 Bartlett的球形度检验近似卡方4892.820 df 186 Sig. .000 通过对虚拟品牌社群价值量表的14个题项进行KMO检验和Bartlett球形检验,发现虚拟品牌社群价值量表的KMO值为0.901,表明各个变量之间的相关系数非常高,适合做因子分析,同时Sig.值为0.000<0.05,达到显著性水平,综上可以得出虚拟品牌社群价值量表适合做因子分析。 1.2虚拟品牌社群价值因子分析 通过KMO值和Bartlett球形检验可知,虚拟品牌社群价值适合做因子分析,运用主成分提取法进行因子旋转后得到以下数据,如:表4-4所示: 表4-4:虚拟品牌社群价值旋转因子负荷值

如何使用spss进行问卷效度和信度分析

如何使用spss软件进行效度和信度分析 如果一个问卷设计出来无法有效地考察问卷中所涉及的各个因素,那么我们为调查问卷所作的抽样、调查、分析、结论等一系列的工作也就白做了。那么,我们如何来检验设计好的调查问卷是否有效呢?信度分析是评价调查问卷是否具有稳定性和可靠性的有效的分析方法。 二、信度分析的提出及分析方法 信度,又叫可靠性,是指问卷的可信程度。它主要表现检验结果的一贯性、一致性、再现性和稳定性。一个好的测量工具,对同一事物反复多次测量,其结果应该始终保持不变才可信[1]。例如,我们用一把尺子测量一张桌子的高度,今天测量得高度与明天测量的高度不同,那么我们就会对这把尺子产生怀疑。因此,一张设计合理的调查问卷应该具有它的可靠性和稳定性。 调查问卷的评价体系是以量表形式来体现的,编制的合理性决定着评价结果的可用性和可信性。问卷的信度分析包括内在信度分析和外在信度分析。内在信度重在考察一组评价项目是否测量同一个概念,这些项目之间是否具有较高的内在一致性。一致性程度越高,评价项目就越有意义,其评价结果的可信度就越强。外在信度是指在不同时间对同批被调查者实施重复调查时,评价结果是否具有一致性。如果两次评价结果相关性较强,说明项目的概念和内容是清晰的,因而评价的结果是可信的。信度分析的方法有多种,有Alpha信度和分半信度等,都是通过不同的方法来计算信度系数,再对信度系数进行分析[2]。 目前最常用的是Alpha信度系数法,一般情况下我们主要考虑量表的内在信度——项目之间是否具有较高的内在一致性。通常认为,信度系数应该在0~1之间,如果量表的信度系数在0.9以上,表示量表的信度很好;如果量表的信度系数在0.8~0.9之间,表示量表的信度可以接受;如果量表的信度系数在0.7~0.8之间,表示量表有些项目需要修订;如果量表的信度系数在0.7以下,表示量表有些项目需要抛弃。我们可以通过目前比较流行的SPSS软件对调查问卷进行信度分析,这样我们就可以判断一个调查问卷是否具有稳定性和可靠性。 三、利用SPSS软件进行信度分析 下面就以兵团广播电视大学“人才培养模式改革和开放教育试点”毕业生追踪调查[3]中《电大教学效果评价》(毕业生用)这一调查量表进行分析。量表见下图。 (一)对量表进行纬度划分,将量表分为知识、能力、业绩三个纬度。其中,第1~4题划分到知识纬度,第5~12题划分到能力纬度;第13~15题划分到业绩纬度。通过每一纬度的Alpha系数来考察每一项得分间的一致性。 1、打开SPSS软件,调入930条记录的数据文件,进入SPSS主界面。 2、在知识纬度中,对项目(1)专业知识的掌握;(2)所学知识与工作岗位的实际需要;(3)知识面的拓宽;(4)专业水平的提高;进行内部一致性分析。 ①单击“分析”菜单中的“尺度分析”,再在“尺度分析”的子菜单中点击“可靠性”分析,打开“可靠性分析”的主对话框。 ②在左侧的源变量框中选择上述四个项目所对应的变量c1,c2,c3,c4加入到对话框右边的“项目”中,作为分析变量,再在对话框下面的“模型”中选择“Alpha”,进行Alpha 信度分析。 ③点击对话框中的“统计量”按钮,打开相应的对话框,选择要输出的统计量、变量描述、方差分析,总结等。在这个例题中为了看的清楚,我们用默认方式,即只输出样本个数、项目个数和信度系数。 ④点击“继续”按钮,回到“可靠性分析”的主对话框,勾选“列出项目标签”,再单击“确

信度与效度分析步骤

如何用spss做问卷的结构效度分析? 问:因子分析里面Descriotives里面KMO和巴特利检验就可以了吗?除此之外,还要做什么啊?请高手赐教点简单易懂又能说明效度问题的,谢谢啦! 问题补充: 提取因子的个数怎么确定?是选特征值大于1的吗?还有,因子载荷怎么算?是在输出结果中直接可以看到吗?本人刚接触spss,请多多指教! 答: 首先必须要做KMO和Bartlett球形检验,这个你应该会了吧,如果这两个检验合格的话说明数据是适合做因子分析的。 然后提取因子后,看主因子解释总变异的百分比和个因子的因子载荷,主因子解释总变异一般若大于60%的和因子载荷大于0.6的话说明结构效度很好。 pS: ,如果题目没有规定就是选特征值大于1的,如果题目事先要提取几个因子,那么在操作的时候,用SPSS那个因子分析的选项里面有一个地方可以著名,因子载荷在输出的结果直接可以看到(rotated compoment matrpx),一定要是旋转后的因子载荷 用spss进行效度分析? 我要对我的问卷调查数据做一个信度和效度分析。信度分析我会了,就是看Cronbach’s Alpha 系数。效度分表面效度、准则效度和构建效度,前面两项只要说明一下,但是构建效度要用SPSS分析,我想是在因子分析里面吧?就是不知道哪个值代表效度。 答: 因子分析的效度分析主要的指标可以看,因子提取的方差累积贡献率,如果因子提取的越少且方差累积率又不低的话(一般如果2个因子达到40%以上的贡献率就算可以的了),就可以认为因子分析的效度还可以。 除此之外,你可以用因子分析里面Descriotives里面KMO和巴特利检验(battele,不知道是不是这样写的),KMO的值如果> 0.5,则说明因子分析的效度还行,可以进行因子分析;另外,如果巴特利检验的P<0.001,说明因子的相关系数矩阵非单位矩阵,能够提取最少的因子同时又能解释大部分的方差,即效度可以。 问:问卷效度测验如何应用于SPSS 问卷效度测验如何应用于SPSS,然后因为做效度检验貌似要用皮尔逊相关还是因子分析,所以不懂如何把这些应用于SPSS,不想要变量,想要整体,一个整体。 用因子分析,就已经是在检验变量的整体了 因子分析就是用少数几个因子来描述许多指标或因素之间的联系,以较少几个因子反映原资料的大部分信息的统计方法。 三、因子分析的SPSS过程 第一步:准备数据文件,打开对话框,加载观测变量。数据文件主要是由较多的(一般在10个以上)可观测变量组成,个案数应比较大。然后点击“Analyze” ,选择 “Data Reduction” 中的“Factor”打开因子分析对话框,将参与分析的所有观测变量加载到“Variables”下边的方框中。 第二步:点击“Descriptives…”设置描述性统计要求。这里关键的是要求输出因子分析适合度的检验,一般要求输出:计算相关系数矩阵(选中Coefficients)、相关系数显著性水平矩阵(选中Significance levels)、反像相关矩阵检验 ( 选中Anti-image ) 、KMO 和巴特利特球形检验(选中 KMO and Bartlett’s test of sphericity)。 第三步: 点击“Extraction”打开对话框设置因子提取方式。在界定因子提取方法中需要设置以下几个方面的参数: (1) 因子构造方法:大多数情况下认为因子是变量的线性组合,所以使用最多的是主成分分析法(Principal components);

如何确保调查问卷的信度与效度

如何确保调查问卷的信度与效度 ——上书房信息咨询 信度与效度是社会调查及项目评价中关键的两个概念。 社会调查的问卷设计,项目评价的评价指标体系设计都必须以信度和效度理论为基础。信度和效度水平的高低,直接决定着社会调查和项目评价的成败。调查问卷的问题设计和项目评价中评价指标体系的设计,统称为调研指标体系设计,简称为指标体系设计。 信度 信度是调研数据与项目评价数据可靠性的重要指标,是数据的可靠程度。信度反映的是调研数据的客观性,即针对收集到的数据,要检验这些数据是否能反映客观现象,不是随意填报的。 在数据分析中,为了能够对数据的信度实施检验,通常在设计指标项时,需要做好以下准备工作: ?精心设计每一个指标项,主要包括三个方面的内容:从同一问题不同的侧面设计调查指标项;有意识地设计出某些校验项;针对同一组样本多次测量。 ?基于小样本调研数据分析其信度,主要包括四个方面的内容:对相关数据项进行一致性检验;总体属性和子属性的一致性检验;复本数据的一致性检验;校验项的一致性检验。 信度检验方法 1、调研指标体系的设计;在调研指标体系中,设计针对调研问题的总评价项与子指标项,以便相互印证。例如在对教学情况的评价中,可以先设计一个问题:你对教师教学的总体评价是几分?然后再分别从教师师德、教法灵活性、教学媒体使用情况、与学生的沟通交流情况等不同视角设计调研问题。在调研指标体系中,应该有意识地设计若干个校验项,以便印证调研数据的信度,判断被试对象对调研问卷的填写是否有随意性。在设计校验项时,当大多数问题都是正向问题的情况下,通常可对充当校验项的问题设计为逆向问题。 2、调研规范操作;从调研操作的视角看,为了保证调研数据的信度,避免因调研信度不足而导致的研究结论偏差,通常采用逐步修正法和德尔菲法对调研指标系统进行完善。 逐步修正法:对于已经初步完成的调研指标体系,可先在小范围内试用,通过试用过程获得到小样本数据,分析指标体系的信度,发现指标体系中描述不准确、容易引发错误理解或者覆盖面不够完善之处,然后修正调研指标体系。 德尔菲法:对于已经完成设计的调研指标体系,发送给相关的行业专家,请行业专家把关、指正,从而保证调研指标体系的科学性。 规范调研过程,避免随意填报:谨慎选择被试对象,强调调研数据的重要性,敦促被试对象端正填报态度,避免被试对象随意填写数据,尽量保持调研数据的严谨性和客观性。

相关主题
文本预览
相关文档 最新文档