当前位置:文档之家› 05 古典信度理论

05 古典信度理论

经验费率(experience rating):

古典信度模型(classical credibility)

孟生旺

1

心理学中的各种信度和效度

心理学中的各种信度和效度 一、信度 所谓信度,指的是测量结果的稳定性程度,其操作定义是,信度乃是一个测验X与它的任意一个“平行测验X'的相关系数。无关因素、测验的长度、测验试题的区分度、被试团体的代表性都会影响信度。 (一)重测信度 1、定义:利用同一量表,让同一被试群体在不同时间两次施测之后的相关值。这一信度值表示的是测验结果的稳定性,故也称之为稳定性系数。 2、形式:施测——经过适当时间——再施测 3、举例:假设有一份主观幸福感调查表,先后两次施测于10名学生,时间间隔为半年,结果如下表所示,求该测验的重测信度。 4、使用的前提条件 (1)所测量的心理特质必须是稳定的。 (2)遗忘和练习的效果基本上互相抵消。 (3)在两次施测的间隔期内,被试在所要测查的心理特质方面没有更多的学习和训练。5、注意事项 (1)有些测验不宜采用重测法估计信度,如测量推理和创造力的测验。那些不易受重复使用影响的测验才能用再测法估计信度。如感觉运动测验、人格测验。 (2)两次测验间隔的时间要适当,并注意提高被试的积极性 (3)测验手册中报告重测信度时应说明两次施测的间隔,以及在此期间内被试的有关经历(4)时间间隔的把握:适宜时间间隔依照测验目的、性质及被试特点而定,可以是几分钟甚至几年。例如对于年幼儿童的间隔要小;年长群体的间隔可大。但智力测验的间隔不能太短,成就测验的间隔不能太长。一般间隔时间不超过六个月,既不能让被试记住上一次测验的内容,又不能让其特质发生变化,或对所学知识产生遗忘。 6、重测信度的评价: (1)优点:能够提供有关测验结果是否随时间而变异的资料,可作为预测受测者将来行为表现的依据。 (2)缺点:易受练习和记忆的影响,前后两次施测间隔的长短必须要适度。 (二)复本信度

信度理论习题

信度理论习题1 以下几题来自近几年SOA的course4和courseC。 1、(2005 May course C 第2题)You are given: (i) The number of claims follows a negative binomial distribution with parameters r andβ=3 . (ii) Claim severity has the following distribution: The number of claims is independent of the severity of claims. Determine the expected number of claims needed for aggregate losses to be within 10% of expected aggregate losses with 95% probability. 2、2005FallcourseC第35题.You are given: (i) The number of claims follows a Poisson distribution. (ii) Claim sizes follow a gamma distribution with parameters α(unknown) and θ=10,000 (iii) The number of claims and claim sizes are independent. (iv) The full credibility standard has been selected so that actual aggregate losses will be within 10% of expected aggregate losses 95% of the time. Using limited fluctuation (classical) credibility, determine the expected number of claims required for full credibility. ((A) Less than 400 (B) At least 400, but less than 450 (C) At least 450, but less than 500 (D) At least 500 (E) The expected number of claims required for full credibility cannot be determined from the information given. 这道题limited fluctuation (classical) credibility就是指我们课堂上讲的有限波动信度,这道题要求我们求满足完全可信条件所需的最小理赔次数。 3、1104-第21题 You are given: (i) The number of claims has probability function: (ii) The actual number of claims must be within 1% of the expected number of claims with probability 0.95. (iii) The expected number of claims for full credibility is 34,574. Determine q. 4、1100中第14题.For an insurance portfolio, you are given: (i) For each individual insured, the number of claims follows a Poisson distribution. (ii) The mean claim count varies by insured, and the distribution of mean claim counts follows a gamma distribution. (iii) For a random sample of 1000 insureds, the observed claim counts are as follows: (iv) Claim sizes follow a Pareto distribution with mean 1500 and variance 6,750,000. (v) Claim sizes and claim counts are independent. (vi) The full credibility standard is to be within 5% of the expected aggregate loss

信度与效度分析步骤(可编辑)

信度与效度分析步骤(可编辑) 如何用spss做问卷的结构效度分析, 因子分析里面Descriotives里面KMO和巴特利检验就可以了吗,除此之外,还要做什么啊,请高手赐教点简单易懂又能说明效度问题的,谢谢啦~问题补充: 提取因子的个数怎么确定,是选特征值大于1的吗,还有,因子载荷怎么算,是 在输出结果中直接可以看到吗,本人刚接触spss,请多多指教~ 首先必须要做KMO和Bartlett球形检验,这个你应该会了吧,如果这两个检验 合格的话说明数据是适合做因子分析的。 然后提取因子后,看主因子解释总变异的百分比和个因子的因子载荷,主因子解释总变异一般若大于60[%]的和因子载荷大于0.6的话说明结构效度很好。 pS: ,如果题目没有规定就是选特征值大于1的,如果题目事先要提取几个因子,那么在操作的时候,用SPSS那个因子分析的选项里面有一个地方可以著名,因子载荷在输出的结果直接可以看到(rotated compoment matrpx),一定要是旋转后的因子载荷 用spss进行效度分析? 我要对我的问卷调查数据做一个信度和效度分析。信度分析我会了,就是看Cronbach’s Alpha 系数。效度分表面效度、准则效度和构建效度,前面两项只要说明一下,但是构建效度要用SPSS分析,我想是在因子分析里面吧,就是不知道哪个值代表效度。 因子分析的效度分析主要的指标可以看,因子提取的方差累积贡献率,如果因子提取的越少且方差累积率又不低的话(一般如果2个因子达到40[%]以上的贡献率就算可以的了),就可以认为因子分析的效度还可以。

除此之外,你可以用因子分析里面Descriotives里面KMO和巴特利检验(battele,不知道是不是这样写的),KMO的值如果 0.5,则说明因子分析的效度还行,可以进行因子分析;另外,如果巴特利检验的P 0.001,说明因子的相关系数矩阵非单位矩阵,能够提取最少的因子同时又能解释大部分的方差,即效度可以。 问:问卷效度测验如何应用于SPSS 问卷效度测验如何应用于SPSS,然后因为做效度检验貌似要用皮尔逊相关还是因子分析,所以不懂如何把这些应用于SPSS,不想要变量,想要整体,一个整体。 用因子分析,就已经是在检验变量的整体了 因子分析就是用少数几个因子来描述许多指标或因素之间的联系,以较少几个因子反映原资料的大部分信息的统计方法。 三、因子分析的SPSS过程 第一步:准备数据文件,打开对话框,加载观测变量。数据文件主要是由较多的(一般在10个以上)可观测变量组成,个案数应比较大。然后点击“Analyze” ,选择“Data Reduction” 中的“Factor”打开因子分析对话框,将参与分析的所有观测变量加载到“Variables”下边的方框中。 第二步:点击“Descriptives…”设置描述性统计要求。这里关键的是要求输出因子分析适合度的检验,一般要求输出:计算相关系数矩阵(选中Coefficients)、相关系数显著性水平矩阵(选中Significance levels)、反像相关矩阵检验 ( 选中Anti-image ) 、KMO 和巴特利特球形检验( 选中 KMO and Bartlett’s test of sphericity)。 第三步: 点击“Extraction”打开对话框设置因子提取方式。在界定因子提取方法中需要设置以下几个方面的参数:

信效度计算的题目

信度计算题 1. 方法一:运用卢伦公式计算 方法二:运用弗朗那根公式计算 方法三:分别计算两部分的方差,发现方差大小近似相等,故可以先计算两者的皮尔逊积差相关系数,然后用斯皮尔曼—布朗校正公式校正。 主要问题:大部分同学都能正确运用公式,计算正确,但是有部分同学在运用皮尔逊积差相关公式后,忘记校正。还有部分同学在使用积差相关公式之前没有计算两者的方差。 2. 直接运用公式α=K(1-)/(K-1)计算克伦巴赫α系数即可. 该题除部分同学计算错误外,大部分同学都能够正确运用斯皮尔曼—布朗公式,并得到结果:0.84. 3. 先计算测验的标准误:SE= Sx。从而得出被试分数误差分布的标 准差。 根据题目可知取Z=1.96,故其分布范围为:X-SE·Z T X+SE·Z。 该题除部分同学计算错误外,大部分同学都能够正确运用公式,并得到结果:[109,120] 4. 先计算差异的标准误:SE=S 方法一:(116-108)/SE=1.33<1.96<2.58 方法二:116-108=8<1.96*SE<2.58*SE 因此差异不显著。 这道题错的人很多,一种错误在于标准误的计算,由于本题中是两个测验结果的比较,需要计算分部整体的标准误,而许多同学错用了第三题的标准误公式,分别计算两个测验的标准误。另一种错误是部分同学没有理解题意,分别计算了两个测验的分布范围,然后看实际得分是否在这个分布范围内。 5. 直接运用公式r=1-(1-r1)/计算。

该题绝大部分同学都能够正确运用上述公式,并得到结果:0.40 效度 1.直接运用公式r2=Kr1/(1-r1+Kr1)计算。结果为6.4、13.8。 这道题部分同学取了整数,因为公式中的K是整数,但是取整数的时候需要注意,不能四舍五入,而是只要有有小数部分就要进1。该题不取整数亦可。 2.根据公式b=r·/可求得回归方程的系数b、a。根据公式= 可得分布的标准误。根据公式Y-Z·SE y即可求得分布范围。 该题出现错误的同学也较多,一部分同学在最后没有将员工的测验成绩通过回归公式换算成工作表现成绩。还有同学在计算标准误时,公式运用错误。 3.大家都能正确运用公式P=(正确接受+正确拒绝)/总人数 最后结果为0.76

问卷的信度与效度

调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 2、复本信度法 复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的

第四章 信度

第四章信度 [内容提示] 一、信度的定义 二、信度估计的方法 一、什么是信度 含义:指的是测量结果的稳定性程度(或叫可靠性)。也指同一被试在不同时间内用同一测验(或用另一套相等的测验)重复测量,所得结果的一致程度。 1、理论定义:测验实测值和真值的相差程度。 2、操作定义: 定义1:一组测量分数的真分数变异数(方差)与总变异数(总方差、实得分数的方差)的比率,或者是真实分数方差占总方差的的百分比。计算公式: r xx=S T2/S X2 定义2:信度乃是一个被试团体的真分数与实得分数的相关系数的平方。即 r xx=ρTx2 2、操作定义: 定义3:信度乃是一个测验X(A卷)与它的任意一个“平行测验”X’(B卷)的相关系数。即r xx=ρxx’ 二、信度的类型及估计方法 (一)重测信度 1、含义与计算 又称稳定性系数。他的计算方法是采用重测法,即使用同一测验,在同样条件下对同一组被试前后施测两次测验,求两次得分间的相关系数。

三、信度的类型及估计方法 (一)重测信度(再测信度) 例:15名同学在1个月间隔内,先后2次重复施测某测验,测验结果如表中所列,请根据这些数据对该测验的重测信度进行计算。 三、信度的类型及估计方法 (一)重测信度 三、信度的类型及估计方法 (一)重测信度 2、使用的前提条件 (1)所测量的心理特性必须是稳定的。 (2)遗忘和练习的效果基本上相互抵消。 (3)在时间间隔中没有学习另外的与测验有关的东西,或者说每人学习其他东西的程度都一样。 3、优缺点: 优点: (1)它最符合重复测验的涵义,是重复测验最简单最明确的方式。 (2)首测和再测只需要一套测验题目,省时、省力。 (3)同一套题目无论施测几次,所测的属性是完全相同的。 缺点: (1)同一组被试对同一个测验先后两次作答相互之间是不独立的。 (2)如果两次施测时间间隔较长,在此期间被试的身心发展,新知识的获得,都会使两次测验结果不相同。 (3)同一个被试对现一个测验先后两次作答,对测验的兴趣不同,影响测验结果。 (4)两次施测的环境不同,也是产生测量误差的因素。 (二)复本信度

信度与效度完成补充版

1、理论综述(已完成) 2、描述量表的设计(分成7部分,每一部分都有哪些题目) 3、报告量表的信度和效度,说明量表的合理性。 4、报告结果(总结出5点左右的结论,用数据和图表支撑结论,希望尽量丰满) 5、找到影响有效实践教学效果的基本因素(找到3点左右,用数据和图表支撑结论) 三、报告量表的信度和效度,说明量表的合理性。 1、信度 Cronbach’s α系数是Cronbach 于1951年创立的,是指测验内部的项目在多大程度上考察了同一内容,评价的是量表中各题项得分间的一致性。同构型信度低时,即使各个测试题看起来似乎是测量同一特质,但测验实际上是异质的,即测验测量了不止一种特质。α信度系数法是目前最常用的内部信度系数。 实际上,α系数是所有可能的分半信度的平均值,α系数是估计信度的最低限度,α系数高时,信度就高,α系数低时,信度不一定低。低信度:α<0.35, 中信度: 0.35<α<0.70,高信度: 0.70<α。一般来说,问卷的α系数在0.8以上该问卷的信度较好,达0.85以上,表明问卷信度良好。 克朗巴哈α信度,是对折半信度的改进,检验公式是:)1(1k k 2 2 i σσα∑--= ,其中 K 表示问卷中的题目数, 为第i 题的调查结果方差, 为全部调查结果的方差。 信 度系数是目前最常用的信度分析法。 本次量表的信度通过计算由下表报告: 信度 格朗巴哈α(Cronbach's Alpha ) 问题个数 0.96 56 本问卷的信度达0.85以上,表明问卷信度良好。 2、效度 所谓问卷设计质量的效度检验,指的是问卷测量结果有效性的分析,即对设计问卷的测量结果反映它所应该反映的客观现实的程度的检验。具体来说,效度检验必须针对其特定的目的功能及适用范围,从不同的角度收集各方面的资料分别进行。常用的效度检验有内容效度、结构效度、难易效度、准则效度等。

试题的难度、区分度、信度和效度

试卷的难度、区分度、信度和效度 一.试卷的难度 (一)什么是难度 难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标。一个题目,如果大部分考生都能答对,那么这个题目的难度就小;如果大部分考生都不能答对,那么这个题目的难度就大。 客观题难度计算公式:P(难度指数)=试卷答对人数/考生人数;主观题难度计算公式:P=试卷平均得分/试卷满分。试卷难度计算公式:P=为平均分,K 为试卷满分值。易、中、难的标准为:易:P≥0.7,中:0.4≤P≤0.69,难:P≤0.39;P值越大,难度越低,P值越小,难度越高。一般来说,难度值平均在0.5最佳,难度值过高或过低,都会降低测验的信度。 (二)难度的计算 (1)客观性试卷难度P(这时也称通过率)计算公式: P=k/N(k为答对该题的人数,N为参加测验的总人数) (2)主观性试卷难度P计算公式: P=X/M(X为试卷平均得分;M为试卷满分) (3)适用于主、客观试卷的计算公式: P=(P H +P L )/2(P H 、P L 分别为试卷针对高分组和低分组考生的难度值) 步骤为:①将考生的总分由高至低排列;②从最高分开始向下取全部试卷的27%作为高分组;③从最低分开始向上取全部试卷的27%作为低分组;④计算。 (三)试卷难度的一般要求 就高考来说,难度以适中为宜,单个试卷的难度以0.3--0.7之间为好,整卷以0.5--0.6之间为最佳。一般将难度值大于和等于0.7的试卷定为容易题;大于0.4和小于0.7的定为中档题;小于和等于0.4的试卷定为难题。命题时难度一般要按一定比例分配,如3:6:1或3:5:2。 二.试卷的区分度 (一)什么是区分度 区分度是指考试卷目对考生心理特征的区分能力。区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分。区分度高的

第四章 测验信度作业

第四章测量信度 一、单选题 1.速度测验的信度应以( c )取得。d A.奇偶法 B.筛选法 C.反应时法 D.重测法 2.在其他条件均等的情况下,测验长度和信度之间的关系是( d )。b A.测验越长,信度越低 B.测验越长,信度越高 C.没有关系 D.上述说法都不正确 3.计算一项测验的分半信度最常用的方法是比较( b )。 A.测验的前半部分与后半部分的得分。 B.奇数项目与偶数项目的得分。 C.将测验随机分为两部分,比较这两部分的得分。. D.上述方法都可以。 4.一个40道题目的测验其奇偶分半后的信度为0.50,那么该测验的信度接近多少? ( b ) A. 0.50 B. 0.67 C. 0.80 D. 1.0 5.当测验的信度减少(接近0)时,测量的标准误将会怎样变化(c )? A.减小,趋向于零。 B.只要趋向于1.0,它就会要么增大,要么减小。 C.增大,趋向于测验的标准差。 D.增大,逼近无限大。 6.再测信度所考虑的误差来源是(d )所带来的随机影响。 A.形式的不同 B.题目的不同 C.考生的不同 D.时间的不同 7.在考查评分者信度时,如果三人以上评阅数份试卷,则需计算( a )。 A.肯德尔和谐系数 B.等级相关系数 C.皮尔逊积差相关系数 D.克伦巴赫α系数 8.(a )是指在不同时间内用同一测验(或用另一套相等的测验)重复测量同一被试者,所得结果的一致程度。 A.信度 B.效度 C.难度 D.区分度

9.信度只受(d )的影响。b A .系统误差 B.随机误差 C.恒定效应 D.概化理论 10.复本信度又称等值性系数。它是以两个等值但题目不同的测验(复本)来测量同一群体,然后求得被试者在两个测验上得分的相关系效。复本信度反映的是测验在( c )上的等值性。d A.时间 B.题目 C.评分 D.内容 11.分半信度通常是在测验实施后将测验按奇、偶数分为等值的两半,并分别计算每位被试者在两半测验上的得分,求出这两半分数的相关系效。这个相关系数就代表了( d )内容取样的一致程度。 A.原测验 B.所有条目之间 C.题目与分测验之间 D.两半测验 ⒓.斯皮尔曼―布朗公式21tt hh hh r r r =+式中hh r 为(c )的相关系数, tt r 为测验在原长度时的信度估计值。 A.全测验 B.原测验 C.一半分数 D.全部分数 13.同质性信度主要代表测验内部( b )间的一致性。 A.两半测验 B.所有题目 C.题目与分测验 D.分测验 14.KR 20公式、KR 21公式有别于克伦巴赫α系数的是,它们只能用于( b )。 A.多项选择题 B.是非题 C.简答题 D.论述题 15.一般要求在成对的受过训练的评分者之间平均一致性达到(c )以上,才认为评分是客观的。 A. 0.70 B. 0.80 c. 0.90 D. 1.00 16.确定可以接受的信度水平的一般原则是,当(a )时,测验不能用于对个人做出评价或预测,而且不能作团体比较。 A. tt r <0.70 B. 0.70≤tt r <0.85 C. tt r ≥0.85 D. tt r =1.00 17.一般而言,若获得信度的取样团体较为异质的话,往往会(a )测验的信度。 A.高估 B.低估 C.忽略 D.不清楚 18.对于不同平均能力水平的团体,题目的(b )会影响信度系数。a A.难度 B.区分度 C.信度 D.效度 19.一个包括40个题目的测验信度为0.80,欲将信度提高到0.90,通过斯皮尔曼―布朗公式的

如何保证人才测评的信度和效度

如何保证人才测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。 4、分析测评结果并统计成绩。采用肯德尔和谐系数法对每个被测评者在各个测评要素上的得分进行评分者信度分析,并结合各测评要素在管理素质和业务素质方面的权重,计算出被测评人在业务素质和管理素质上的得分。测评结束后,测评小组对被测人员进行了问卷调查,了解他们对测评效果的看法。 三、测评为保证信度和效度所采取的措施 (一)保证测评信度采取措施分析 1、16PF测试采取的是计算机标准化题目的方式,计算机答题、计算机处理结果。被测试人员全部独立进行测试,并在规定时间内完成了测试。 2、深度面谈使用了20个题目,围绕测评因素的各个维度对被测评者进行考察。面谈进行顺利,被测人员都能较积极配合回答问题,和主试人进行较好的双向交流。 3、情景模拟采用案例分析和主题演讲两种测评工具,被测人员从两个题库中各抽取1题,测评小组根据其表现进行现场评估。测评得到了被测人员的积极配合,都能就问题提出自己的见解。 4、为增加评分者信度,本次测评工作专门成立了测评小组,并在测评前熟悉了整个测评程序和操作;各类能力素质附有评分标准,各类试题附有评分参考,力图对被测试者的表现进行量化分析;测评中,向测评者提供“成绩比较表”,

信度的计算

1.问卷设计质量的信度检验 所谓问卷设计质量的信度检验,指的是对问卷测量结果准确性的分析,即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中,信度检验多以相关系数表示,常用的方法有:重测信度,复本信度,折半信度,克朗巴哈 信度,评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献,在这里,笔者不再一一详述,仅列出相关公式作为参考。 (1)重测信度,也叫稳定系数,对同一组调查对象采用同一调查问卷进行先后两次调查,采用检验公式 ,其中 为两次调查结果的协方差, 为第一次调查结果 的协方差, 为第二次调查结果的协方差。系数值越大说明信度越高。 (2)复本信度,也叫等值系数,对同一组调查对象进行两种相等或相近的调查,要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式,系数越大,说明两份问卷的信度越高,具体调查时使用哪一份都可以。 (3)折半信度,也叫内在一致性系数,将调查的项目按前后分成两等份或按奇偶题号分成两部分,通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得分的方差相等时,检验用Spearman-Brown 公式来表示: , 其中 表示折半信 度系数;当假定方差不相等时,采用Flanagan 公式: ,其中 、 分别 表示两部分调查结果的方差, 表示整个问卷调查结果的方差。如果折半信度很高,则说明这份问卷的各项题之间难度相当,调查结果信度高。 (4)Cronbach’s α系数是Cronbach 于1951年创立的,是指测验内部的项目在多大程度上考察了同一内容,评价的是量表中各题项得分间的一致性。同构型信度低时,即使各个测试题看起来似乎是测量同一特质,但测验实际上是异质的,即测验测量了不止一种特质。α信度系数法是目前最常用的内部信度系数。 实际上,α系数是所有可能的分半信度的平均值,α系数是估计信度的最低限度,α系数高时,信度就高,α系数低时,信度不一定低。低信度:α<0.35, 中信度: 0.35<α<0.70,高信度: 0.70<α。一般来说,问卷的α系数在0.8以上该问卷的信度较好,达0.85以上,表明问卷信度良好。 克朗巴哈 信度,是对折半信度的改进,检验公式是:)1(1 k k 2 2i σ σα∑- -= ,其中K 表示问卷中的题目数, 为第i 题的调查结果方差, 为全部调查结果的方差。 信度 系数是目前最常用的信度分析法。 (5)评分者信度,包括 信度和 信度,将问卷中的每道题看作是一个变量,然后 通过调查的结果得分对所有问题做因子分析。得到 , ,其中 是最大特征值,N 是问题数, 是因子分析法的第i 个问题的共同度。

难度、信度、区分度

难度 概念 难度即测试题目的难易程度.一般在能力方面的测试中,它作为衡量测试题目质量的主要指标之一.它是衡量试题质量的一个重要指标参数,它和区分度共同影响并决定试卷的鉴别性。难度的计算一般采用某题目的通过率或平均得分率。测试的难度水平多高才合适,这取决于测试的目的、项目的形式和测试的性质。 两种定义 (1)P=1—x/w x为某题得分的平均分数,w为该题的满分。这种定义法,难度值小时表明试题容易,值大时表明试题难,最小值为0,最大值为1。 (2)P=x/w 这种定义法,难度值小时表明试题难,值大时表明试题容易,最小值为0,最大值为1。 难度的计算 (1)主观性试题的难度 A 基本公式法:P=1—x/w B 极端分组法P=1—(XH+XL)∕2W XH:高分组的平均得分(前27%),XL:低分组的平均得分(后27%)。 (2)客观性试题的难度

A 基本公式法:P=1—R/N R 为答对人数,N 为全体人数。 B 极端分组法:P=1—(PH+PL)∕2 PH=RH/n 叫高分组通过率,RH:高分组答对人数,n:总人数的前27%。PL=RL/n 叫低分组通过率,RL:低分组答对人数。 区分度 区分度是高考试题分析的一个指标,反映了试题对考生素质的区分情况。其数值在-1~1之间,数值越高,说明试题设计的越好。 参数含义 反应一个题目的鉴别能力,由其可得到三方面的信息:题目能否有效的测量或预测所要了解的某些特性或正态;题目能否与其他题目一致的分辩被试;以及被试在该题的得分和测验总分数间的一致性如何。区分度取值介于(-1,+1)。 输入 高分组(即得分最高的27%)被试在该题上的通过率(P H),低分组(即得分最低的27%)被试在该题上的通过率(PD) 操作 D=PH-P L PH:等于“假设被试群体是高分组时算出来的难度值”

提高结构化面试的信度和效度

结构化面试的信度与效度 结构化面试由于其相对较高的信度与效度,被各类企事业单位广泛应用于人员招聘与选拔过程中。面试官在评价应聘者时存在个体差异,直接表现为宽大效应或严格效应,这对雇佣决策提出了严峻挑战。本文分析了正式反馈对提高结构化面试有效性的积极作用,提出了优化结构化面试的对策与建议。 近些年来,人员测评在新员工甄选中发挥越来越大的作用,测评的科学性与实用性得到更多的关注。结构化面试是根据对职位的分析,确定面试的测评要素,在每一个测评的维度上预先编制好面试题目并制定相应的评分标准;面试过程遵照一种客观的评价程序,对被试者的表现进行数量化的分析;给出一种客观的评价标准,不同的评价者使用相同的评价尺度,以保证判断的公平合理性。 已有研究表明,结构化面试的效度仅次于评价中心,高于工作抽样、能力测验、个性测验等方法。在人才选聘面试结束后,面试官(评分者)之间对候选人的打分千差万别,往往导致合并的分数无法使用。如何使结构化面试中面试官的评分更加有效,成为员工甄选过程中面临的现实问题。 一、结构化面试的信度与效度 结构化面试强调面试内容与工作相关、面试流程标准化、评分结构化。结构化面试中,面试官的评分直接决定了最终的录用结果。结构化面试依靠面试官专业、准确的评分来实现,关键在于克服面试官评分的随意性与主观性。 结构化面试信度是指不同的面试官(评分者)面试同一个被试得出结论的一致性程度。面试信度低,意味着面试官评分一致性低,面试结果就不可靠。结构化面试的信度包括两个方面:一是面试要素内部信度,是指面试测评要素之

间的一致性;二是评分者间的信度,即评分者之间评分的一致性。 结构化面试的效度是指面试测量的准确性,即面试所测评到的结果与所考察内容的相符程度。结构化面试的效度一般采用预测效度,即面试结果能否预测应聘者未来实际工作绩效水平。总体来看,结构化面试平均效度系数是非结构化面试的两倍,提高面试效度最好的方法是提高结构化程度。 二、结构化面试信度与效度的影响因素 结构化面试是一种表现性评价方式,其评价结果的信度是进行有效推论和决策的前提。在结构化面试中通常由多个面试官进行打分,而面试官之间评价的不一致是影响评价结果应用的重要因素。尽管可以通过明晰评分细则、优化结构化面试题目等方式予以控制,但是评分者之间的不一致性难以避免。 面试信度与效度存在情景特异性与考官特异性。结构化面试误差主要来源包括:面试题目有效性、面试评委培训、评分维度设定、面试实施环节等。其中由于面试官带来的评分误差主要包括:与我相似效应、对比效应、第一印象偏差、晕轮效应、刻板印象、顺序效应等,其结果是个别考官的评分偏高或者偏低于其他面试官的评分。当评价的结果高于应聘者的实际得分时称为宽大效应,低于应聘者实际得分时称为严格效应。 结构化面试的效度与信度提高措施包括以下四项: 一、关注面试内容,标准化信息获取内容、提高面试结构化程度与提问的一致性、提问限制与工作内容相关等; 二、重视考官的培训,通过培训使考官了解可能的评分误差,降低实际操作中的各种误差; 三、极小化各组中同一专业面试官的数量,以及极小化各组中面试官数量与

问卷信度效度检验

从统计数据质量角度谈调查问卷的设计质量 一、引言 从保证统计数据质量的统计工作过程看,统计数据质量可以被划分为统计设计质量、统计调查质量、统计整理质量、统计分析质量以及数据发布传输质量等。统计设计质量是保证统计数据质量的首要环节,在统计数据质量保证体系中起着关键性作用。统计设计质量一般包括调查问卷设计质量与调查方案设计质量,其中调查问卷设计质量指的是:通过问卷测量得到的,反映调查对象客观现象的统计数据的准确性和有效性,即调查问卷设计质量的好坏,需要通过问卷测量能力的高低来检验。 在市场调查中,为了深入地研究一些本质的或理论性的现象,问卷调查法被广泛运用,除了调查时采用的抽样方法以及所抽取的调查对象是否具有代表性之外,调查者最关心的就是调查问卷的测量能力。问卷测量能力包含了两个方面的内容,即问卷测量结果的准确性和有效性。准确性和有效性是统计数据质量蕴涵的最主要的两个特性,一个好的调查问卷设计不仅可以保证在多次重复使用下得到可靠的数据结果,即准确性;也可以保证所得测量结果能够反映它所应该反映的客观现实,即有效性。 所以我们可以通过对问卷测量能力的分析来检验问卷的设计质量,对问卷设计进行质量控制,进而发现问卷设计中应注意的问题。在此基础上,通过不断改进问卷设计,提高其测量能力,最终将有助于我们得到高质量的调查数据。 二、调查问卷的设计质量检验 信度和效度的概念来源于心理测试中关于测验的可靠性和有效性研究,当建构和评估测量时,通常使用信度和效度这两个技术性指标。因此我们采用问卷的信度和效度分析来评估其测量能力,进而实现对问卷设计质量的检验。 1.问卷设计质量的信度检验 所谓问卷设计质量的信度检验,指的是对问卷测量结果准确性的分析,即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中,信度检验多以相关系数表示,常用的方法有:重测信度,复本信度,折半信度,克朗巴哈信度,评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献,在这里,笔者不再一一详述,仅列出相关公式作为参考。 (1)重测信度,也叫稳定系数,对同一组调查对象采用同一调查问卷进行先后两次调 查,采用检验公式,其中为两次调查结果的协方差,为第一次调查结果 的协方差,为第二次调查结果的协方差。系数值越大说明信度越高。 (2)复本信度,也叫等值系数,对同一组调查对象进行两种相等或相近的调查,要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式,系数越大,说明两份问卷的信度越高,具体调查时使用哪一份都可以。 (3)折半信度,也叫内在一致性系数,将调查的项目按前后分成两等份或按奇偶题号分成两部分,通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得 分的方差相等时,检验用Spearman-Brown公式来表示:,其中表示折半信度系数;当假定方差不相等时,采用Flanagan 公式:,其中、分别 表示两部分调查结果的方差,表示整个问卷调查结果的方差。如果折半信度很高,则说明这份问卷的各项题之间难度相当,调查结果信度高。 (4)克朗巴哈信度,是对折半信度的改进,检验公式是:,其中

如何进行问卷效度与信度分析

如何进行问卷信效度分析 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 重测信度法:这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 复本信度法:复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 折半信度法:折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式,求出整个量表的信度系数(ru)。 α信度系数法:Cronbach?α信度系数是目前最常用的信度系数。其中,K为量表中题项的总数,?为第i题得分的题内方差,?为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型:内容效度、准则效度和结构效度。效度分析有多种方法,其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种: 单项与总和相关效度分析:这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显着判断是否有效。若量表中有反意题项,应将其逆向处理后再计算总分。 准则效度分析:准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显着,或者问卷题项对准则的不同取值、特性表现出显着

第四章 测量信度

第四章测量信度 第一节信度概述 一、什么是信度 信度又叫可靠性,是指测量结果的稳定性程度或一致性程度。一个好的测验必须稳定可靠,即多次测量的结果保持一致,否则便不可信。例如:我们用一个智力量表去测量某一个儿童,第一次测得的结果是IQ=90,第二次测得的结果是IQ=120。那么我们就会问:到底这儿童的智商是多少?这就是该智力测验的可靠性有问题。就好象用橡皮筋去量东西的长度。前面讲过,任何一种测量,总有或多或少的误差,信度受随机误差的影响。随机误差越大,信度也就越低;随机误差越小,信度就越高。因此,信度也可看作测量结果受机遇影响的程度。 信度的含义可以从两个层面加以分析:(1)当我们以同样的测量工具重复测量某项持久性的特质时,是否得到相同的结果?由此可知此一测量工具的稳定性。(2)测量工具能否减少随机误差的影响,提供某项特质个别差异程度的真实量数?由此可知测量结果的精确性。(如新旧枪射击结果图) 在测量理论中,信度被定义为:一组测量分数的真变异数与总变异数(实得分数的变异数)的比率。即: γXX = S T2 /S X2 式中γXX代表测量的信度,S T2代表真分数变异数,S X2代表总变异数,即实得分数的变异数。 由于X=T+E,所以信度还可表示为: γXX=(S X2-S E2)/ S X2=1- S E2/ S X2 由于真分数的变异数是不能直接测量的,因此信度是一个理论上构想的概念,由于我们无法得到测验的真正信度,我们只能用一些指标对它进行估计。 二、信度系数 大部分的信度指标都以标志着系数表示,即用同一被试样本所得的两组资料的相关作为测量一致性的指标,称作信度系数。 对信度系数要注意三点:(1)在不同的情况下,对不同样本,采用不同方法会得到不同的信度系数,因此一个测验可能不止一个信度系数。(2)信度系数只是对测量分数不一致

相关主题
相关文档 最新文档