分组比赛每组评委都不相同综合排名怎么处理得分才能保证公平性
下面是好好范文网小编收集整理的分组比赛每组评委都不相同综合排名怎么处理得分才能保证公平性,仅供参考,欢迎大家阅读!
现实生活中遇到了类似问题,前一阵子在某校的某个一年拿Master学位的某学者项目的书院实习,因为是项目开展第一年,学术上很多体制都不完善,比如在学生们毕业答辩结束之后就面临了一个如何对分数标准化处理的问题······
简单来说情况是这样,100个学生答辩,请到了60个评委老师,分了20场进行答辩,每场的老师不一样但是保证都是5个评委老师(每个老师参加的场数也不一定,有的老师时间多,就参加了很多场,有的老师只参加了一场)。每场答辩的学生数量也不一样,早上场有6个学生答辩,下午场5个学生答辩,晚上场三个学生。
于是乎,答辩结束后,每个学生都得到了一个分数,一个TA所遇到的那5个老师打的分数的平均分。
那么问题来了,每组老师的打分标准都不一样,有的组几乎都是外国教授,有的组全是中国教授,外国教授明显打分跨度更宽也更容易给出高分。于是领导要求对分数进行标准化处理,整个部门只有我一个小实习生是理科生,于是我开始吭哧吭哧算方案。
需要处理的问题:
1.不同答辩组的老师不同,给分标准不同,如何消除不同组的打分标准不同带来的差异?
例如:A1组的甲同学91(该组老师给分谨慎),与B1组的乙同学95分(该组老师给分偏高)可能是一样好的,两人如何比较?B1组的丙同学92分,与A1组的甲同学如何比较?方案一,偏差值方法
所谓偏差值指的是相对平均值的偏差数值,偏差值反应的是每个人在该组所有人中的水准位置。
在每组样本量足够大的情况下,可以用偏差值公式,得到较好的统计学比较
转化成绩=偏差值 =(个人成绩-平均成绩)÷(标准偏差÷10)+50
其中 10 可用1-10替换,结果是可接受的范围。该值越大,则本组成员之间的差距被拉大;该值越小,则本组成员之间的差距越小。
其中50可以根据总平均分适当调整。
方案一的问题:偏差值反应的是一个人在一组里的水准位置,对于样本量足够大的不同组,有一定比较意义,但是在样本小的情况下失控,因为该方法中标准偏差的使用即默认数据符合正态分布,而3人小组认为成正态分布是不合理的。例如,某组有三人,分数为84,85,86.偏差值转换后会变成60,80,100,不合理。
方案二转化成绩=个人成绩+(总平均成绩-组平均成绩)一组的平均分,可以一定程度反应该组老师给分的标准。将该组老师给分标准与所有给分标准的差异,反馈到个人成绩当中。
方案二的问题
1.若某小组的三人表现都挺好,分数为89,88,87,则该方法会使得该组三人的成绩全都降一个档次。
2.该方法不能均衡不同小组的给分跨度不同的问题。
如:A1组老师给分跨度小,在80-90之间,组平均分85;B1组老师给分跨度偏大,在75-95之间,平均分同样为85.A1组 甲91分 丁90分B1组 乙95分 丙92分所有组的总平均分为83转化后成绩A1组 甲89分 丁88分B1组 乙93分 丙90分转化后依然无法客观地比较甲和丙。
方案三
先对变量 后对事例 再对变量进行标准差标准化(常用的数据标准化处理方法之一)
第一步:对每组分别进行标准差标准化
第二步:对每组的平均值进行标准差标准化
第三步:再以标准化后的各组平均值,对每组分别进行标准差标准化
方案四由于现在要处理的问题是不同老师打分标准不同带来的,但是考虑到,一组中也有五个不同的老师,五个老师的打分标准也不一样。与此同时,打分表本身也做了分段式的打分处理。每组的样本量太小,用统计学的公式做标准化处理反而会使得打分表本身的分段功能失效。于是,可以直接对每个人得到的五个分数,去掉最高分和最低分,再求平均值,以实现误差消除(去掉最高分和最低分再求平均是因为,从40个老师中选5个老师,这5位老师打分均偏高(或偏低)的概率大于从40个老师中选5位老师,去掉其中的最高和最低,其余3位老师打分均偏高(或偏低)的概率)。这样也尊重了打分表本身的分段功能。
方案五现实情况中,条件允许的情况下,采用二次打分的方法解决。即,对于推优的29人,直接以原成绩排序,请评委复议。
方案六
经过和大牛同学们的讨论,我们都一致认为,以老师来分类样本组是最合理的,即,以每个老师打出的所有分为一个数据组,来进行标准化处理。但是这个工作量······以及也存在老师只参加了一场晚上场的答辩,这样TA打出的分只有三个,同样是小样本,没法标准化······
就写这么多吧,供遇到同样问题的知友分享。如果有好奇最后我们是怎么处理的,欢迎私戳。