北斗六星网

标题: 关于不同评委打分区间悬殊问题的影响与可行建议 [打印本页]

作者: 公理力 时间: 2023-2-1 13:00
标题: 关于不同评委打分区间悬殊问题的影响与可行建议
本帖最后由公理力于 2023-2-2 01:40 编辑

小芳那封鸡毛信，可谓有十二分必要引起组委会重视。特别是其中的第3点：

【不同评委的打分标准、体系问题。如果黄河组界定文章打分范围在8-10之间，而马王爷介于5-10之间，就会存在一分之差、半分之差，目前黄河组给出的打分精度为0.01，已经达到游标卡尺级别。如果不同评委的权重是一样的，就应明确一个基本标准，……否则黄河组二人的0.01精度就会被马王爷的1分精度给覆盖，汇总时候他们的分数要么非常左右名次，要么被马王爷兑水，毫无存在感。请主办方与评委商议此事，并尽量保持同步打分，避免有评委之间相互照顾或者拆台嫌疑。】

如果是这种情况，打分区间为5~10分评委的权重，完全可能增大到超过另外两位评委（打分区间为8~10分）的权重之和！换句话说，某一作品的最终排名，即使后两位的打分完全一致，也可能抵不过前者一个人打分的影响。

且只有在一种不可能发生的极端情况下，即4位评委对65篇作品的打分排名完全相同，各位评委的权重才不会失衡。而这是不可能的。对同一篇作品，不同评委的打分排名相差10名、20名，甚至更大，都不奇怪。也就必然导致评委的权重失衡。

另一方面，各位评委评判作品，无需，也不可能有什么统一标准。按照自己的好恶打分，这种个性体现，无论是组织者，还是参赛者，都应该尊重和接受。重点是，每位评委应将自己的评判标准贯彻始终，即对所有作品的打分，采用恒定的自我标准。

问题是，小芳注意到的不同评委打分区间差异过大，权重失衡，影响作品最终排名问题，该如何解决呢？

从评语看，4位评委平均下来，早已完成大半工作，只是有的评委尚未公布分数。要求任何评委调整打分区间，都不合适，工作量太大。后期统计分数时进行调整，除了工作量大，还有个尊重评委工作的问题，也并非理想补救方案。

公某有个建议，在此提出来。如果组委会觉得不对胃口，就当我没说。

个人以为，目前最简单的解决方案是：
——各位评委继续按照自己的评判标准和打分区间进行下去。唯一的提醒是，各位评委对所有作品的评分尽量少出现两篇或多篇作品打分相同的情况。
——进入组委会统计分数阶段，不再统计作品的具体得分，仅仅统计4位评委对全部作品的完整排名（1~65）。然后对每篇作品，累加4位评委的排名，再取平均值，就是该作品的最终排名。如果出现两篇或多篇作品排名一样，只要不是夺魁的一等奖，二等奖及一下的作品，无需再行区分，并列就成。

这个补救办法的好处是，完全消除了评委权重失衡问题，4位评委的权重绝对一样。而且，无论对评委，还是对组委会，都是最省事的方案。

OVER，准备洗洗睡了。

作者: 金豆豆 时间: 2023-2-1 13:17
这是枪挑马首评的节奏？难道不是还有个小刀，也是直接给了最低分么？建议把她俩齐齐捆上断头台~~~~

作者: 金豆豆 时间: 2023-2-1 13:20
我个人觉得，5分起笔，5-10之间，止步于小数点后一位。或许就没那么大的差异了？

另：我个人认为，公理力说的平均分才是最失衡的，在四个人认知不同的情况下恰好取总分才是最合理的。理工科的都来想想呢~~~~

作者: 公理力 时间: 2023-2-1 13:23

金豆豆发表于 2023-2-1 13:20
我个人觉得，5分起笔，5-10之间，止步于小数点后一位。或许就没那么大的差异了？

另：我个人认为，公理 ...

呵呵，估计你是没看懂。再去看看，或者明天给你举个具体例子。

现在，我得睡了。

作者: 金豆豆 时间: 2023-2-1 13:29

公理力发表于 2023-2-1 13:23
呵呵，估计你是没看懂。再去看看，或者明天给你举个具体例子。

现在，我得睡了。

额，嗯嗯。晚安，公理力。好好休息。我这边是正午略偏下午，也可以睡美容觉的~~~

作者: 公理力 时间: 2023-2-1 23:35
本帖最后由公理力于 2023-2-2 01:43 编辑

金豆豆发表于 2023-2-1 13:17
这是枪挑马首评的节奏？难道不是还有个小刀，也是直接给了最低分么？建议把她俩齐齐捆上断头台~~~~{:1_220: ...

不，不，建议方案避免了打分权重失衡，也就避免了大多数未获奖者把矛头指向某一位评委的可能，公某这是在保护野妞呢！

如前所述，由于打分区间悬殊，野妞的评分对作品的排名产生了最大影响。但我不认为野妞愿意出现这种情况，除非她脑子有病，公某目测不是这样，当然可能是因为公某眼神儿问题。

道理很简单。那些名列前茅的作者认为：是自己的作品公认度高，才获奖的，理所当然。
而绝大部分未获奖的作者，其准备用鲜血和生命捍卫的理念是：文章是自己的好，老婆/老公是别人的棒——只有公某这种傻子才是例外。
每个人都在想，我的作品为啥没获奖？即使嘴上不说，也会腹诽，都是野妞妞害的！给我的10分作品打分那么低。
据传，准备砸野妞家玻璃的正在排长队呢！
据说，准备颁奖大会上就跟野妞揪头发的一花、二花、三花，早就在家练功呢！
据信，小芳和金豆豆也早就买好了8包各种口味的瓜子。

野妞妞，最好先去请位心理医生吧，事先竣工心理建设工程。这是公某能给你的最好建议。

作者: 大美丽 时间: 2023-2-2 00:25
的确，现在因为评委的评分习惯造成了比分体系失衡，无论取平均值还是取总分，都易失公。

比如道家传人的评分绝大部分在9-10分之间，且精确到0.01，差距极其细微，而马樱花的评分则大开大合，5-10之距，这样权重太大。很明显，到最后太容易左右排名了

而你说的办法确实能够解决问题，就是赛后组委会的工作量很大了。

作者: 公理力 时间: 2023-2-2 01:11
本帖最后由公理力于 2023-2-2 01:19 编辑

大美丽发表于 2023-2-2 00:25
的确，现在因为评委的评分习惯造成了比分体系失衡，无论取平均值还是取总分，都易失公。

比如道家传人的 ...

【而你说的办法确实能够解决问题，就是赛后组委会的工作量很大了。】

我的建议是，放弃统计每篇作品的总分和平均分，只需统计每位评委对所有作品的排名。
这样做，不只是评委的工作不受影响，组委会统计分数的工作量也没有增加，而是明显减小了。

那么，不统计评委对每篇作品的打分，有什么损失吗？公某的回答是否定的。
想想看，这不是高考或任何其它考试，一张试卷有标准答案，包括具体到每道题的打分标准。你的得分代表你答题的正确率。而散文赛作品的优劣，完全没有参赛者和评委都能接受的统一标准，更没有统一的打分标准。在这种情况下，一篇作品得6分，不见得代表及格；得9分，也不见得代表优秀。

而将各自评判标准和打分区间差异悬殊的4个得分加在一起也没有多少意义。将其作为排名依据，就更糟——如你已经提到的。

作者: 金豆豆 时间: 2023-2-2 06:16

公理力发表于 2023-2-2 01:11
【而你说的办法确实能够解决问题，就是赛后组委会的工作量很大了。】

我的建议是，放弃统计 ...

并列排名呢？怎么破？

作者: 公理力 时间: 2023-2-2 11:15
本帖最后由公理力于 2023-2-2 11:17 编辑

金豆豆发表于 2023-2-2 06:16
并列排名呢？怎么破？

如果出现两篇或多篇作品排名一样，只要不超过获奖作品数，无需再行区分，并列就成。

如果并列作品数超过获奖限额，可参照评委打分或其它指标再行细分。

欢迎光临北斗六星网 (http://bdlxbbs.top/)