Аннотация: А судьи кто? Любопытная статистика самосудных конкурсов.
Заметил случайно на конкурсе "Публикант - Книга Будущего" любопытное явление, проверил - и был потрясен. Нервных просьба не читать. :)
Но, все по порядку.
В нашем исследовании рассматриваются самосудные конкурсы - явление на СИ вполне обычное - где участники делятся на группы, и каждая группа участников должна оценить другую группу. При этом для нас важно:
1. Каждый участник должен оценить все работы определенной ему на судейство группы.
2. Система оценок балльная, т.е. каждой работе нужно выставить некоторое количество баллов от 1 до некоторой величины.
3. До завершения голосования оценки каждого участника не показываются другим участникам, т.е. участник судит, не зная, как судят его.
Для нашего исследования примем значимыми два параметра.
1. Средний балл полученный (СБП) - полученные каждым участником оценки суммируются и делятся на количество судивших.
2. Средний балл выставленный (СБВ) - выставленные участником оценки другим работам суммируются и делятся на количество оцененных работ.
После получения СБП и СБВ для каждого участника вычисляем разницу между СБП и СБВ:
Дельта = |СБП - СБВ|
Модуль в нашем случае означает, что знак нам не интересен, нам нужно только разница между СБП и СБВ. Т.е. насколько близки качество выставленного рассказа на конкурс и строгость судейства.
Так вот, в настоящий момент по итогам двух конкурсов: "Публикант" и "ЮТ" эта самая Дельта у 63,910% участников не превышает единицы!
Вывод: в среднем 63,91% участников судят по себе, и очень немногие имеют Дельту более двух баллов. Т.е., выставив рассказ на двойку, автор в 63,91% случаев оценит коллег из другой группы не выше, чем на тройку, и практически никогда не оценит больше, чем на 4.
Теория: пока только предположение, порожденное анализом этих цифр и кое-каких высказываний на форумах конкурсов. Авторы, подавшие более сильные рассказы, столь же более уверены в себе и потому проявляют снисходительность к ошибкам других. Авторы же, чувствующие свою слабость, более жестко относятся к конкурентам.
Конкурс Публикант.
Общие итоги и выводы
Проанализированы СБП и СБВ у 93 участников. Допустимый диапазон оценок от 1 до 10.
Расхождение один балл и менее: 49 чел. Это 52,688%!!!
Расхождение от одного балла до двух: 30 человек. Это 32,258%.
Если сложить этих 79 чел получим в сумме: 84,946%.
Вывод: При возможном разбросе от 1 до 10 разница между средним баллом полученным и средним баллом выданным в 84,946% составила не более двух баллов.
Любопытное наблюдение: В двух группах лидер (1-е место) оценил коллег хуже, чем они его, в рамках свыше двух баллов, в третьей лидер остановился на отметке 1,91 балл. Таким образом лидеры оценили коллег хуже, чем они их, в среднем на два балла.
Еще вывод: знал бы заранее, понаставил бы всем десяток. :)))
Разбивка по группам (более детально).
Группа 2, оценивавшая группу 3.
Выборка из 32 участников. Двух пришлось исключить, т.к. список участников группы 1 и список судей группы 2 не совсем идентичны. :)
Отклонение один балл и менее: 17 чел., т.е. 53.125%
От одного балла до двух: 11 чел. 34,375%
Свыше двух баллов: четверо
Свыше трех баллов не отклонился никто. :)
Группа 1, оценивавшая группу 2.
В раскладе группа 2 - группа 3 однозначно идентифицированы 27 участников.
Отклонение один балл и менее: 17 чел. 62,963%
От одного балла до двух: 7 чел. 25,926%
Свыше двух баллов: трое
Группа 3, оценивавшая группу 1.
Ну и последняя группа. Здесь картина чуть другая. Всего 34 участника.
Расхождение в один балл и менее: 15 чел. 44,118%
От одного балла до двух: 12 чел. 35,294%
Более двух: 7 чел. 20,588%
Более трех - ни одного
Конкурс ЮТ
Общие итоги и выводы
Проанализированы СБП и СБВ у 173 участников. Допустимый диапазон оценок от 1 до 7.
Расхождение в один балл и менее: 121 чел. 69,942%
От одного балла до двух: 44 чел. 25,434%
Более двух: 7 чел. 4,046%
Более трех - 1 чел. 0,578%
Вывод: При возможном разбросе от 1 до 7 разница между средним баллом полученным и средним баллом выданным в 95,376% составила не более двух баллов.
Лидеры, в отличие от конкурса Публиканта, повели себя скромнее - разрыв более двух баллов только у одного из четверых.