Аннотация: В работе рассматриваются проблемы судейства на этапе выхода в Финал литературных конкурсов. Для выявления значимых факторов разработана математическая модель конкурса, на которой проведена серия экспериментов. Показано, что наиболее значимым фактором являются личные симпатии и антипатии авторов. Благодаря этому фактору в финал не попадают свыше 60% работ, которые объективно, при других условиях, могли быть оценены высшим баллом. Предлагаются и обосновываются способы минимизации влияния этого фактора. Одним из них является анонимное размещение произведения в интерфейсе конкурса, вторым - размещение вместе с произведением реферата, который облегчал бы знакомство со всеми работами конкурса. В статье не претендуется на оригинальность этих способов, а основной упор делается на их обоснование. Программа на которой проводились расчеты, доступна через интернет любому желающему для проверки и уточнения результатов.
Реферат: В работе рассматриваются
проблемы судейства на этапе выхода в Финал
литературных конкурсов. Для выявления
значимых факторов разработана математическая
модель конкурса, на которой проведена
серия экспериментов. Показано, что
наиболее значимым фактором являются
личные симпатии и антипатии авторов.
Благодаря этому фактору в финал не
попадают свыше 60% работ, которые
объективно, при других условиях, могли
быть оценены высшим баллом. Предлагаются и
обосновываются способы минимизации
влияния этого фактора. Одним из них
является анонимное размещение
произведения в интерфейсе конкурса,
вторым - размещение вместе с произведением
реферата, который облегчал бы
знакомство со всеми работами конкурса. В
статье не претендуется на оригинальность
этих способов, а основной упор делается на
их обоснование. Программа на которой
проводились расчеты доступна через
интернет любому желающему для проверки и
уточнения результатов.
1. Вступление
В настоящее время в интернете большую популярность приобретают различные литературные
Конкурсы. Целью таких конкурсов является
1. Развлечение участников
2. Повышение литературного мастерства участников
3. Выявление талантливых авторов для дальнейшего их продвижения
Число участников конкурса зачастую составляет от нескольких десятков до нескольких сотен человек, объем работ также составляет от десятка килобайт (миниатюры, рассказы) до нескольких сотен килобайт (романы и повести). Ознакомиться со всеми работами даже одного конкурса не под силу не только одному человеку, но и группе судей. В связи с этим встает задача рационального выбора работ
для дальнейшего оценивания. Часто эта задача решается в два этапа:
Первый этап - отбор работ для участия в
Финале.
Второй этап - судейство в Финале.
На Первом этапе все работы разбиваются на несколько групп, участники которых знакомятся и
сами оценивают работы из назначенных им групп. Из победителей каждой группы формируется
Финал, который и оценивается компетентным жюри.
2. Постановка задачи
Необходимо оценить степень влияния различных факторов на вероятность попадания
качественной работы в Финал Конкурса. Таким образом в настоящей работе рассматривается только Первый этап конкурса.
3. Метод решения
Для решения поставленной задачи была разработана Математическая модель, учитывающая вероятностные характеристики принятия решения. На Модели
было проведено несколько сотен экспериментов, результаты которых сведены в
Таблицах 1-5, представленных в Приложении.
4. Допущения и обоснования
1. Предполагается, что каждая работа, представленная на Конкурс, обладает неким
объективным Качеством, в дальнейшем обозначаемым символом
Q (Quality). Истинное значение величины
Q неизвестно никому и задачей Первого этапа является выбор из всей совокупности объектов работ с максимальным значением этой величины. Все работы (объекты) в Модели равномерно
ранжированы по величинам Q от 10 до 1 в порядке убывания номеров.
2. Предполагается, что "судья-участник" (человек, выставляющий оценку произведению) интуитивно чувствует эту величину, но "ошибается" на некую величину
D. В дальнейших расчетах принимается, что это отклонение равно D=+-3. То есть работу Качеством Q7, он может оценить любым значением из диапазона
(4,5,6,7,8,9,10), а, к примеру, работу с "истинным качеством" Q9, судья оценивает любой оценкой из диапазона
(6,7,8,9,10), и т.д.
Предполагается также, что авторы работ с
качеством меньше Q<5 "хуже разбираются в литературе" и оценивают работы коллег с большим разбросом
D=+-4.
3. Среди участников могут находиться неадекватные
личности (Crazy), которые голосуют "наоборот", т.е. участника Q10 они оценивают, как Q1, Q9=>Q2, Q8=>Q3, ... Q2=>Q9, Q1=>Q10. Разброс по оценкам у них такой же, как у "нормального" судьи.
То есть, человек понимает, что перед ним, к
примеру, качественная работа, но "из
вредности" оценивает ее как
некачественную. Crazy-участники, в экспериментах, где они учитываются, распределяются по всей совокупности объектов случайным образом.
4. Среди участников могут находиться "консолидированные группы"
BadBoys.
Участник такой группы "своим" ставит однозначную 10 (без разброса), всех остальных он оценивает "наоборот", как Crazy-участник со стандартным разбросом.
5. "Нормальные" участники, то есть участники, не входящие ни в группу
Crazy, ни в группы BadBoys, могут проставлять оценку,
ориентируясь не только на Качество
Работы (Q), но и на Персональные
Качества Автора (P). В связи с этим в Модель введено понятие
Персонального Качества Автора, которые распределяются по всей совокупности объектов случайным образом от 1 до 10. Человек, обладающий Персональным Качеством 10 - человек добрый, отзывчивый, со всеми находящий общий язык, но в то же время качество его работы
(Q) может объективно оцениваться 1 (безобразный стиль, отсутствие фантазии и т.п.). "Судья", оценивающий такую работу, в момент проставления оценки "бросает монетку" и (с вероятностью 0.5) решает для себя
- оценивать ли эту работу "честно на единицу", либо же оценить ее на 10, руководствуясь
личными симпатиями к автору.
Автор этого исследования отдает себе отчет, что личные симпатии и антипатии не определяются таким простым способом, как "бросание монетки", однако в качестве математического приближения подобный подход оправдан. В конечном итоге на статистической модели все определяется величиной вероятности принятия решения - голосовать ли "честно", либо по "симпатиям". В данном исследовании она принималась равной 0.5.
5. Проведение экспериментов на модели.
Программистами нашей Кафедры была составлена программа на языке
С++ и адаптирована для использования через интернет.
5.1. В первом эксперименте была просчитана модель "чистого"
Конкурса, без учета групп BadBoys и Crazy, а также без учета Личных симпатий. Результаты просчета представлены в Таблице 1. Из таблицы Resalt`s видна вероятность попадания в Финал качественных работ. В данном конкурсе в финал выходят 36 работ. Работ с качеством 10 среди них в среднем составляет 22 из всех 24 работ с высшим качеством. При этом не попадает в финал в среднем 2 работы. Таким образом, при "честном" голосовании с заданной статистической погрешность (3-4 единицы) в финал НЕ ПОПАДАЕТ примерно 7% качественных работ.
5.2. Во втором эксперименте рассматривалось влияние на результаты Конкурса "жесткой" консолидированной группы BadBoys величиной 20 человек. С математической точки зрения такую группу можно сформировать различными способами, к примеру случайным образом среди всех участников. Предварительные просчеты показали, что "случайный" набор группы не является эффективным и оказывает пренебрежимо слабое влияние на результаты. Вводить в группу людей с низким Q невыгодно, потому что они "забиваются" честно голосующими и шансов попасть в Финал у них практически нет. Не имеет смысла вводить в группу и людей с высокими Q=9-10, поскольку у таких людей и без этого велика вероятность прохождения в Финал. Учитывая это, группа была составлена из людей прилично пишущих (Q=8), но у которых шансы "честно попасть в Финал" малы. Из Таблицы 1 видим, что у участников с Q=8 только 12% шансов попасть в Финал. Объединившись в подобную группу, как видно и Таблицы 2, эта вероятность повышается до 44%. При этом вероятность НЕПОПАДАНИЯ в Финал качественного рассказа повышается с 7% до 23%.
5.3. В третьем эксперименте исследовалось влияние Crazy группы. Люди из этой группы, не объединены между собой, каждый из них сам по себе и не знает друг о друге ничего. Возможно, у человека просто плохое настроение, неприятности на работе, или в личной жизни. Вполне возможно, что такой человек, чтобы снять стресс, делает другим мелкие пакости, мол, если мне плохо, то пускай и другим тоже будет плохо. Не вдаваясь в психологию этих людей, признаем только, что такие есть и посмотрим, как они влияют на результаты конкурса. Из Таблицы 3 видим, что вероятность попадания в финал качественного рассказа они понижают всего на 1%. Но зато некоторые из них сами попадают в Финал, с чем мы их от души и поздравляем. Большого вреда от них нет, а человеку все же легче становится.
5.4. Теперь перейдем к самому важному эксперименту, в котором учитываются
Личные Симпатии и Антипатии Авторов. Результаты просчетов показывают, что это самый весомый фактор. Попадание в финал качественного рассказа он понижает с 92% (Таблица1) до
37%, то есть большинство качественных рассказов
(63%!!!) в финал НЕ ПОПАДАЮТ! Но зато в финал вполне успешно проходят и 7-ки, и 6-ки, и даже 3-ки и 2-ки. Последние, конечно с небольшой вероятностью, в районе 5%, однако обидно то, что большинство 10-к пролетело мимо финала.
Вот, собственно и все.
В 5-м эксперименте был рассмотрен случай с учетом всех возможных факторов. В финале как видим полная мешанина, ни о каком КАЧЕСТВЕ подобного судейства не может быть и речи. Успокаивает лишь то, что группа BadBoys тоже не слишком преуспела в своих устремлениях.
6. Выводы и предложения.
6.1. Наиболее сильным фактором, влияющим на результаты Первого этапа конкурса являются
личные взаимные симпатии и антипатии авторов. Благодаря этим симпатиям и антипатиям, вполне естественным и нормальным в обычной жизни, в Финал конкурса не попадает большинство качественных работ.
6.2. Влияние на результаты групп "консолидированного" голосования, а также отдельных неадекватных товарищей, незначительно по сравнению с личными симпатиями и антипатиями. При этом трудно себе представить, что можно "сколотить" более внушительную группу,
чем 20 человек. Гораздо проще сформировать себе положительный образ, образ доброго, порядочного и отзывчивого человека. Ко всему прочему такому человеку и в обычной жизни легче живется. Этим вполне можно компенсировать у себя недостающие литературные способности.
6.3. Сложнее задача у организаторов конкурса. Попадание в финал слабых, некачественных работ вряд ли кого порадует, еще обиднее, когда в Финал не попадают по настоящему сильные работы. Необходимо устранить влияние на результаты конкурса фактора личных симпатий и антипатий. Это можно сделать двумя
способами:
6.3.1. Конкурс, по крайней мере на Первом этапе, должен быть
анонимным. Участники конкурса должны оценивать только текст, без привязки его к личности автора.
6.3.2. Целесообразно предоставить возможность автору при подаче работы на конкурс размещать
реферат в интерфейсе конкурса. Реферат не должен превышать, к примеру, 1000 знаков и призван облегчить организаторам конкурса знакомство СО ВСЕМИ РАБОТАМИ конкурса. Нельзя забывать и о читателе, ради которого в конечном итоге все это
делается. Согласитесь, что авторы - не
чеховы и не толстые, порою очень трудно
продраться через нагромождения
сложноподчиненных предложений и
разобраться в заморочках посредственного
сюжета. Реферат же настраивал бы читателя
на те трудности, с которыми ему предстоит
столкнуться при чтении рассказа. Ко всему
прочему имеется прямая корреляционная
зависимость между качеством реферата
и качеством самого рассказа. Файл со
всеми рефератами к Конкурсу целесообразно
помещать в интерфейсе конкурса, чтобы он
был доступен любому желающему ознакомится
с работами Конкурса.
7. Благодарности.
В заключение хочу выразить благодарность разработчику программы к.т.н Василию
Пулькину и своему научному руководителю Шарикову П.П. за ценные советы и замечания в процессе проведения данных исследований.
Буду очень признательна всем, кто откликнется на статью
и примет участие в ее обсуждения.
С.н.с Мария Чайковская
Приложение
Таблица 1.
Чистый эксперимент, без учета дополнительных факторов.
Таблица 2.
Эксперимент, с участием "жесткой" группы BadBoys.
Таблица 3.
Эксперимент, с участием Crazy группы из 20 человек.
Таблица 4.
Эксперимент, с учетом Персональных Симпатий и Антипатий.
Таблица 5.
Эксперимент, с участием "жесткой" группы BadBoys, Crazy-группы из 20 человек и с учетом Персональных Симпатий и Антипатий.