237. *2004/01/18 01:07
[ответить]
Система топов хороша в частности тем, что обрезает негатив. То есть рассказ, который при расставлении баллов всем работам получит 10+1, в топовой системе окажется с 10-ю зачетными баллами (при нелинейной шкале - может, и еще больше).
Тот рассказ, который при общем обоценивании получает 6+5 (такой же средний балл, как и у 10+1), при топовой системе может не получить ни одного поинта, бо зачетные баллы получают только лучшие работы, в число которых с 6 из 10-ти не особо попадешь.
В итоге приоритет получают яркие (хоть и далеко не на всякий вкус) работы, а серенькие усредненно-универсальные середнячки откровенно проигрывают.
Правда, состав судей должен быть достаточно широким. По моему мнению, при числе арбитров менее 7 существенную роль начинает играть личный субъективизм. Значимость оценки каждого члена жюри слишком высока, и разброс результатов от судейства группы разными составами малочисленного жюри может достигать чуть ли не 100%.
236. (akanev123@yahoo.com) 2004/01/17 23:04
[ответить]
>>235.Kron
>Вообще-то еще вопрос, что лучше - рассказ, который получил от одного судьи 12 баллов, или рассказ, который получил 6+6. Потому что в первом случае это рассказ, который ОЧЕНЬ понравился одному судье, а во втором - рассказ, который ОЧЕНЬ понравился двум.
Нет. При бальной системе 6 значит - рассказ понравился, но не очень. А очки он набирает не столько засчет того, что кому-то очень понравился, сколько из-за того, что никто ему 1 не поставил.
Это - вопрос предпочтений. На мой взгляд надо выделять незаурядные рассказы, вызывающие спорные мнения - именно такие в конечном счете оставляют наибольший след в сознании читающей публики. Рассказы же, которым все ставят 6-7 - это грамотная посредственность, и конкурсная система, поощряющая такие рассказы - это система, поощряющая посредственность.
>Разница же между первым и седьмым местом малосущественна, т.к. в обоих случаях выбираются лучшие из полусотни рассказов;
Бывает по всякому. Поэтому надо применять топ, но не такую крутую нелинейную шкалу, как на Грелке.
>бывает - судьи жалуются, что приходится определять рейтинг среди лучших чисто формально.
Бывает. Идеальной системы нет.
235. Kron2004/01/17 22:13
[ответить]
Вообще-то еще вопрос, что лучше - рассказ, который получил от одного судьи 12 баллов, или рассказ, который получил 6+6. Потому что в первом случае это рассказ, который ОЧЕНЬ понравился одному судье, а во втором - рассказ, который ОЧЕНЬ понравился двум. Разница же между первым и седьмым местом малосущественна, т.к. в обоих случаях выбираются лучшие из полусотни рассказов; бывает - судьи жалуются, что приходится определять рейтинг среди лучших чисто формально.
234. (akanev123@yahoo.com) 2004/01/17 21:03
[ответить]
>>233.Лилия
>>>232.Каневский Александр
>>>>230.Лилия
>Снава вмешиваюсь :))
>
>>Замечено, при бальной системе слишком часто побеждают гладкие, но довольно безликие рассказы.
>Это, кстати, постоянно происходит на Грелке
Да, они тоже жалуются. Идеальной системы нет. Вернее идеальная - для каждого автора своя : та при которой он победит :)
>Кстати, при балльной системе можно ограничиться простой суммой оценок, а не средним баллом, тогда никакие минимальные баллы не влияют на результат, просто идут в общую копилку.
Нет. Средний балл - это та же сумма, только поделенная на количество судей. При условии, что все судьи судят все рассказы, никакой разницы.
233. * (leebai@rambler.ru) 2004/01/17 11:46
[ответить]
>>232.Каневский Александр
>>>230.Лилия
Снава вмешиваюсь :))
>Замечено, при бальной системе слишком часто побеждают гладкие, но довольно безликие рассказы.
Это, кстати, постоянно происходит на Грелке
Ничего не хочу сказать плохого о грелочных победителях, они-то как раз молодцы. Но это действительно происходит
Вообще, разница между балльной и топовой системой, пожалуй, не в том, какая система лучше, а втом, какая система удобнее в каждом конкретном случае.
Кстати, при балльной системе можно ограничиться простой суммой оценок, а не средним баллом, тогда никакие минимальные баллы не влияют на результат, просто идут в общую копилку.
232. (akanev123@yahoo.com) 2004/01/16 17:07
[ответить]
>>230.Лилия
>Но топовая система, мне кажется, работает только в том случае, когда все судят всех. Как на Грелке. При судьях такая система будет выглядеть не очень хорошо
На Грелке при системе без жюри ( взаимооценке авторов ) - топ вообще единственно возможная система. При бальной системе нечестные авторы легко могут заваливать конкурентов - поставил 1, и сильный рассказ финала не увидит. При топах же такой возможности нет - кто-то нарочно не внесет сильного конкурента в топ, не желая встретить его в финале, но большинство авторов, слава богу, честные, и сильный рассказ все равно наберет свои баллы и пройдет в финал. Нечестные же голоса распределятся довольно случайно и многие из них просто пропадут. Очень правильная система.
При системе с судьями эта проблема менее острая, судьи считаются людьми достаточно квалифицированными, к тому же они сами не участвуют и нарочно никого не заваливают. И все же бальная система несколько хуже топовой - усреднение имеет место. Замечено, при бальной системе слишком часто побеждают гладкие, но довольно безликие рассказы.
Основное возражение против топа - не все авторы получают хоть какие-то оценки. Но это меньшее зло, чем усреднение результатов, особенно с учетом того, что многие жюрители ( и не только они ) пишут обзоры, где дают оценки всем рассказам. То есть автор, участвующий в конкурсе, всегда имеет какие-то рецензии, даже если в топе у него 0 очков. Еще практика показывает, что при топовой оценке совсем с нулем остаются меньше половины рассказов, лучшие рассказы проранжированы.
Топовая система тоже не идеальна, но все же по сравнению с бальной - определенно она лучше.
>PS И не такие уж профессионалы играют в Грелку :))
Строго говоря, Грелка - конкурс, в котором участвуют и профи, и любители. Он открыт для всех, но организован профессиональными фантастами, для которых вопрос справедливости результатов весьма важен.
В топовой системе усреднение тоже имеет место, хотя в меньшей степени, чем с балами. Поэтому на Грелке принята еще и нелинейная шкала ( 10, 6, 4, 3, 2, 1 ). Имхо - черезчур крутая. Часто разница между первым и вторым рассказом в восприятии оценщика невелика, но 1-ый при такой шкале весит почти вдвое больше 2-го. Линейная же шкала ( скажем, первые 10 мест с оценками от 10 до 1 ) вообще-то неплоха, но в ней два 5-х места (6+6=12) весят больше, чем одно 1-ое, что тоже ведет к некоторому усреднению.
Нелинейная шкала имеет цель усилить именно первые места. Если бы я проводил конкурс, я бы применил топ с нелинейной шкалой, но не такой крутой, как на Грелке. На 10 мест в топе я бы предложил расценки : ( 15, 12, 10, 8, 6, 5, 4, 3, 2, 1 ) - при этом два 5-х места меньше, чем одно первое; два 4-х = первому + 10-му. Первые места усилены, но все же разница между 1-м и 2-м местом не столь велика. И вообще, нигде между соседними местами существенных разрывов нет. Кажется разумным ?
>>229.Лана
>Да, только надеюсь в след. раз удастся набрать побольше судей на одну группу. 4 голоса - все же мало. Может, будет разный состав жюри на каждый тур.
И не надейтесь. Найти много судей - всегда проблема. Если в конкурсе изначально 3 группы, и вы хотите, чтобы каждую группу оценивало не 4, а, скажем, 6 судей, это значит надо иметь 18 судей! Это также значит, что 18 квалифицированных авторов сами участия принять не смогут. А если 4 группы ? Несерьезно.
К тому же перед началом вы не знаете точно, сколько будет рассказов, сколько групп. Как набирать судей ?
Именно поэтому взаимооценка авторов на 1-м этапе - вынужденная мера. В финале же можно с судьями ( как БС ), или без ( Грелка ).
_____________________
Вот такие соображения по судейству конкурсов. Может собрать эти коммы куда-нибудь в файл, чтобы будущие организаторы могли с ними ознакомиться ?
231. (nykonk@mail.ru) 2004/01/16 15:41
[ответить]
>>230.Лилия
>>>228.Каневский Александр
>>>>218.Kron
>>Мое мнение - всегда надо применять только топовую систему, в том числе и в финале. Грелка - конкурс фантастов профессионалов - использует только топовую систему. Она работает лучше.
>
>Извините, что встреваю
>Но топовая система, мне кажется, работает только в том случае, когда все судят всех. Как на Грелке. При судьях такая система будет выглядеть не очень хорошо
>
>PS И не такие уж профессионалы играют в Грелку :))
Эээ... Когда "все всех" - тогда результаты конкурса отражают вкусы публики, не более. Мне кажется, что топовая система работает успешно, если оценщиков человек так 10-12.
230. (leebai@rambler.ru) 2004/01/16 15:17
[ответить]
>>228.Каневский Александр
>>>218.Kron
>Мое мнение - всегда надо применять только топовую систему, в том числе и в финале. Грелка - конкурс фантастов профессионалов - использует только топовую систему. Она работает лучше.
Извините, что встреваю
Но топовая система, мне кажется, работает только в том случае, когда все судят всех. Как на Грелке. При судьях такая система будет выглядеть не очень хорошо
PS И не такие уж профессионалы играют в Грелку :))
229. (nykonk@mail.ru) 2004/01/16 14:37
[ответить]
>>228.Каневский Александр
Спасибо, Александр!
>>>219.Лана
>>Не хочу оправдываться - это дело пустое. Всем и так все ясно: опыта нет, все второпях и т.д. и т.п.
>
>В данном вопросе никаких ошибок - вы выбрали как раз самую правильную систему оценивания.
>
Да, только надеюсь в след. раз удастся набрать побольше судей на одну группу. 4 голоса - все же мало. Может, будет разный состав жюри на каждый тур.
228. * (akanev123@yahoo.com) 2004/01/15 22:38
[ответить]
>>218.Kron
>ВЫВОД: шкала баллов должна быть какой-то другой. Ну например, кроме положительных баллов еще и отрицательные - от минус одного до минус двенадцати. Или, еще лучше, судья оценивает все рассказы от 47 до 1 баллов (ну, или сколько там рассказов в группе)
Судьям будет трудновато расставить по ранжиру всех : кто на 33, кто на 37-м...
>либо по стандартной 10-балльной шкале.
В конкурсах установились две системы оценок : бальная ( от 1 до 10 ) и топовая ( первые n мест по ранжиру ). Давно стало ясно : топовая система лучше. У нее 2 серьезных преимущества :
1. Известно, что талантливые, незаурядные произведения часто вызывают смешанную реакцию, одни очень хвалят, другие активно отрицают. Оценки же по 10-бальной шкале усредняют результат. 10+1 меньше, чем 6+6, одна 1-ца убивает две-три 10-ки ( эффективно выводя рассказ из лидеров ), а в финал выходят 6-7-ки ( грубо говоря ). Но все же задача конкурсов выявить не 7-ки, а именно 10-ки. Ваш рассказ, очевидно ( я сам не читал, не знаю ), неплохой , никто ему 2-ек бы не поставил, но и в восторг он никого не привел. Он не прошел в финал и вам обидно. Это понятно, но согласитесь, было бы хуже, если бы в финал прошли только 7-ные рассказы и один из них победил, а 10-ки остались за бортом. Хуже с точки зрения конкурса.
2. При топовой системе оценщик не оценивает непонравившиеся рассказы вообще, и это правильно. Если "не мое", то он и читает менее внимательно, а его 1-2-3 -ки вносят в оценки шум и ничего более. Это не его стиль, не его область экспертизы. Понравившиеся же рассказы распределяются с куда большим интересом и ответственностью.
Мое мнение - всегда надо применять только топовую систему, в том числе и в финале. Грелка - конкурс фантастов профессионалов - использует только топовую систему. Она работает лучше.
>>219.Лана
>Не хочу оправдываться - это дело пустое. Всем и так все ясно: опыта нет, все второпях и т.д. и т.п.
В данном вопросе никаких ошибок - вы выбрали как раз самую правильную систему оценивания.