Нейм Ник : другие произведения.

Эксперимент с системой Ифэя

"Самиздат": [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Ссылки:


 Ваша оценка:


   Этот обзор посвящается Эксперименту с системой ИФЭЯ, проведённому на конкурсе фантастического рассказа "Золотая чаша - 2012".
   Участвовало 10 рассказов, выбранных жеребьёвкой, и одиннадцать судей-добровольцев.
  
   Эксперимент (проверка системы)
  
   Судьи-участники игры - все, кто пожелает. Чем больше, тем лучше!
  
   Выбор рассказов: начиная с первой группы, с номера равного количеству судей-игроков, шагом 10 проходим вдоль всего списка. Если рассказов мало, продолжаем по кругу, (возвращаясь в начало списка), пока не наберём 10 штук. При повторных кругах выбранные ранее рассказы в счёт не идут.
   Пример: 8 судей, 123 рассказа, 3 группы по 41 рассказ. Начинаем счёт с 8-го рассказа первой группы, так как игроков 8. Отбираем каждый десятый. Итак: 8, 18, 28, 38 (из первой группы), 48 (N 7 второй группы), 58 (N 17 второй группы), 68 (N 27 второй группы), 78 (N 37 второй группы), 88 (N 6 третьей группы) и 98 (N 16 третьей группы).
  
   Система оценок: интерес-финал-эмоции-язык
  
   Интерес:
   0 - неинтересный (если бы не конкурс - не дочитал бы)
   1 - малоинтересный (хочется пропускать фразы, но узнать, чем кончится)
   2 - интересный (хотелось читать всё подряд, но можно и отложить)
   3 - очень интересный (читал не отрываясь, досадуя на помехи)
  
   Финал:
   0 - разочаровал (автор всё испортил таким концом)
   1 - маловыразительный (так и знал, что ничего не случится)
   2 - хороший (оригинальный, в чём-то неожиданный, улучшающий рассказ)
   3 - очень хороший (потрясающий, совершенно неожиданный)
  
   Эмоции (эмоциональность рассказа) - герои и события, как они описаны:
   0 - не вызывают сопереживания
   1 - вызывают сопереживание
   2 - вызывают глубокие переживания
  
   Язык:
   0 - невыразительный - много ошибок, искажающих смысл написанного
   1 - хороший - ясный, ошибки не влияют на чтение
   2 - красивый - красочный, художественный, стильный, ошибки случайные
  
   Ход игры: после объявления списка судьи убеждаются, что ошибки не было, рассказы выбраны правильно и оценивают их по системе выше.
   Каждый рассказ получает от каждого судьи четыре оценки, записанные как х-х-х-х, например, 2-1-0-1. Не перепутайте, первая цифра - за интерес (от 0 до 3), вторая - за финал (от 0 до 3), третья за эмоции (от 0 до 2) и четвёртая - за язык (от 0 до 2).
  
   Готовые оценки участники сообщают в личной почте организатору игры.
   Организатор составляет таблицу и публикует её.
   Судьи проверяют, нет ли ошибок, и все переходят к следующему этапу эксперимента.
  
   Анализ: таблицы можно проанализировать, дают ли они больше информации авторам. Организатор это сделает, но и все желающие (не только судьи) могут сделать это по-своему.
   Судьи делятся впечатлениями о процессе: понравилось им или нет оценивать рассказы таким способом, что было хорошо и удобно, а что нет.
   Разумеется, чем больше судей, тем точнее оценки отразят мнение читателей (и тем больше будет работы организатору).
  
   Когда закончится конкурс и будут опубликованы его оценки, их можно будет сравнить с оценками системы и результатом игры.
  
   Список судей:
  
   1. Ник
2. goddo
3. Chukcha
4. Gelu McAllister
5. to_chego_net
6. Valien
7. spelly
8. Smelyi
9.
Василий Курсанов
10.
Клер
11. fannni
  
   Итак, собраны все оценки, судьи высказали свои мнения, и можно приступать к подсчёту очков. В нашем эксперименте участвовало 10 рассказов. Вот они:
  
   11 - Второй этап
21 - Освободите мой разум
31 - Путеводитель пустоты
41 - Брошенная планета
51 - Бутон
61 - Чистая победа
71 - Оазис
81 - Возьмём гнома на удачу
91 - Вечное сияние
101 - Ослепительно серый
   Первое место из них занял "Ослепительно серый". Он получил 90 баллов из 110 возможных (десять первых мест и разделил второе - третье в одном случае).
   На втором месте рассказ "Бутон". Он набрал 64 балла.
   На третьем - "Брошенная планета" 61 балл.
   На четвёртом - "Освободите мой разум" 49 баллов.
   На пятом - "Чистая победа" 48 баллов.
   На шестом - "Возьмём гнома на удачу" 39 баллов.
   На седьмом - "Путеводитель пустоты" 32 баллов.
   На восьмом - "Второй этап" 28 баллов.
   На девятом - "Оазис" 19 баллов.
   На десятом - "Вечное сияние" 18 баллов.
  
   0x01 graphic
  
  
   Сводная таблица баллов всех судей по параметрам И-Ф-Э-Я:
  
   НАЗВАНИЕ РАССКАЗА
   ИНТЕРЕС
   ФИНАЛ
   ЭМОЦИИ
   ЯЗЫК
   СУММА
   Второй этап

9

8

3

8

28

   Освободите мой разум

19

16

4

10

49

   Путеводитель пустоты

14

8

3

7

32

   Брошенная планета

21

16

11

13

61

   Бутон

23

18

11

12

64

   Чистая победа

17

14

8

9

48

   Оазис

5

5

4

5

19

   Возьмём гнома на удачу

13

9

6

11

39

   Вечное сияние

5

5

2

6

18

   Ослепительно серый

29

23

16

22

90

  
  
   А сейчас давайте обсудим, получили ли мы какое-то дополнительное знание, из системы ИФЭЯ, по сравнению с простой 10-бальной (только последний суммарный столбик). Обсуждая оценки, сравним также близкие по общему баллу рассказы.
   Приблизительные очки такие: 90, 60, 60, 50, 50, 40, 30, 30, 20, 20.
  
   У "Ослепительно серого" за интерес 29 из 33 возможных (88%). Однако десять из одиннадцати судей поставил ему за интерес свой высший балл. И даже если этот бал 1, то никакой другой рассказ у данного взыскательного судьи 2 по интересу не получил.
   Допустим, кто-то хотел бы занизить оценку этому рассказу. Тогда такому судье - "Медведю", играющему на понижение (термин биржевого рынка) - необходимо "влепить" 0 за интерес этому рассказу и стать "Быком" для других (повысить им баллы за интерес). Разумеется, такая комбинация совершенно явно видна, в отличие от низкой или высокой оценки, не сравниваемой с другими, (выставленной неизвестно за что!) по 10-бальной системе.
   За финал (оригинальность концовки) рассказ "Ослепительно серый" получил 23 балла из 33 возможных (70%). Это по-прежнему высокий показатель, но автор уже видит в нём некоторый намёк: читатель не получает такого же высокого удовольствия от завершения рассказа, как от интересного сюжета.
   Эмоциональность: 16 из 22 (72%). То же самое! Читатель не так сильно сопереживает погибшему герою.
   Язык: 22 из 22 (100%)! Вот, оказывается где главное достоинство рассказа - 11 первых мест (все!) и к тому же 11 наивысших баллов за язык.
   Как приятно поздравить автора!
   Не знаю, возможно, писателей не интересуют подобные детали, в чём я сомневаюсь. Меня бы интересовали, даже в случае столь убедительной победы. Ведь даже простой просмотр таблицы от одиннадцати судей,
   освещает более сильные и слабые стороны рассказа.
   Это как получить сразу одиннадцать отзывов с оценкой одних и тех же свойств рассказа! Не нужно? Лишне?
  
   Рассказы "Бутон" и "Брошенная планета". Их баллы интересно разбирать параллельно, как близкие.
   "Бутон" набрал за интерес 23 из 33 (70%)
   "Брошенная планета" - за интерес 21 из 33 (63%).
   "Бутон" за финал собрал 18 из 33 (55%)
   "Брошенная планета" - за финал 16 из 33 (48%)
   За эмоциональность оба рассказа набрали 11 из 22 (50%),
   "Бутон" за язык - 12 из 22 (55%), а "Брошенная планета" - 13 из 22 (59%). Немного тут, немного там, в области интереса и остросюжетности, и "планета" уступает "бутону" второе место.
   Каждый автор сам видит, что ему делать, и как улучшать результаты. Наиболее сильной стороной обоих рассказов служит интересный сюжет.
  
   Следующая пара конкурентов - "Освободите мой разум" и "Чистая победа". Они по баллам ближе друг к другу, чем какие-либо другие рассказы.
   "Освободите мой разум" получил за интерес 19 из 33 (58%)
   "Чистая победа" - за интерес - 17 из 33 (52%)
   Справедливо, что 4 - 5 места, как и 2 - 3 занимают довольно интересные рассказы. Как там с оригинальным финалом?
   "Освободите мой разум" - за финал набрал 16 из 33 (48%)
   "Чистая победа" - за финал - 14 из 33(42%)
   Показатели начитают падать ниже 50%. Намёк есть?
   "Освободите мой разум" - за эмоциональность - 4 из 22 (18%) - ясно?
   "Чистая победа" - за эмоции - 8 из 22 (36%)
   "Освободите мой разум" - язык - 10 из 22 (45%)
   "Чистая победа" - язык - 9 из 22 (41%)
   Вот и объяснение: для 4 - 5 места всё держится на интересе, остальные показатели надо подтягивать.
   Также видно, как влияет отставание по эмоциональности от 2 - 3 места.
   Ненадолго вернёмся к гипотетическому завышению - занижению. Не вижу способа "подкинуть" конкуренту 10 баллов (вниз или вверх). Поскольку это означает влияние на все параметры, то курс "против течения" моментально виден и необъясним. А в системе ИФЭЯ нет необъяснимых оценок в отличие от простой 10-бальной!
  
  
   Рассказ "Возьмём гнома на удачу" с 39 баллами из 110 (35%) занимает промежуточную позицию (медиану) в шлейфе рассказа-победителя.
   За интерес он набрал 13 баллов из 33 (39%).
   За финал 9 из 33 (27%), за эмоциональность 6 из 22 (27%), за язык 11 из 22 (50%). Автор сам сделает выводы, в чём сильные и слабые стороны рассказа.
   Хочу отметить, что самый низкий балл от одного судьи был 1, а самый высокий - тоже от одного - 6. Видите, тоже не 0 и 10, то есть, это - не "подсуживание". Удаление оценки "Медведя" или "Быка" лишь незначительно сдвигает рассказ вправо или влево. А удаление обоих результатов (вместе с судьями) превращает общую оценку в 32 балла, но уже из 90 возможных, то есть те же 35%.
  
  
   Следующая пара рассказов с баллами вблизи 30, это "Путеводитель пустоты" - 32 балла из 110 (29%) и "Второй этап" 28 баллов из 110 (25%).
   За интерес "Путеводитель пустоты" набрал 14 баллов из 33 (42%), а
   "Второй этап" - 9 из 33 (27%).
   За финал оба рассказа набрали поровну - по 8 баллов из 33 (24%).
   За эмоциональность тоже равные баллы - по 3 балла из 22 (14%)
   За язык "Путеводитель пустоты" получил 7 баллов из 22 (32%), а
   "Второй этап" - 8 из 22 (36%).
   Опять же, по-моему, цифры говорят за себя, и авторы видят слабые стороны (не детально, только в общем, но вполне ясно) работ.
  
   Последняя пара рассказов с баллами в области 20. Это "Оазис" с 19 баллами из 110 (17%) и "Вечное сияние" с 18 баллами из 110 (16%).
   Оба рассказа по интересу и финалу набрали равные и одинаковые баллы: 5 из 33 (15%). Эмоциональность "Оазиса" оценили в 4 балла из 22 (18%), а "Вечного сияния" в 2 балла из 22 (9%).
   Язык "Оазиса" получил 5 баллов из 22 (23%), а "Вечного сияния" 6 баллов из 22 (27%). Думаю, авторы сами видят, в чём их резервы.
  
   Итак, эксперимент показывает, что ИФЭЯ так же хорошо оценивает рассказы по параметрам, как и простая 10-бальная система по одной оценке.
   В отличие от последней, ИФЭЯ несёт информацию "мини-отзыва" авторам и даже без всякой рецензии подсказывает им мнение читателей.
   Искусственную необъективность оценок труднее провести в системе. Она легче выявляется.
  
   В заключение, всем авторам - творческих успехов, всем исследователям - научных, а читателям - хороших рассказов!
  
  

 Ваша оценка:

Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
Э.Бланк "Пленница чужого мира" О.Копылова "Невеста звездного принца" А.Позин "Меч Тамерлана.Крестьянский сын,дворянская дочь"

Как попасть в этoт список
Сайт - "Художники" .. || .. Доска об'явлений "Книги"