О прозрачности судейства на конкурсах

[EvgenFirst]

После оглашения результатов конкурсов на портале всегда есть вопросы, как выбирали победителей или почему не прошла какая-то работа.

 

Предлагаю автоматизировать процесс получения ответов на эти вопросы. Встроить в конкурсные темы систему баллов. Имеется в виду, жюри не нужно будет вручную выбирать работы, а нужно будет просто пройтись по всем работам, протавив баллы по критериям, принятым в конкурсе. Система сама определит нужное кол-во лучших участников!

При этом  после подведения итогов конкурса каждый участник в своём посте сможет увидеть выставленные баллы по всем критериям и общий балл. Кроме своих оценок, участники должны видеть и оценки всех призеров!

 

Что это даст:

- прозрачность и повышение доверия

- участники смогут узнать, по каким критериям не дотягивают до лидеров и смогут это учесть в будущих конкурсах

- облегчение процесса судейства для жюри

[902]

и по каким критериям давать баллы? и с чем сравнивать при выставлении оценки? 

[EvgenFirst]

Dzhek_London, по тем критериям, которые объявляются в каждом конкурсе!

Вы сможете сравнить свои оценки (они должны быть видны прямо в Вашем конкурсном посте) только с оценками призеров (они должны быть видны в новости об итогах конкурса) и благодаря этому понять, по каким критериям не дотянули...

[902]

14 Июл 2015 - 07:47 пользователь EvgenFirst сказал:

Dzhek_London, по тем критериям, которые объявляются в каждом конкурсе!
Вы сможете сравнить свои оценки (они должны быть видны прямо в Вашем конкурсном посте) только с оценками призеров (они должны быть видны в новости об итогах конкурса) и благодаря этому понять, по каким критериям не дотянули...

 

я не про это..

по каким критериям разрабам выставлять оценки/баллы ??

допутим конкурс на самую лучшую пословицу WOT, по каким именно параметрам судить "произведение" по количеству букв по правдивости, по лайкам?

 

да и потом в чем разница? самой лучшей работе они поставят мах а остальным на бал ниже чтоб не обидеть)

 

Учительница в школе по какой системе оценки выставляет? По знанию предмета или по критериям которые кто-то составил?

[EvgenFirst]

15 Июл 2015 - 22:20 пользователь Dzhek_London сказал:

 

я не про это..

по каким критериям разрабам выставлять оценки/баллы ??

допутим конкурс на самую лучшую пословицу WOT, по каким именно параметрам судить "произведение" по количеству букв по правдивости, по лайкам?

 

да и потом в чем разница? самой лучшей работе они поставят мах а остальным на бал ниже чтоб не обидеть)

 

Учительница в школе по какой системе оценки выставляет? По знанию предмета или по критериям которые кто-то составил?

 

А это самое интересное! Тут лучше начать с вопроса, а как сейчас выбираются лучшие работы? Например, в том же конкурсе стихов? Чем один лучше другого? И вообще - если работ больше 100 страниц, то их точно все читают и оценивают? Или просто берут первые понравившийся и ещё пару на спецпризы методом рендомного выбора? Например, ранее был конкурс по картографии, так некоторые спецпризеры намалявали какую-то кашу в прямом смысле этого слова! И никто не смог ответить, почему они стали спецпризерами!

А если ввести эту систему, то уж точно пройдутся по каждой работе! Баллы, я полагаю, будут ставится исходя из профессионального уровня жюри. И что важно - можно будет сравнить результаты оценок!

Все вопросы пользователей, конечно, не исчезнут, но некоторые точно отпадут!

[Semaalander]

всеми лапами ЗА!!!

как пример "несправедливости" произошедшей со мной лично: закинул реплей на конкурс "Эпик ВИН"...  заявку заполнил по всем правилам... главнейшей фишкой реплея, было что р.уолтерса взял уже по факту закончившихся боеприпасов - затаранив на картонной амерской пт 5 лвл (т-49) т-34-85... и ладно бы - просто проиграл в конкурсе более лучшим и умелым... ТАК ВЕДЬ НЕТ... по окончании недели и объявлении итогов конкурса я захожу на сайт с реплеем и что вижу??? ЕГО ДАЖЕ НИ РАЗУ НЕ СКАЧАЛИ... что по сути означает что в конкурсе он просто не участвовал... При этом в описании конкурса четко говорилось - что оценивается сам бой, а не количество или качество медалек... при этом когда я попросил разъяснений от предстапвителя администрации по данному вопросу - он сказал, что рассматриваются не все, а сразу выбираются реплеи где медалек побольше... я таки настоял, чтоб он посмотрел реплей... в ответ получил, что да - хороший бой, молодец... но конкурс уже прошел - ничего не поделаешь - старайся дальше...

если кому интересно - вот ссылка на тот бой http://wotreplays.ru/site/1316422#team посмотреть конечно не удастся как реплей, но итоги боя сами за себя говорят)

Изменено 16 июля, 2015 пользователем Semaalander

[902]

16 Июл 2015 - 09:12 пользователь EvgenFirst сказал:

 

....

Все вопросы пользователей, конечно, не исчезнут, но некоторые точно отпадут!

если щас вы не довольны судейством в целом то после введения вашего предложения будете недовольны оценками/баллами за работы.

не надо забывать что конкурс это не математическая задача которая потдается правилам и формулам , тут все условно и на вкус организаторов.

[g_fox_666]

14 Июл 2015 - 10:47 пользователь EvgenFirst сказал:

Dzhek_London, по тем критериям, которые объявляются в каждом конкурсе!
Вы сможете сравнить свои оценки (они должны быть видны прямо в Вашем конкурсном посте) только с оценками призеров (они должны быть видны в новости об итогах конкурса) и благодаря этому понять, по каким критериям не дотянули...

Смаристический конкурс. Какае критерии? Улыбнуло, смеялся, рука-лицо, разбил лбом клавиатуру, под столом? И если несколько работ наберут одинаковое кол-во "подстолом" что делать? Давать победу десятку? Или опять таки судьи вынуждены будут решать чисто субьективно? Или вводить дополнительные критерии типа "под столом на минуту", "2 минуты" и т.д.. А опять таки при равенстве что делать?

Так, что от человеческого фактора, от субъективного восприятия работ судьями все равно ни куда не деться. Так на кой все усложнять???

[EvgenFirst]

16 Июл 2015 - 17:57 пользователь Dzhek_London сказал:

если щас вы не довольны судейством в целом то после введения вашего предложения будете недовольны оценками/баллами за работы.

не надо забывать что конкурс это не математическая задача которая потдается правилам и формулам , тут все условно и на вкус организаторов.

 

Дело не в недовольстве, а в том, чтобы получить ответ на вопрос, почему "цветная каша" получает спецприз, а работа, на которую потрачено немало времени, не получает ничего!

Вот именно - сейчас все на вкус организаторов, причём они не утруждают себя давать какие бы то ни было комментарии и даже не обязаны смотреть все работы (это ведь никто не проверит). Однако не стоит забывать, что участники тратят своё время (иногда не только время) и поэтому имеют право хотя бы на то, чтобы их работу смотрели. Ну и хотелось бы равного отношения ко всем участникам! Система баллов это даёт!

 

При равном кол-ве баллов два варианта: дать приз всем таким работам (сейчас ведь тоже так бывает) либо по этим работам уточнить оценки.

 

[anonym_NQXgEQQgJBcU]

Ну так подставные баллы будут, например всем кланом за одного соклана проголосуют, а ещё и альянс весь попросят, жуть!

[jazis]

20 Июл 2015 - 09:55 пользователь EvgenFirst сказал:

Дело не в недовольстве, а в том, чтобы получить ответ на вопрос, почему "цветная каша" получает спецприз, а работа, на которую потрачено немало времени, не получает ничего!

Вот именно - сейчас все на вкус организаторов, причём они не утруждают себя давать какие бы то ни было комментарии и даже не обязаны смотреть все работы (это ведь никто не проверит). Однако не стоит забывать, что участники тратят своё время (иногда не только время) и поэтому имеют право хотя бы на то, чтобы их работу смотрели. Ну и хотелось бы равного отношения ко всем участникам! Система баллов это даёт!

Тут понимаете ли дело такое, на пост-советском пространстве творческие конкурсы судятся вообще весьма неоднозначно. Говорю об этом, потому что сам бывал в составе жюри. Расскажу один случай, раскрывающий ситуацию.

Проходил фотоконкурс, в жюри были уважаемые люди, но кроме наших там еще затесался один француз. Спорили, выбирали, выбрали. Выбрали действительно хорошие снимки и вдруг увидели, что француз выбрал снимки вообще другие. То есть все жюри там что то выбрало, спорят между собой кто первый, кто второй, а у француза совсем другие снимки. Его спрашивают: "Муссью, а почему эти то? Мы вон, другие выбрали." А муссью отвечает: "Так ведь вот эти снимки раскрывают тема конкурса. Ну сами почитайте положение, там то сё написано, что тема такая, параметры такие... Вы тоже хорошие выбрали, но они тему не раскрывают".

А то что предлагаете вы, ну эта система вполне работает.

Изменено 21 июля, 2015 пользователем jazis

[anonym_0u3pdO8p4MoH]

10 Июл 2015 - 13:04 пользователь EvgenFirst сказал:

После оглашения результатов конкурсов на портале всегда есть вопросы, как выбирали победителей или почему не прошла какая-то работа.

 

Предлагаю автоматизировать процесс получения ответов на эти вопросы. Встроить в конкурсные темы систему баллов. Имеется в виду, жюри не нужно будет вручную выбирать работы, а нужно будет просто пройтись по всем работам, протавив баллы по критериям, принятым в конкурсе. Система сама определит нужное кол-во лучших участников!

При этом  после подведения итогов конкурса каждый участник в своём посте сможет увидеть выставленные баллы по всем критериям и общий балл. Кроме своих оценок, участники должны видеть и оценки всех призеров!

 

Что это даст:

- прозрачность и повышение доверия

- участники смогут узнать, по каким критериям не дотягивают до лидеров и смогут это учесть в будущих конкурсах

- облегчение процесса судейства для жюри

Спасибо за предложение.

Давайте теперь посмотрим на на ваше предложение с другой стороны (со стороны человека который полностью знает все нюансы процесса судейства).

Что это даст:

1) У участников возникнет еще больше вопросов типа, "почему у Васи222 на 1 балл больше, а у Пети1414 на 1 балл меньше".
2) Усложнение процесса судейства для жюри.
Вы забываете, что на конкурс присылают массу работ не соответствующих условиям конкурса, которые не участвуют в борьбе за 1-3 места и оцениваются отдельно.
Я уже не говорю про банальный флуд и плагиат в конкурсной теме, которые будут только мешать жюри.
3) Ненужное усложнение движка форума функционалом который используется только в 0,1% создаваемых на форуме тем (это как минимум нерационально).
Не забывайте, что это форум и его основное предназначение - общение игроков с администрацией и между собой.
Проведение конкурсов - это побочная и отнюдь не первостепенная функция форума.

Участники уже сейчас могут узнать, по каким критериям не дотягивают до лидеров.
Для этого им достаточно написать мне в ЛС.
И я помогу им советом на будущее.

По своему опыту могу сказать, что у большинства участников с хорошими работами (не попавшими в призеры) наблюдаются 2 основные ошибки:
1) Несоответствие работы тематике и всем условиям конкурса.
2) Игнорирование такого критерия оценки как качество и композиция фото.
Многие забывают, что мы оцениваем работы по фото.
Поэтому мало сделать хорошую работу, её еще нужно хорошо преподнести жюри посредством качественной фотографии.

[EvgenFirst]

Отвечаю на пост, который был опубликован тут.

 

21 Июл 2015 - 15:08 пользователь AngryBird1 сказал:

1. Сейчас спрашивают почему у него выше место, а с этой системой будут спрашивать почему у него больше баллов. 

2. Облегчение судейства? Вы даже не знаете как сейчас происходит судейство, но делаете такие смелые выводы. Наоборот, это сделает процесс судейства только сложнее. На конкурс стихов было прислано больше 4000 сообщений, а стихов до жюри дошло около 400(если мне не изменяет память). Так вот, что легче, читать 4000 сообщений или 400?

3. Выделять людей для разработки ненужного форума функционала слишком затратно.

4. Если есть какие-то вопросы по тому, что не так сделано в работе, то личные сообщения Djak0n'а доступны всем.

 

 

1. Когда сейчас спрашивают - никто не отвечает. А по баллам будет видно, по каким критериям работа уступила победителям. Скорей всего, вопросы о баллах (почему больше/меньше) все равно будут, но думаю, их будет меньше чем сейчас (потому что принимается, что жюри ставит баллы исходя из своего уровня профессионализма).

2. По вашему примеру. Что значит до жюри дошло только 10% работ? А остальные работы проигнорировали? Моё мнение, что должны оцениваться 100% работ! Каждый участник имеет на это право! Право хотя бы на то, чтобы быть уверенным, что его работу смотрели! Если работа не прошла из-за несоответствия стиля стихотворения требованиям, это должно быть отражено соответствующим кол-вом баллов по одному из критериев!

3. Да, затратно, но не думаю, что слишком (для компании уровня ВГ).

4. Да, с Дьяконом можно пообщаться, и спасибо ему за это. Но я уже приводил выше пример с конкурсом картографии, когда на имевшиеся у многих участников вопросы не ответил никто!

 

 

21 Июл 2015 - 13:46 пользователь Bey71 сказал:

Ну так подставные баллы будут, например всем кланом за одного соклана проголосуют, а ещё и альянс весь попросят, жуть!

 

Прочитайте предложение! Баллы ставит жюри!

[EvgenFirst]

21 Июл 2015 - 14:52 пользователь Djak0n сказал:

Спасибо за предложение.

Давайте теперь посмотрим на на ваше предложение с другой стороны (со стороны человека который полностью знает все нюансы процесса судейства).

Что это даст:

1) У участников возникнет еще больше вопросов типа, "почему у Васи222 на 1 балл больше, а у Пети1414 на 1 балл меньше".
2) Усложнение процесса судейства для жюри.
Вы забываете, что на конкурс присылают массу работ не соответствующих условиям конкурса, которые не участвуют в борьбе за 1-3 места и оцениваются отдельно.
Я уже не говорю про банальный флуд и плагиат в конкурсной теме, которые будут только мешать жюри.
3) Ненужное усложнение движка форума функционалом который используется только в 0,1% создаваемых на форуме тем (это как минимум нерационально).
Не забывайте, что это форум и его основное предназначение - общение игроков с администрацией и между собой.
Проведение конкурсов - это побочная и отнюдь не первостепенная функция форума.

Участники уже сейчас могут узнать, по каким критериям не дотягивают до лидеров.
Для этого им достаточно написать мне в ЛС.
И я помогу им советом на будущее.

По своему опыту могу сказать, что у большинства участников с хорошими работами (не попавшими в призеры) наблюдаются 2 основные ошибки:
1) Несоответствие работы тематике и всем условиям конкурса.
2) Игнорирование такого критерия оценки как качество и композиция фото.
Многие забывают, что мы оцениваем работы по фото.
Поэтому мало сделать хорошую работу, её еще нужно хорошо преподнести жюри посредством качественной фотографии.

 

Спасибо за фидбек! Я и не спорю, что вопросы будут. Хочу подчеркнуть, что моё предложение было направлено на повышение прозрачности судейства! Возможно, его стоило бы доработать, если появится желание внедрять) в целом я рад, что меня услышали, дальше - на ваше усмотрение.

 

Что касается обращения в ЛС, воспользуюсь этим) но представьте, если бы это сделали пару сотен человек http://cdn-frm-eu.wargaming.net/4.4/style_emoticons/wot/Smile_blinky.gif

[anonym_YunkfcLxxqk6]

21 Июл 2015 - 16:05 пользователь EvgenFirst сказал:

Отвечаю на пост, который был опубликован тут.

 

 

1. Когда сейчас спрашивают - никто не отвечает. А по баллам будет видно, по каким критериям работа уступила победителям. Скорей всего, вопросы о баллах (почему больше/меньше) все равно будут, но думаю, их будет меньше чем сейчас (потому что принимается, что жюри ставит баллы исходя из своего уровня профессионализма).

2. По вашему примеру. Что значит до жюри дошло только 10% работ? А остальные работы проигнорировали? Моё мнение, что должны оцениваться 100% работ! Каждый участник имеет на это право! Право хотя бы на то, чтобы быть уверенным, что его работу смотрели! Если работа не прошла из-за несоответствия стиля стихотворения требованиям, это должно быть отражено соответствующим кол-вом баллов по одному из критериев!

3. Да, затратно, но не думаю, что слишком (для компании уровня ВГ).

4. Да, с Дьяконом можно пообщаться, и спасибо ему за это. Но я уже приводил выше пример с конкурсом картографии, когда на имевшиеся у многих участников вопросы не ответил никто!

 

1. Сейчас когда спрашивают практически всегда отвечают. А вопросов меньше не станет, просто они немного изменятся, уж поверьте мне, я конкурсами на этом форуме уже 2 года занимаюсь. Вы плохо знаете участников конкурса. Допустим человек увидел какую-то оценку своей работы(он не и сейчас видит, но не в баллах, а в месте). Вы думаете что он посмотрит и все? Нет, он все равно пойдет и напишет, а почему именно столько баллов, а не столько, почему у кого-то больше, и т д

2. А остальные 90% сами виноваты что не умеют читать. Каждый участник имеет право? Каждый участник обязан выполнять условия конкурса. Если человек не может положить перед фотографированием листик в кадр, то это проблемы человека. Если человек не может посчитать слоги в стихе, то это проблемы человека. Если человек не может сделать нужное количество фотографий процесса, то это, опять таки, проблемы человека. Выполнение условий конкурса это одно из условий участия в нем. Если нарушения незначительные, а работа очень хорошая, то максимум спецприз. 

3. Я уже все сказал.

4. Картографию оценивали картоделы, и мы физически не могли ответить на вопросы. 

[anonym_0u3pdO8p4MoH]

21 Июл 2015 - 16:05 пользователь EvgenFirst сказал:

2. По вашему примеру. Что значит до жюри дошло только 10% работ? А остальные работы проигнорировали? Моё мнение, что должны оцениваться 100% работ! Каждый участник имеет на это право! Право хотя бы на то, чтобы быть уверенным, что его работу смотрели! Если работа не прошла из-за несоответствия стиля стихотворения требованиям, это должно быть отражено соответствующим кол-вом баллов по одному из критериев!

3. Да, затратно, но не думаю, что слишком (для компании уровня ВГ).

4. Да, с Дьяконом можно пообщаться, и спасибо ему за это. Но я уже приводил выше пример с конкурсом картографии, когда на имевшиеся у многих участников вопросы не ответил никто!

2. 90% не соответствовали условиям конкурса.
Пример (раз уж вы их так любите): на соревнованиях по бальным танцам, большая часть участников спели песню.
Вопрос: Должны ли члены жюри на конкурсе бальных танцев оценивать эти песни?

3. Наша компания профессионально занимается разработкой игр, а не проведением конкурсов.
Творческие конкурсы - это всего лишь дополнительное развлечение для наших игроков имеющих те или иные творческие способности.
Да и подобный сервис по нашему мнению только нанесет вред.
Доводы в пользу этого я уже привел.
 

[Relost]

Раз у вас тут такой интересный спор, то позвольте высказать мое мнение. Все эти балы в открытом доступе, как было уже сказано некому нечего не докажут и не объяснят, вайна будет только больше.

На мой взгляд для улучшения понимания ситуации в процессе конкурса можно сделать следующее:

• повысить оперативность реагирования на работы не соответствующие регламенту во время проведения конкурса (очень часто вижу что работы просматривают и фильтруют раз в несколько дней, а хотелось бы раз в сутки)
• уведомление в почту "ваше сообщение было прокомментировано администратором форума, пожалуйста прочтите комментарий" ( если такое возможно технически)
• систему надписей РАБОТА ДОПУЩЕНА и  РАБОТА НЕ ДОПУЩЕНА  внедрить на постоянной основе во всех конкурсах, сразу снимем палк плак"мою работу даже не смотрели"

 

[EvgenFirst]

21 Июл 2015 - 16:26 пользователь AngryBird1 сказал:

 

4. Картографию оценивали картоделы, и мы физически не могли ответить на вопросы. 

 

Ясно, больше не давайте им оценивать конкурсы http://cdn-frm-eu.wargaming.net/4.4/style_emoticons/wot/Smile_Default.gif

 

21 Июл 2015 - 16:27 пользователь Djak0n сказал:

2. 90% не соответствовали условиям конкурса.
Пример (раз уж вы их так любите): на соревнованиях по бальным танцам, большая часть участников спели песню.
Вопрос: Должны ли члены жюри на конкурсе бальных танцев оценивать эти песни?

3. Наша компания профессионально занимается разработкой игр, а не проведением конкурсов.
Творческие конкурсы - это всего лишь дополнительное развлечение для наших игроков имеющих те или иные творческие способности.
Да и подобный сервис по нашему мнению только нанесет вред.
Доводы в пользу этого я уже привел.
 

 

"90% нарушили регламент" - это ведь и есть оценка! Выражается она фразой или нулем баллов - это оценка! Только важно, чтобы об этом узнал участник.

 

Конкурсы как развлечение - это хорошо! Главное чтобы развлечение не сильно походило на вбр http://cdn-frm-eu.wargaming.net/4.4/style_emoticons/wot/Smile_blinky.gif

 

21 Июл 2015 - 16:55 пользователь Relost сказал:

...

На мой взгляд для улучшения понимания ситуации в процессе конкурса можно сделать следующее:

• повысить оперативность реагирования на работы не соответствующие регламенту во время проведения конкурса (очень часто вижу что работы просматривают и фильтруют раз в несколько дней, а хотелось бы раз в сутки)
• уведомление в почту "ваше сообщение было прокомментировано администратором форума, пожалуйста прочтите комментарий" ( если такое возможно технически)
• систему надписей РАБОТА ДОПУЩЕНА и  РАБОТА НЕ ДОПУЩЕНА  внедрить на постоянной основе во всех конкурсах, сразу снимем палк плак"мою работу даже не смотрели"

 

 

Возможно и в такой частичной реализации! Хоть как-то повышается прозрачность оценки.

[anonym_0u3pdO8p4MoH]

21 Июл 2015 - 17:07 пользователь EvgenFirst сказал:

"90% нарушили регламент" - это ведь и есть оценка! Выражается она фразой или нулем баллов - это оценка! Только важно, чтобы об этом узнал участник.

Если у участника просят в условиях прислать стихотворение в форме "порошок", а он присылает поэму в 3 действиях, на что он надеется? http://cdn-frm-eu.wargaming.net/4.4/style_emoticons/wot/Smile_blinky.gif
 

[anonym_YunkfcLxxqk6]

21 Июл 2015 - 16:55 пользователь Relost сказал:

Раз у вас тут такой интересный спор, то позвольте высказать мое мнение. Все эти балы в открытом доступе, как было уже сказано некому нечего не докажут и не объяснят, вайна будет только больше.

На мой взгляд для улучшения понимания ситуации в процессе конкурса можно сделать следующее:

• повысить оперативность реагирования на работы не соответствующие регламенту во время проведения конкурса (очень часто вижу что работы просматривают и фильтруют раз в несколько дней, а хотелось бы раз в сутки)
• уведомление в почту "ваше сообщение было прокомментировано администратором форума, пожалуйста прочтите комментарий" ( если такое возможно технически)
• систему надписей РАБОТА ДОПУЩЕНА и  РАБОТА НЕ ДОПУЩЕНА  внедрить на постоянной основе во всех конкурсах, сразу снимем палк плак"мою работу даже не смотрели"

 

1) Участник сам заинтересован в том, чтобы его работа ничего не нарушала. Никто не мешает прочитать внимательно регламент, или написать мне в ЛС и спросить как правильно оформить свою работу. Модераторы проверяют работы в свободное время.

2) Чего не знаю, того не знаю.

3) Система надписей уже есть примерно как полгода(если не больше). А система допущена/не допущена невозможна в наших реалиях по причине того, что часто работы незначительно нарушающие регламент не допускаются до основной части, но получают спецприз.