Математика премий на фестивале BEMA: за кулисами системы оценок!
Кто из наших коллег не слышал про BEMA! Громкий международный фестиваль событийного маркетинга и коммуникаций, на котором выбирают лучшие проекты индустрии, а потом красиво награждают под громкие аплодисменты публики, влюбленной в event.
Поэтому, когда организаторы BEMA! обратились в EventPlatform за помощью, мы были очень рады. Обожаем яркие и сложные проекты, в которых можно и людей посмотреть, и возможности продукта показать.
Между тем, задача действительно была непростой: создать с нуля систему экспертных оценок, от которой, по сути, зависит репутация мероприятия.
Судите сами: для чего люди приходят на конкурс? Чтобы стать лучшими. Но лучшими в честной конкуренции, заслуженно. А значит, основная цель организаторов — обеспечить надежность, прозрачность системы оценки и равные условия для всех участников.
Что придумали?
В основу структуры легла наша гибридная технология PWA (Progressive Web Application). Это механизм построения мобильных веб-сайтов, ведущих себя как мобильные приложения, но при этом не требующих установки.
Эксперты переходили по ссылке мероприятия, сохранив ярлык на рабочем столе своего устройства. После чего спокойно работали с системой без доступа к браузеру. Нажатие на сохраненный ярлык перебрасывало на сайт, внешне неотличимый от полноценного мобильного приложения, которое было доступно офлайн.
Тема важная и удобная, потому что не все площадки бесперебойно снабжаются интернетом. В нашем случае подстраховка была излишней, так как организаторы отработали на 5+, обеспечив быстрый доступ к сети всех участников.
Контроль доступа экспертов к системе защищался персональными паролями — безопасность превыше всего. В свою очередь, участники фестиваля через гостевой вход попадали в особое пространство, где можно было сделать импровизированные «ставки» на победителя в каждой номинации, а также отдать свой голос за «приз зрительских симпатий».
Эксперты переходили по ссылке мероприятия, сохранив ярлык на рабочем столе своего устройства. После чего спокойно работали с системой без доступа к браузеру. Нажатие на сохраненный ярлык перебрасывало на сайт, внешне неотличимый от полноценного мобильного приложения, которое было доступно офлайн.
Тема важная и удобная, потому что не все площадки бесперебойно снабжаются интернетом. В нашем случае подстраховка была излишней, так как организаторы отработали на 5+, обеспечив быстрый доступ к сети всех участников.
Контроль доступа экспертов к системе защищался персональными паролями — безопасность превыше всего. В свою очередь, участники фестиваля через гостевой вход попадали в особое пространство, где можно было сделать импровизированные «ставки» на победителя в каждой номинации, а также отдать свой голос за «приз зрительских симпатий».
Математические тонкости
Дальше нас ждал долгий день очной защиты проектов, в течение которого 48 экспертов выставили более 12000 оценок. Каждый эксперт давал оценку проекту (всего их было 21) в пяти номинациях по пятибалльной шкале, причем в зачет шло среднеарифметическое всех оценок. Совершенно справедливо, что победитель определялся не по одному критерию, а по совокупности из пяти. Практически во всех номинациях победили сбалансированные проекты без четких балльных перекосов по отдельным критериям.
А теперь поговорим об интересной статистике. Вы же не думали, что мы просто посчитаем баллы?
А теперь поговорим об интересной статистике. Вы же не думали, что мы просто посчитаем баллы?
Оптимисты, пессимисты и познавшие дзен
Эксперты, судившие проект, на минуточку, живые люди, на мнение которых влияют настроение конкурсантов, манера подачи проекта и другие трудноуловимые факторы. Если представить гипотетическое интервью с повышенным уровнем честности, то, возможно, мы бы услышали такое:
Две одинаковых оценки, выставленные с разными мотивами, и чтобы понять причины, нужно провести анализ поведения этих экспертов в течение всего мероприятия.
Когда мы собрали статистические диаграммы, то увидели, что судьи поделились на три группы: оптимисты, пессимисты и «познавшие дзен». Средний балл (среднеарифметическое всех поставленных оценок) различался от 4.685 (оптимист, почти три четверти оценок которого — пятерки) до 2,730 (пессимист — «колов» он расставил впятеро больше чем «пятерок»). Были и те, кто гармонично расставлял 3,5-4 всем участникам.
Теперь представим, что два конкурирующих проекта оценивают разные эксперты, один из которых «оптимист», а другой «пессимист», — в результате условия становятся нечестными. На BEMA! проекты в рамках одной номинации оценивали одни и те же эксперты. Это гарантировало справедливый подход для всех участников (и сбереженные нервы особенно чувствительных номинантов)
Дюжина «пессимистов» дала 53% всех «колов» и почти 60% «двоек». «Пятерки» они ставили, в среднем, вдвое реже, чем «умеренные», и почти вчетверо реже, чем «оптимисты».
По странному стечению обстоятельств, меньше всех повезло проектам, проходившим защиту в кинозале: 7 из 12 критиков собрались там (факультет Слизерина?). В зале workshop, напротив, собралось 7 из 12 «оптимистов», поэтому средние оценки в номинациях этого зала, выше (Гриффиндор!).
Но, как уже было сказано, на общие результаты в рамках номинаций это не влияло. Организаторы и команда EventPlatform от души постарались, чтобы оценочный процесс был максимально честным, а награды нашли настоящих героев индустрии.
- Проект был так себе, но не хотелось обижать этих молодых перспективных ребят, поэтому я ставлю 4 балла (эксперт А).
- Проект был прекрасно организован. Я поставил бы 5, но мы же знаем, что в этом мире нет ничего идеального, поэтому ставлю 4 балла (эксперт Б).
Две одинаковых оценки, выставленные с разными мотивами, и чтобы понять причины, нужно провести анализ поведения этих экспертов в течение всего мероприятия.
Когда мы собрали статистические диаграммы, то увидели, что судьи поделились на три группы: оптимисты, пессимисты и «познавшие дзен». Средний балл (среднеарифметическое всех поставленных оценок) различался от 4.685 (оптимист, почти три четверти оценок которого — пятерки) до 2,730 (пессимист — «колов» он расставил впятеро больше чем «пятерок»). Были и те, кто гармонично расставлял 3,5-4 всем участникам.
Теперь представим, что два конкурирующих проекта оценивают разные эксперты, один из которых «оптимист», а другой «пессимист», — в результате условия становятся нечестными. На BEMA! проекты в рамках одной номинации оценивали одни и те же эксперты. Это гарантировало справедливый подход для всех участников (и сбереженные нервы особенно чувствительных номинантов)
Дюжина «пессимистов» дала 53% всех «колов» и почти 60% «двоек». «Пятерки» они ставили, в среднем, вдвое реже, чем «умеренные», и почти вчетверо реже, чем «оптимисты».
По странному стечению обстоятельств, меньше всех повезло проектам, проходившим защиту в кинозале: 7 из 12 критиков собрались там (факультет Слизерина?). В зале workshop, напротив, собралось 7 из 12 «оптимистов», поэтому средние оценки в номинациях этого зала, выше (Гриффиндор!).
Но, как уже было сказано, на общие результаты в рамках номинаций это не влияло. Организаторы и команда EventPlatform от души постарались, чтобы оценочный процесс был максимально честным, а награды нашли настоящих героев индустрии.
Проанализируем ваш проект и предложим лучшие инструменты для его успешной реализации