В сфере научных разработок и инноваций, где каждый грант представляет собой возможность для значительного прогресса, объективная оценка проектов является важнейшей задачей. Тем не менее, опыт показывает, что личные предубеждения могут существенно влиять на результаты экспертизы, приводя к неравномерной поддержке проектов из-за субъективных суждений. Новое исследование, проведенное учеными из МТУСИ и Фонда содействия инновациям, предлагает математический подход к решению этой проблемы.
Предложенная учеными модель дает возможность объективно определить вероятность одобрения заявки на конкурс, принимая во внимание различные факторы групповой экспертизы, такие как число экспертов и пороговый балл, который устанавливает минимально приемлемый уровень.
Как работает экспертиза на самом деле?
«Определение условия необходимо для принятия решений. Экспертиза заявки осуществляется группой из m экспертов (1 < m), работающих независимо друг от друга. Результаты проведенного анализа показали, что на практике максимальное значение m не превышает 7, так что в данном случае 1 < m ≤ 7. Каждый эксперт выставляет оценку от 0 до H, где H — максимальный возможный балл. Заявка будет принята при условии, что хотя бы k экспертов поставили оценку не меньше заданного порога ( H₀). Если это условие не соблюдается, заявка будет отклонена. Случай, при котором m = 2 и k = 1, часто встречается на практике, поэтому целесообразно более детально изучить его, опираясь на статистические данные, полученные в ходе 153 экспертиз. Например, если m = 2 (два эксперта), k = 1 (достаточно одного эксперта), а H₀ = 10, заявка будет одобрена, если один из экспертов оценил ее на 10 баллов или выше. Даже если оценка второго эксперта оказалась низкой, решение останется положительным», — отмечает Саксонов Евгений Александрович, д.т.н., профессор кафедры «Математическая кибернетика и информационные технологии» (МКиИТ) МТУСИ.
Что показали цифры
Анализ данных, включающий оценку 1503 заявок двумя экспертами, подтвердил выявленную закономерность. При установленном пороговом значении в 10 баллов из 16, заявка обычно получала одобрение, если хотя бы один из экспертов давал высокую оценку. Согласно установленному условию, при H0 = 10 было принято 341 заявка. Однако в 21% случаев мнения экспертов существенно различались: один эксперт ставил высокий балл, а другой — низкий. Таким образом, оценка одного эксперта может предопределить исход проекта, даже если другой эксперт обнаружил в нем недостатки. Кроме того, 95 заявок получили оценки, равные или превышающие 10 баллов, от обоих экспертов.
Исследование показало, что установление минимального проходного балла позволяет контролировать объем одобренных заявок. Увеличение этого балла со значения 10 до 16 баллов привело к снижению доли принятых проектов с 22,7% до нуля.
Математика на страже справедливости
Для минимизации предвзятости исследователи выделили ряд подходов. Прежде всего, следует принимать во внимание совокупность оценок всех специалистов, чтобы уменьшить воздействие отдельного, доминирующего мнения. Далее, необходимо корректировать минимальный проходной балл, определяя его на основе оценки наиболее перспективных кандидатов. И, наконец, важно проводить детальный анализ процедур принятия решений. Таким образом, перед внедрением каких-либо правил необходимо удостовериться в том, что они гарантируют объективные и качественные результаты.
Данный материал создан на основе статьи «Анализ условия принятия решения при экспертизе заявки», которая была опубликована в сборнике трудов XVIII Международной отраслевой научно-технической конференции «Технологии информационного общества» (на с. 152–154).
Информация предоставлена пресс-службой МТУСИ