Как оценить работу экспертного сообщества?

Как оценить работу экспертного сообщества?

Практика использования экспертов и экспертного знания в процессах принятия управленческих решений имеет весьма давнюю историю. Под экспертизой здесь и далее понимается процедура, при которой одна группа людей, называемой лицами, принимающими решения, запрашивает суждение по тому или иному вопросу другой группы лиц, называемых экспертами, в целях выработки и принятия по этому вопросу соответствующего решения. Весьма часто обе участвующие в экспертизе группы совпадают, то есть все члены группы высказывать свое мнение. Затем на основе этих личных мнений принимается общее групповое решение. Ярким примером экспертизы является судейство в фигурном катании, при котором все эксперты высказывают свое мнение, после чего в результате обработки судейских оценок получается итоговый результат.

Математика — царица всех наук?

Моделированием экспертных процедур занимается отдельный раздел прикладной математики, возникший в 1980-х годах. В нём изучаются модели, методы организации экспертиз, обработки информации, получаемой от экспертов и тому подобные вопросы. Основой для подобных исследований является известный факт, при котором человек более точно и с меньшими затруднениями отвечает на вопросы качественного, например, сравнительного характера, чем на вопросы, требующие точной количественной оценки. Конечно, весьма часто под ответами на качественные вопросы скрываются представления об отношениях между числами, то есть соображения количественной природы.

С формальной точки зрения экспертная процедура относится к классу так называемых многокритериальных задач. В процессе их решения приходится согласовывать различные требования, искать разумный компромисс. Современная математика располагает некоторыми методами, приспособленными для поиска компромиссных решений многокритериальное задачах. Однако эти методы далеки от совершенства.

Решение многокритериальной задачи может быть не оптимально ни по одному из заданных критериев, но приемлемо по их совокупности. В современном виде математика способна оперировать понятиями «больше», «меньше» и «равно», но не понятиями «приемлемо», «допустимо», «практически равноценно» и тому подобными понятиями, характерными для человеческого мышления (даже с учётом математического аппарата нечёткой логики Л.Заде).

Принимая решение, человек, не вдаваясь в излишние подробности, окидывает взглядом ситуацию в целом и выбирает приемлемый вариант. Во многих случаях организация экспертных процедур и сам процесс голосования определяется традициями, самим объектом экспертизы и возможностями обработки полученной информации. Задача математического аппарата в этом случае не в том, чтобы выдать окончательное решение, а в том, чтобы помочь человеку его выбрать.

При многократном повторении экспертиз возникает побочная (по отношению к выработке согласованного решения) возможность оценки достоинств самих экспертов. В среднем заключения каждого эксперта отклоняются от коллективного среднего. Эксперту оказывается возможным приписать определенный вес. Тем самым в процессе экспертизы удается внести элемент обратной связи, способствующей самообучению экспертов – своеобразной настройки всей экспертной комиссии на определенные выводы по определенному кругу вопросов.

Меру согласованности мнений экспертов можно оценивать, исходя из различных принципов (кроме очевидного принципа большинства). В ряде случаев за меру согласованности (или единства) мнений принимают величину среднестатистического отклонения, дисперсию числовых оценок экспертов. Чем дисперсия меньше, тем более согласованы мнения экспертов, а чем она больше, тем менее качественной является экспертиза группы экспертов. Очевидно, что на суждение каждого эксперта накладывается его субъективное восприятие ситуации, поэтому важно организовать экспертизу таким образом, чтобы влияние субъективных факторов было минимальным. Вполне возможно сколь угодно сильно детализировать . Простота проверки (оценки качества) экспертного решения и способность его автоматизации также является немаловажным критерием.

Каждый эксперт склонен при голосовании занижать либо завышать оценки. Подобная субъективная склонность заложена в самой природе количественной оценки сложных вещей – оптимистичность или пессимистичность численной оценки больше зависит от текущего состояния эксперта, чем от измеряемых им таким образом объектов. Невысокая повторяемость подобных оценок объясняется еще и тем, что человеку свойственно сравнивать объекты между собой, а не виртуальной количественной шкалой.

Тем не менее, если необходимо сравнить (относительно друг друга) мнения экспертов по поводу оцениваемого объекта, необходимо понимать, к какому поведению склонен эксперт. Для этого обычно используют гистограмму оценок либо упрощенное представление – медиану числового ряда.

Диаграмма распределения оценок экспертов позволяет быстрее понять, едины ли во мнениях эксперты. Однако в случаях, когда предлагаемые решения уже выбраны заранее (не на основе голосования, а каким-либо иным способом), а оценки заранее искусственно составлены и внесены в систему, чтобы ранжировать заранее заготовленные решения, представление в виде диаграммы оказывается почти что бесполезным.

Разность мнений экспертов обычно подкреплена разностью интересов самих экспертов. Равномерное распределение интересов достигнуть на практике возможно только с помощью перекрёстных переговоров между экспертами (собственно, этот факт — один из столпов экспертного метода Делфи). Если использовать обычную математическую дисперсию как признак неравномерности числового ряда экспертных оценок, можно построить график, на котором зафиксировать варианты решения в порядке от наилучшего решения (с наивысшими баллами, поставленными экспертами) до остальных решений с низшими баллами оценки, и наблюдать степень согласованности между экспертами по каждой позиции. Такое представление позволяет оценить, насколько согласованным среди экспертов был выбор решения.

Проведение экспертных процедур

Идеологической основой метода экспертных оценок служит гипотеза о том, что коллективное мнение предпочтительнее индивидуально. В большинстве случаев это так, хотя истории известны ситуации, в которых такие решения оказывались ошибочными. Существует несколько способов работы с информацией, которая может быть использована при работе с экспертной группой. Перечисленные ниже способы являются в настоящее время основными для проведения экспертиз. В случае, когда используется открытый метод идентификации решений, существует решение этой проблемы в виде учёта так называемого «чёрного лебедя» (негативного маловероятного события, наступление которого отвергается всеми экспертами, кроме кого-либо одного).

Экспертной группе можно сообщить некоторую шкалу числовых значений оцениваемого фактора. В спортивной гимнастике, например, используется десятибалльная шкала с шагом 0.1 балла. Эксперты высказывают свое суждение в виде соответствующего числа в рамках предложенной им шкалы. Примером подобной шкалы является шкала Лайкерта, которая часто используется в опросниках и анкетных исследованиях. При работе со шкалой испытуемый оценивает степень своего согласия или несогласия с каждым суждением, от «полностью согласен» до «полностью не согласен». Сумма оценок каждого отдельного суждения позволяет выявить установку испытуемого по какому-либо вопросу. Однако порядок задан внутри шкалы для одного человека, а не между людьми. По этой причине, пятерка, поставленная одним респондентом, не соответствует большему значению какого-либо критерия, чем четверка другого. Да и в сознании одного человека порядок может не существовать − центральный пункт оценивания может означать что угодно, а крайние значения приобретают особый эмоциональный смысл. Некоторые эксперты или избегают их выбирать или, наоборот, пользуются слишком часто. Нередко балл, находящийся рядом с экстремальным, имеет больший вес на шкале и это сразу заметно гистограмме оценок по критериям.

Еще один способ оценивания – расстановка оцениваемых объектов по местам. Такая упорядоченная расстановка называется ранжировкой. Руководители экспертизы могут разбить всю совокупность объектов на отдельные классы или подмножества по каким-либо признакам. В этом случае речь больше идет о классификации объектов. Примером ранжировки может служить разбиение перед соревнованиями спортсменов или команд на группы по территориальному или игровому признакам. Возможно также попарное сравнение оцениваемых объектов, при котором эксперт сообщает какое из двух сравниваемых объектов, по его мнению, предпочтительнее другого.

Суждением, сообщаемым нам экспертом, будет оценка в баллах или их расшифровка. Такое суждение называют отношением. Задача, стоящая перед группой экспертов, заключается в выборе такого отношения, которые в том или ином смысле, в зависимости от ситуации, является средним из отношений, предложенных всеми экспертами.

Средняя оценка группового отношения может быть определена по методу американского математика Джона Кемени, получившему название «метод поиска медианы Кемени». Следует отметить, что медиана Кемени – единственное результирующее, строгое ранжирование, являющееся нейтральным, согласованным и кондорсетовым.

Медиана Кемени удовлетворяет принципу выбора Кондорсе, не приводя к парадоксу Кондорсе (ситуация, когда разные эксперты голосуют абсолютно противоположным способом и выбрать решение не представляется возможным). На практике это означает, что использование медианы Кемени – наиболее справедливый и объективно честный способ выбора решения с помощью группового решения экспертов. Однако он более затратный, чем простое оценивание или ранжирование – для выбора победителей необходимо каждый раз решать нелинейную задачу, что требует автоматизации процесса экспертизы.

Стоит отметить и методы организации и проведения экспертиз Делфи и PATTERN, но они еще более затратны и сложны в организации при схожем уровне качества предоставляемого решения.

Наиболее приемлемые способы организации экспертного выбора собраны в таблице на рисунке ниже и ранжированы по степени сложности их организации (и необходимым усилиям для проведения экспертных мероприятий). В качестве факторов, по которым производилась оценка, были выбраны: использование единства мнений, возможность сравнения экспертов между собой, возможность исключения взаимного влияния экспертов, наличие методов проверочной работы, возможность указания на конфликт интересов, защита от общественного давления на объективность выбора.

expert-compare-tab

Так что же всё-таки выбрать?

Обобщив полученные результаты, можно утверждать, что в качестве способа оценки качества экспертного выбора вполне применим анализ единства мнений экспертов, дополненный оценкой качества работы каждого из экспертов. На основе последнего можно рекомендовать замену отдельных экспертов в экспертных жюри и осуществлять контроль за влиянием личных и групповых интересов на качество экспертных процедур. Частая ротация состава экспертной комиссии относительно экспертов, использующих своё положение для лоббирования отдельных проектов, позволяет избежать воздействия всей совокупности рассмотренных негативных факторов.

Имитация замещения

Имитация замещения

Перепечатка в «Независимой газете» мнения Пола Кругмана о том, что знания более никому не нужны и обсуждать их интеллектуально более не с кем, выглядит довольно цинично, если не сказать, что полна разочарования.

Региональный корпус экспертов в России (и неважно экономисты они или физики, а может быть, биологи) испытывает те же самые чувства.

Продолжить чтение «Имитация замещения»

МакКинси: четыре старых проблемы, любая из которых делает экономические прогнозы бесполезными

МакКинси: четыре старых проблемы, любая из которых делает экономические прогнозы бесполезными

а сколько шпаг у нас четыре
а бёдер семь а пальцев сто
давайте с самого начала
мы кто

Нестер Пим

Аналитики из МакКинси едят свой хлеб не напрасно, их всегда приятно читать. Один из их прошлогодних материалов относительно роли региональных правительств в успехе кластерной политики вообще можно считать практическим руководством к действию, а вот в апреле они выпустили довольно необычный для себя материал.

forglobalbreakingtrends-1 forglobalbreakingtrends-2 forglobalbreakingtrends-3 forglobalbreakingtrends-4

Весь инфобизнес строится на подтверждении своих собственных прогнозов, здесь же темой выбраны четыре направления глобальных изменений, которые, наоборот, должны указать нам о несостоятельности существующего экспертного корпуса:

  1. Стремительная урбанизация (ой, мне одному кажется, что черно-красные цвета инфографики выбраны из-за желания сделать акцент на Китае?).
  2. Сокращение времени внедрения инноваций (Китай? Нет, не слышали…).
  3. Старение населения (тут есть все и Китай тоже — их экономика стареет даже быстрее, чем в Европе и это для них не менее реальная угроза, чем для остальных).
  4. Усиление глобализации и коммуникационной связности (тут Китая формально нет из-за их стены, но если подумать об Alibaba, биткоинах и остальном…).

Попросту говоря, есть четыре достаточно случайных процесса с тяжелым характером, которые коснутся всех и каждого. При этом они не дружат между собой и от того превращают любые долгосрочные прогнозы в жонглирование горящими булавами.

Красный цвет инфографики навевает на меня параноидальные мысли о том, что стратеги нового мирового порядка сейчас пристально изучают китайского соседа. Нам бы так.

Вопрос напоследок: отметьте для себя, попадает ли Россия в тренды, в какие и хорошо ли это?