Вопросы лекции

Предпосылки экспертных оценок

История экспертных оценок

Формирование модели

Методы эвристического моделирования

4.1. Матричные методы

4.2. Графовые методы

4.3. Иерархия факторов

4.4. Свойства модели

4.5. Управление качеством модели

5. Постановка экспертного опроса

6. Способы оценивания экспертных оценок

1. Предпосылки экспертных оценок

В теории и практике современного управления можно выделить следующие категории задач: анализ, оценка, прогнозирование, оптимизация, планирование, выбор и т.д. Состояние точных наук сегодня позволяет для каждой из них выполнить четкую математическую постановку и перечислить формальные методы их решения.

Использование математических моделей позволяет воспроизвести реальный мир (или хотя бы его часть – объект управления или систему управления). Однако модель на практике может оказаться не такой адекватной, как хотелось бы и не всегда может отразить все многообразие реальной жизни, проявления которой гораздо сложнее, чем мы о ней думаем. Основной причиной сложности является ограниченность наших знаний о мире (трактование сложности как степени нашего незнания предложено Пригожиным И., определившего сложную систему как систему, поведение которой может быть для нас неожиданным и для которой у нас нет адекватной модели).

Сложность реальных задач проявляется в следующем.

Многообразие факторов. Всякое моделирование предполагает идентификацию конечного множества объектов (элементов системы), их свойств и действующих в задаче факторов. При этом неизвестно сколько факторов мы упустили.

Качественная природа. Часто факторы и свойств объекта невозможно измерить и количественно оценить.

Случайный характер. Нечеткие множества и неучтенные факторы в модели являются источниками случайного характера практически всех реальных анализируемых процессов. Случайная составляющая присутствует везде.

Нечеткость критериев. Недостаток информации и неопределенность модели рождают еще одну задачу – размытость цели. Если представления о цели нечеткие возникает проблема сформулировать четкие критерии, особенно, если ожидаемый результат оценивается приблизительно, а решаемая задача связана с риском.

Высокая стоимость. Перечисленные трудности можно преодолеть, но это требует больших трудозатрат, привлечения высококвалифицированных специалистов, вложения значительных средств и длительного времени.

Все перечисленные моменты – не проблема для человека, действующего на основании собственных неформальных знаний, опыта и интуиции. Только человек способен к решению нечетко сформулированных задач, генерированию идей, созданию абстрактных образов, предвидению неучтенных событий, действию в условиях неполной и недостоверной информации.

История экспертных оценок

Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Научные методы экспертных оценок получили развитие во второй половине ХХ века.

Первые шаги – 1930 год – группа американских психологов разработала методы экспертной оценки исследования влияния заинтересованности эксперта на характер суждения о будущих общественно-политических событиях.

В послевоенное время толчком развития экспертных методов послужили многочисленные работы, связанные с системным анализом сложных проблем (метод Дельфы). Первое практическое применение этого метода к решению задач оценки систем оружия Министерства Обороны США было сделано корпорацией RANDв 1947 году. Идеи этого анализа использовались в 1952 году при разработке сверхзвукового бомбардировщика В-58, стратегических ракетных систем и систем противовоздушной обороны.

В гражданской области задачами экспертного анализа явились:

выработка политики в области использования водных ресурсов;

исследование сверхзвуковой транспортной авиации;

исследование развития атомного торгового флота;

анализ стратегии строительства атомных электростанций в Европе.

Значительный вклад в теорию экспертных оценок сделан М Кендэллом, опубликовавшим в 1955 году монографию, посвященную применению метода ранговой корреляции для анализа экспертных оценок.

Появились в середине 60-х годов основанные на экспертных оценках методы решения сложных проблем, таких, как распределение ресурсов. Наиболее известными среди них являются PATTERNиQUEST.

Основные классы современных задач , в решении которых используются экспертные оценки.

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - это специалист, компетентный в решении конкретной задачи (от латинского слова expertus - опытный). Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.

Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. - это решения, принимаемые экспертными методами. При использовании экспертного метода важны следующие факторы: компетентность экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых кроме нижнего и верхнего имеется средний (удовлетворительный) уровень.

Экспертный метод может использоваться при формировании общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертного метода следующие:

оценка нормативных документов на продукцию;

обобщенная оценка качества продукции;

классификация оцениваемых товаров;

определение номенклатуры показателей качества оцениваемой продукции;

определение коэффициентов весомости показателей качества:

выбор базовых образцов и определение значений базовых показателей качества;

измерение и оценка показателей качества с помощью органов чувств (органолептически);

оценка единичных показателей, значения которых определены измерительным или расчетным методами;

идентификация продукции;

определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);

оценка конкурентоспособности продукции;

сертификация продукции.

Экспертный метод не используется, если качество можно оценить другими методами с большей точностью или с меньшими затратами.

Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов. Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание:

истории развития оцениваемой продукции, изменение ее свойств и показателей качества;

условий проектирования (конструирования) и производства (переработки) продукции;

значений показателей качества отечественных и зарубежных аналогов;

перспектив развития продукции, отраженных в научно-исследовательских работах, патентах, конструкторских разработках;

требований потребителей, условий и характера потребления (эксплуатации) и утилизации.

Квалиметрическая компетентность предусматривает четкое понимание подхода к оценке качества товаров, методов оценки качества, вопросов построения и применения оценочных шкал, определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.

Квалификация эксперта определяется не только знанием предмета обсуждения, но и умением высказывать четкие, однозначные суждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и т.д., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.

При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и организации, в которой формируется группа, но в группе должно быть не менее 7-12 чел. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15 - 20 экспертов.

Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.

В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.

При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества, при этом желательно начинать оценку с уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.

При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:

признак, по которому любой комплексный показатель делится на п показателей ниже расположенного уровня (классификационный признак), должен быть единым для всех п показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);

определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;

если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;

число показателей качества, входящих в однородные группы: на одном уровне номенклатуры показателей качества, не должны резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на первом уровне расположено три показателя (S = 1, 2, 3), на втором уровне каждый из них состоит из некоторого числа показателей - соответственно q , I, р. Желательно, чтобы выполнялось условие q I р или чтобы эти числа были достаточно близкими.

Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.

Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.

После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:

в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);

в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);

следует вычеркнуть показатели, которые можно считать маловажными и одновременно дополнить номенклатуру показателями, достаточно важными;

номенклатура показателей качества составлена правильно.

Мотивы своих действий эксперт записывает на отдельном листе, приложенном к номенклатуре, или излагает техническому работнику, который заполняет этот лист.

После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.

Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, ранг 2 - следующему по важности и т.д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не выполнять.

Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10... 15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.

Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.

На сборе экспертной группы проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты фиксируют в документах значения коэффициента весомости показателя качества и переходят к обсуждению следующего показателя.

По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.

Значения коэффициентов вариации определяются: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т.д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V < 0,10 - согласованность высокая; V= 0,11 ...0,15 - согласованность выше средней; V=0,16...0,25 - согласованность средняя; V= 0,26...0,35 - согласованность ниже средней; V > 0,35 - согласованность низкая.

Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективными и объективными. К субъективным относятся: недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибки экспертов и т.д.

Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.

Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшился (или улучшился незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.

Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов, выявить истинное мнение каждого эксперта, не стремиться сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой «неблагополучия» во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.

Дина Соловьева

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.

Маркетинговые явления и процессы в большинстве своем относятся к слабоструктурированным системам, которые невозможно однозначно описать и формализованно исследовать. При анализе и прогнозировании такого рода систем не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.

Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может "разложить их по полочкам", так и "мягкоформализованными", основанными на гибких алгоритмах.

Разумеется, экспертиза может быть реализована самим маркетологом-аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:

Отбор квалифицированных экспертов;

Выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе - экспертов между собой;

Определение метода обработки и интерпретации информации, полученной от экспертов.

Выбор экспертов

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

· уровень и профиль образования,

· профиль работы (связь с данной предметной областью),

· опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),

· уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),

· количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.

2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:

· коммуникативные навыки,

· способность к совместному творчеству,

· гибкость ума и "незашоренность" взгляда,

· нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.

3. Оценка экспертов независимыми специалистами.

4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

Индивидуальные методы экспертизы,

Групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.

2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.

3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:

Обсуждающие группы (основная цель работы аналитическая),

Созидательные группы (основная цель креативная).

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

1. Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2. Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3. Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4. Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

5. Экспертное фокусирование. Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, "фокусируются" на ней. Основная цель - выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего "бреда".

6. Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.

7. Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

8. Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

9. Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".

10. "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

11. "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

12. Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо".

Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

1. Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

3. Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.

Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, - это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

Правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

Правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые "узкие места". Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и "качестве" и проведения опроса.

2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.

3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.

4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).

5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.

Кадры