Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно- экономических объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов. Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.
Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.
1-й этап использования данного метода - формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:
- компетентность (степень квалификации в определенной области знаний);
- креативность (способность решать творческие задачи);
- конформизм (подверженность влиянию авторитета, неустойчивость собственного мнения);
- аналитичность и широта мышления;
- конструктивность (способность формировать конкретные предложения);
- самокритичность эксперта; отношение к экспертизе.
Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.
Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.
Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).
Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.
2-й этап применения экспертного метода - проведение экспертизы. Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.
При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.
Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».
Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода - тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение. Достоинство дельфийского метода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.
3-й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).
Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов - для отображения величины различий между свойствами объектов. Шкала отношений - для отражения отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.
Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.
При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.
Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.
Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в сле-дующих случаях:

а) в условиях отсутствия достаточно представительной и досто-верной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное исполь-зование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в кос-мосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробио-логическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоре-тической основы развития объекта. Степень достоверности экспер-тизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими собы-тиями. Существует две категории экспертов - это узкие специали-сты и специалисты широкого профиля, обеспечивающие формули-рование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди опреде-ленной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих спо-собностью к дерзанию и воображению.

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализован-ном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Усло-вия необходимости и достаточности отнесения специалиста к кате-гории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности эксперт-ной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогноз-ной оценки и надежностью класса тех гипотез, которыми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечис-лим некоторые требования, которым должен удовлетворять эксперт:

1) оценки эксперта должны быть стабильны во времени и транзи-тивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в дан-ной области знаний.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида -- как случайные. Эксперт, склонный к ошиб-кам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррек-ции систематических ошибок можно применять поправочные коэф-фициенты или же использовать специально разработанные трени-ровочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при выне-сении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программиро-ванной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или сво-бодное изложение по заданной теме).

Программирование формы работы эксперта предполагает:

построение граф-модели объекта на базе ретроспективного ана-лиза; определение структуры таблиц экспертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспер-тизы; определение типа и формы вопросов в ТЭО или в интервью;

определение типа шкалы для вопросов в ТЭО; учет психологиче-ских особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; разработка логи-ческих приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация стимуляции работы эксперта состоит в разработке:

эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразглашения всех научно-технических идей, выдвигаемых им в процессе экспертизы;

форм моральной, профессиональной и материальной заинтересо-ванности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).

Исходя из полученной в результате анализа модели объекта прогнозирования, определяются научные и технические направле-ния, по которым необходимо привлечь эксперта, выделяются группы экспертов по принадлежности вопроса к области фунда-ментальных, прикладных наук или к стыковым научным направ-лениям.

При решении задачи формирования экспертной группы необхо-димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выби-рается любой специалист, имеющий несколько публикаций в дан-ной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнози-руемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Определение специфики процедур для методов класса ПЭО (персональных экспертных оценок) осуществляется на основе ана-лиза требований к экспертам и их оценкам, вытекающим из сущно-сти методов:

а) аналитические записки предъявляют требования структуризации экспериментируемой проблемы, экспликации и ранжирования целей, анализа альтернативных путей достижения цели, оценки затрат на каждую альтернативу и рекомендаций по наиболее эффективным способам решения проблем;

б) парные сравнения, нормирование и ранжирование требуют одно-родности оцениваемых признаков, наличия логически обоснованных критериев и эталонов, наличие однозначно определенных процедур оперирования с критериями, эталонами и признаками;

в) интервью предъявляют специфические требования как к экспер-ту, так и к интервьюеру;

г) морфологическая структуризация требует четкого определения функциональных характеристик объекта или проблемы, которые необходимо улучшить, классификации научных принципов, на основе которых возможно улучшение характеристики; анализа все-возможных комбинаций этих принципов и отсева заведомо абсурдных; оценки комбинаций по степени осуществимости и затрат на их реализацию; сравнения комбинаций по комплексному критерию «затраты -- эффективность -- время».

1. Понятие метода экспертных оценок

2. Области применения методов экспертной оценки

3. Этапы организации экспертизы

4. Требования, предъявляемые к экспертам

1. Метод экспертных оценок - метод анализа и обобщения сужде­ний и предположений с помощью экспертов. Данный метод используют, когда рациональные математические методы ма­лоэффективны при решении проблем. Производится интуи­тивно-логический анализ проблемы с последующей количе­ственной оценкой суждений и формальной обработкой ре­зультатов.

Решаемые проблемы могут быть условно разделены:

На проблемы, обеспеченные информацией;

Проблемы, по которым наблюдается недостаток информации. Данные методы особенно эффективны в условиях:

Большой неопределенности среды, в которой функционирует исследуемый объект;

Дефицита времени и в экстремальных ситуациях;

Отсутствия надежной теоретической основы.

2. Методы экспертной оценки применяют при решении следующих задач:

Составления перечня возможных событий в различных облас­тях за определенный промежуток времени;

Определения наиболее вероятных интервалов времени совер­шения совокупности событий;

Определения целей и задач управления с упорядочением их по степени важности;

Определения альтернативных вариантов решения задач с оцен­кой их предпочтительности;

Альтернативного распределения ресурсов для решения задач с оценкой их предпочтительности;

Альтернативных вариантов принятия решений в определенной ситуации с оценкой их предпочтительности.

3. Процесс организации экспертизы может быть разделен на сле­дующие этапы:

составление руководящего документа . В нем указываются ос­новные положения проведения экспертизы:

Задачи по ее выполнению;

Состав и обязанности рабочей группы и группы экспертов;

Ресурсы, необходимые для обеспечения работ, и сроки вы­полнения работ;

подбор рабочей и экспертной групп . Две группы принимают уча­стие в проведении экспертизы:

рабочая группа, которая состоит из организатора, специали­ста -системотехника и технического работника;

. экспертная группа , т. е. группа, мнения экспертов которой станут основой принятия будущих решений;

разработка методики проведения опроса (при необходимости). На данном этапе определяются: место и время проведения оп­роса; задачи; форма проведения; порядок фиксации и сбора результатов; состав необходимых документов. В зависимости от имеющегося времени на проведение экспертизы, сложности рассматриваемой проблемы, участвующих специалистов можно выделить следующие формы проведения опроса:

. индивидуальный - максимально используются способности и знания каждого специалиста;

. групповой (коллективный) - позволяет экспертам обмени­ваться мнениями и на их основе скорректировать свою оценку. Но при данном методе опроса может проявиться сильное влияние авторитетов на специалистов;

. личный (очный) - опрос осуществляется при непосредствен­ном контакте, например интервьюера и эксперта;

. заочный - одним из распространенных примеров данного метода опроса является пересылка анкет. Здесь нет прямого взаимодействия между интервьюером и экспертом;

. устный - например, интервью;

письменный - например, заполнение анкеты;

открытый - процесс опроса и его результаты могут быть изучены другими экспертами;

скрытый - высказанные идеи и решения экспертов являют­ся тайными;

разработка методики обработки данных опроса . Обработка данных опроса экспертов может быть осуществлена 2 способами:

Проверкой согласованности мнений экспертов (или класси­фикацией экспертов, если нет согласованности);

. усреднением мнений экспертов внутри согласованной группы;

оформление результатов работы. Осуществляется анализ ре­зультатов, полученных в результате проведения экспертизы, на основе которого составляется отчет. После обсуждения и ут­верждения полученных результатов итоги проделанной работы предоставляются заказчикам экспертизы.

4. При формировании экспертной и рабочих групп необходимо предъ­являть следующие требования к экспертам:

Выдвигаемые экспертами оценки должны быть стабильными во времени;

При введении дополнительной информации экспертная оценка дол­жна улучшаться, но она не должна принципиально изменяться от первоначально сформулированной оценки;

Эксперт должен быть признанным специалистом в изучаемой области знания;

У эксперта должен быть опыт участия в подобных экспертизах;

Мнения экспертов должны быть устойчивыми. Устойчивость оп­ределяется характером ошибок, которые могут допустить эксперты во время проведения экспертизы. В связи с этим выделяют 2 вида ошибок:

систематические , которые характеризуются устойчивым по­ложительным или отрицательным отклонением от истинного значения;

. случайные , когда выдаваемые значения экспертов характери­зуются большой дисперсией.

Синектика как метод исследования систем управления

1. Понятие «синектика»

2. Особенности метода синектики

3. Этапы проведения метода синектики

4. операторы синектики

1. Синектика (в переводе с греч.) - это сочетание разнородных, а иногда даже несовместных элементов . Метод "синектика" как метод поиска новых решений предложил У. Гордон в США в 1961 г . в своей книге "Синектика: развитие творческого вооб­ражения" с целью увеличения вероятности успеха в процессе постановки и решения задач.

Основная идея данного метода состоит в том, что во время творческой активности при создании особых условий человек вы­двигает неожиданные аналогии и ассоциации относительно ис­следуемой проблемы. Под творческий активностью понимается умственная деятельность в процессе решения проблем, резуль­татом которой является художественное или техническое от­крытие. Другими словами, человек приходит к решению путем включения бессознательных механизмов в процесс сознательного исследования проблем. Идея метода "синектики" как метода исследования систем управления заключается в создании спе­циальной, постоянной "группы синекторов" (5-7 человек) для выявления, постановки и решения проблем, возникающих при функционировании систем управления.

2. Метод синектики имеет следующие особенности:

подход к принятию решения состоит в том, что выдвинутая идея - законченная, целостная мысль, автором которой явля­ется индивид, который ее высказал. Целостная идея может быть принята окружающими или отвергнута, но никто другой не имеет права на ее авторство. Но другие члены группы могут прийти к иной мысли на основе данной идеи, высказывание которой может привести к проявлению в памяти метафор, об­разцов, смутных ощущений, действующих на чувства и интуи­цию человека;

творческая активность синекторов обеспечивается тем, что группа влияет на творческую активность каждого синектора таким образом, что в процессе выдвижения новых идей инди­виды пытаются превзойти самих себя, использовать нестан­дартные подходы принятия решений и взять на себя наиболь­шую часть трудностей;

отбор членов группы осуществляется при учете эмоционального типа индивида, который определяется следующими характери­стиками:

Пытается ли он сразу докопаться до сущности проблемы или же ходит вокруг да около;

Ведет ли он себя пассивно перед лицом неминуемого пора­жения или же настойчиво стремится добиться успеха;

Когда он не прав, связывает ли он это со своими действия­ми или оправдывается, ищет причины вовне;

. может ли он использовать эффективно свою интеллектуаль­ную энергию в трудных ситуациях или опускает руки в са­мый критический момент;

наличие "адвоката дьявола": в связи с тем, что "группа синек-торов" складывается из профессионалов различных областей знаний с целью исследования проблемы с различных точек зрения, она не может знать все. Поэтому в зависимости от ха­рактера исследуемой проблемы в ее состав входит "адвокат дья­вола"-эксперт в области исследуемой проблемы. К его функциям относится:

Перевод специфической терминологии своей области знаний в общедоступную;

. перевод выдвинутых идей в терминологию своей специ­альности;

. раскрытие и отклонение слабых сторон предложенных по­дходов;

Раскрытие особенностей его области знаний перед группой;

реализация выдвинутых идей: идеи, выдвинутые синекторами в процессе исследования проблемы, должны быть практически реализованы. Синекторы также участвуют в процессе реализа­ции выдвинутых ими идей.

3. Метод синектики состоит из следующих этапов:

Постановка задачи;

Перевод задачи, "как она поставлена", в задачу, "как она пони­мается";

Выявление вопроса, вызывающего аналогии;

Работа по поиску аналогий;

использование аналогий, среди которых:

Прямая аналогия;

. символическая аналогия;

. личностная аналогия;

. фантастическая аналогия;

Поиск возможностей перевода найденных аналогий и образов в предложения по решению поставленной задачи.

4. Операторы синектики - конкретные психологические факторы, которые способствуют творческому процессу, они предназначе­ны для активизации вовлеченности, эмпатии, игры и т. д.

Синектика состоит из двух основных процессов:

превращение неизвестного в известное: решение каждой про­блемы начинается с ее понимания, т. е. происходит сведение новой проблемы к уже известной с целью уменьшения ее угро­зы для человека (каждая новая вещь угрожает человеку в силу его консерватизма). Первоначально объяснение новой пробле­мы дается в рамках привычной модели;

превращение известного в неизвестное: известное переосмысли­вается, искажается в зависимости от новой проблемы. В по­вседневной нашей жизни одни и те же предметы неодинаково представляются разным людям. Превращение известного в неиз­вестное осуществляется при помощи 4 механизмов:

личной аналогии - личная идентификация исследователя с элементами проблемы, для которой необходимо исследова­телю обладать творческим воображением и искусством ис­следовательской деятельности. Такая аналогия помогает увидеть неизвестные ранее аспекты проблемы;

прямой аналогии - перенос параметров сравнения с одного объекта на другой из параллельно существующих областей знаний, технологий. Прямая аналогия требует от исследователя наличия образования, многостороннего знания, разно-профильной подготовки;

символической аналогии - основана на описании проблемы при помощи использования объективных и неличных обра­зов, т. е. суть проблемы или ее решение описывается краткой метафорой, которая, с одной стороны, является характери­стикой проблемы, а с другой - противоречием. Например, выставка - организованная случайность; прохладительный напиток - прозрачный призрак; книга - немой собеседник;

фантастической аналогии - использует свободу при исполь­зовании символов. При помощи использования фантастиче­ской аналогии исследователь может увидеть неожиданное решение проблемы, которое не может быть найдено в ре­альном мире в силу существования противоречащих объек­тивных законов.

Метод "Дельфи"

1. Определение понятия метода «Дельфи»

2. Этапы проведения метода «Дельфи»

3. Достоинства метода «Дельфи»

1. Метод "Дельфи" - один из методов экспертных оценок, при помощи которого осуществляется быстрый поиск решений, сре­ди которых выбирается наилучшее . Другое его название - "дельфийский оракул", которое он получил в Древней Греции. Данный метод был разработан О. Хельмером и его коллегами, первоначально он был создан с целью научно-технического прогнозирования будущего. В основе его лежит принцип по­вышения уровня достоверности информации, получаемой от группы экспертов, т. е. коллективных экспертных оценок.

Экспертный метод оценки

Применение экспертного метода

Применение экспертного метода предполагает соблюдение следующих условий:

Экспертная оценка проводится только в случае, когда нельзя использовать для решения вопроса более объективные методы;

В работе экспертной комиссии не должно быть факторов, влияющих на искренность суждений экспертов, мнения экспертов должны быть независимы, вопросы, поставленные перед экспертами, не должны допускать различного толкования;

Эксперты должны быть компетентными в решаемых вопросах;

Количество экспертов должно быть оптимальным;

Ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Способы формирования экспертных групп следующие:

1 Способ назначения . Члены экспертной группы назначают ответственного лица (руководителя предприятия, главного и т. д.) по приказу которого проводят сертификацию. Решение выработанное экспертом группы будет являться достаточно авторитарным как для руководителя так и для других лиц, использующих результаты сертификации. Этот способ, когда на данном предприятии впервые проводят групповую экспертизу и организатору необходимо обезопасить результаты от возможной критики со стороны других лиц;

2 Способ взаимных рекомендаций . Вначале опрашивают 1 специалиста по рассматриваемой проблеме. При этом он называет других лиц, которые по его мнению должны войти в состав экспертной комиссии. Эти специалисты вновь должны назвать возможных экспертов, включая рекомендации (при этом соблюдается анонимность рекомендаций). Постепенно круг замыкается. Опыт показывает, что при использовании данного способа в группу попадают специалисты достаточно успешно работающие над данной проблемой, независимо от служебного положения. Этот способ удобен при анализе очень узких специальных проблем.

3 Способ последовательных рекомендаций . Круг специалистов по анализируемой проблеме (эксперт) должен указывать условия при которых проблема может быть решена а он лично может взять на себя ее решение. После этого как эти условия будут установлены, эксперт называет лица, которые могли бы обеспечить достижение указанных им промежуточных целей. В свою очередь эти лица выступающие в качестве экспертов во втором туре опроса, когда выясняют условия достижения промежуточных целей и определяет лиц, которые могут обеспечить достижение промежуточных целей второго уровня.

4 Документационный способ. Этот способ отбора экспертов по их объективным характеристикам. Стаж работы, должность, ученая степень и т. д. Применяется достаточно часто и целесообразно в тех случаях, когда необходимо выяснение мнений группы специалистов.

5 Способ тестирования. Экспертов отбирают из некоторой совокупности возможных экспертов по результатам выполнения ими сертификационных тестов. Данный способ целесообразно применять в тех случаях, когда в дальнейшем отобранным экспертам придется многократно решать однотипные и узкоспециализированные задачи.

Основные требования предъявляемые к эксперту: компетентность, деловитость, заинтересованность в участии экспертной комиссии и объективность.

Компетентность экспертов подразделяется на профессиональную и квалиметрическую.

Под профессиональной компетентностью подразумевают знания различных способов проектирования и производства продукции.

Под квалиметрической компетентностью подразумевают обеспечение немного понимания экспертов, принципов и методов оценки качества продукции. Она предполагает знания методов оценки качества продукции и практическое умение пользоваться ими и использовать разные типы оценочных шкал.

Под деловитостью эксперта подразумевают собранность, способность быстро переключаться с оценки одного на оценку другого, контактность, умение работать с людьми в конфликтных ситуациях, оперативность, обоснованность и мотивация.

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.

Маркетинговые явления и процессы в большинстве своем относятся к слабоструктурированным системам, которые невозможно однозначно описать и формализованно исследовать. При анализе и прогнозировании такого рода систем не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.

Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может “разложить их по полочкам”, так и “мягкоформализованными”, основанными на гибких алгоритмах.

Разумеется, экспертиза может быть реализована самим маркетологом-аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:

• отбор квалифицированных экспертов;
• выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе – экспертов между собой;
• определение метода обработки и интерпретации информации, полученной от экспертов.

Выбор экспертов

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос “Кто может выступать в качестве эксперта по данной проблеме?”), во-вторых, определить процедуры отбора (ответить на вопрос “Как установить соответствие эксперта необходимым требованиям?”). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:
   • уровень и профиль образования,
   • профиль работы (связь с данной предметной областью),
   • опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),
   • уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),
   • количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.
2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).
3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
   • коммуникативные навыки,
   • способность к совместному творчеству,
   • гибкость ума и “незашоренность” взгляда,
   • нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

• индивидуальные методы экспертизы,
• групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем “самозаполнения”. В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований – использование общепринятого профессионального языка, однозначность трактовки используемых терминов.
2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса – неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.
3. Метод “индивидуального блокнота”. Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:

• обсуждающие группы (основная цель работы аналитическая),
• созидательные группы (основная цель креативная).

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название “конференции идей”, его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и “бредовыми”. Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

Метод “635”. Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

Критическая атака (“разносная” атака) . Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие – в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора – отстоять свою версию решения, задача оппонентов – “разнести ее в пух и прах”. По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

Экспертное фокусирование . Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, “фокусируются” на ней. Основная цель – выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего “бреда”.

Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования – стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число “точек согласия” и прийти к консенсусу.

Метод интеграции решений . Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации – либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

Деловая игра . Метод может быть реализован в разных формах. Наиболее распространенная форма – моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры – достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия – разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

Метод “суда”. Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется “процесс над проблемой”. Выбираются “адвокат”, “прокурор”, “суд”, “присяжные” и др. участники “процесса”. Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование “присяжных” и конкретизация решения “судьями”.

“Консилиум”. Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются “симптомы” проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится “диагноз”, и дается прогноз развития ситуации.

“Коллективный блокнот” . Метод в основе своей аналогичен “индивидуальному блокноту”, однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска “потерять лицо”.

Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

Коллективный блокнот – ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

Групповое обсуждение (фокусирование, мозговой штурм и т.п.) – совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

Опрос по методу Дельфи – оценивание явления в рамках выбранной гипотезы.

Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, – это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

• правило большинства – выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);
• правило авторитета – выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан “вес”, учитывающий его уровень компетентности);
• правило средней оценки – мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, “извлечь” и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые “узкие места”. Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и “качестве” и проведения опроса.
2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.
3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.
4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).
5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.

Доверенности