Технология экспертной оценки качества. Экспертная оценка качества или качественная оценка экспертов
Экспертные оценки часто возникают на практике, например, при дегустации продуктов питания. Вообще они типичны для социологических опросов, например, менеджер по контролю качества проводит опрос покупателей в супермаркете. При использовании экспертного метода для оценки качества часто используется шкала порядка. Решается вопрос сравнеия по принципу "лучше хуже", "больше меньше". Более подробная информация о том, во сколько раз лучше или хуже часто не требуется.
Попарное сравнение (объекты сравниваются друг с другом попарно). При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления . В таб. 1 приведен пример ранжирования шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация - 0.
Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таб. 1, будет иметь вид:
Q4 Если использовать несколько экспертов, то можно получить более точный результат. Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним. Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее (не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами. Так появилась двенадцатибальная шкала интенсивности землетрясений MSK - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса. Номер объекта
Итог
Таблица 1. Ранжирование шести объектов путем попарного сравнения
Таблица 2. Шкала Мооса
Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения. При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений. Тестирование
состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок. Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации: где S
- сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
Коэффициент конкордации изменяется в диапазоне 0<W
<1, причем 0 - полная несогласованность, 1 - полное единодушие. Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare
- привести в соответствие, упорядочить). Номер объекта экспертизы Оценка эксперта Сумма рангов Отклонение от среднего Квадрат отклонения Таблица 3. Данные для оценки согласованности мнений пяти экспертов
Оцениваем среднеарифметическое число рангов: Q ср
= (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20. Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации: W
= 12 * 630 / 25 * (343 - 7) = 0,9. Много это или мало? Если провести соответствующие вычисления в STATISTICA
, то можно получить следующую таблицу результатов: Рис. 1. Результаты проведения анализа в STATISTICA
Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014. Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений. Количество экспертов n
, обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx
Эксперт - специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений. Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он. Таким образом, формирование состава экспертной комиссии зависит от: · конкретной ситуации принятия решения; · возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов; · возможностей специалистов принять участие в работе экспертной комиссии. Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений. При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы: · априорные; · апостериорные; · тестовые. Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах. Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах. Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания. Априорные методы оценки эксперта.
К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы: · самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной); · самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание; · самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы; · самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.). В этом случае комплексная самооценка эксперта рассчитывается по формуле: К
к = (К
и + ß К
з) / 2, где К
к - комплексная самооценка эксперта, К
и - коэффициент информированности (в долях единицы), К
з - коэффициент знакомства с проблемой, ß - весовой коэффициент. Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме. Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности. К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков. К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы. Апостериорные методы оценки.
Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность. Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов. Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки.Этот метод основан на расчете коэффициента отклонения - Ко. К
oi
= D oi
/ D
max , где К oi
- коэффициент отклонения суждений i-го эксперта, D oi
- отклонение индивидуальной оценки i-го эксперта от результирующей оценки, D
max - максимально возможное отклонение оценки эксперта от результирующей оценки. Тестовые методы оценки качеств эксперта.
Их суть - выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил: · тест должен быть разработан специально под конкретные объекты экспертной оценки; · истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту; · должна быть разработана шкала для определения точности оценок, даваемым экспертом; · вероятность случайного угадывания истинной оценки должна быть очень мала. Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии. Механизм
потребительского выбора достаточно
консервативен, поскольку базируется,
как правило, на использовании только
того, что уже хорошо себя зарекомендовало.
В значительной степени он ориентирован
на прошлое, чем на возможное будущее. В условиях рынка
основой оценки качества продукции
должна стать объективная общественная
полезность продукции, что будет отражать
ее прогрессивность и соответствие
чертам нового быта. Одним из методов,
который может обеспечить именно такую
оценку продукции, может стать экспертный
метод. Экспертный
метод
оценки
качества продукции предусматривает
выяснение мнения экспертов. Эксперт
– это квалифицированный специалист,
который соответствует требованиям
профессиональной и квалиметрической
компетентности, деловитости и
объективности, а также заинтересованный
в работе экспертной комиссии. Использование
экспертных методов рационально при
наличии одной из двух причин: задание не может
быть выполнено никаким другим методом; другие методы
выполнения задания или менее точные,
или более трудоемкие. Экспертные методы
совместно с другими или самостоятельно
могут быть использованы для: классификации
продукции; определения
номенклатуры показателей качества
продукции; определения
коэффициентов весомости отдельных
показателей качества; выбора базовых
образцов продукции и определения
значений отдельных показателей качества
этих образцов; определение
органолептических показателей качества
оцениваемой продукции; определение
комплексных показателей качества
продукции. Привлечение к
работе в экспертных комиссиях
высококвалифицированных экспертов
позволяет получить точную и воспроизводимую
оценку качества товаров. Проведенные
эксперименты подтверждают, что при
правильной методике экспертной оценке
ошибка результатов находится в пределах
5–10 %, и ее целиком можно сопоставить с
результатами инструментальных методов. Для оценки качества
продукции экспертным методом создаются
экспертные комиссии. Порядок создания,
цели и задания такой комиссии определяются
приказом или распоряжением руководителя
министерства, ведомства, объединения,
фирмы. Общий алгоритм операций создания
и работы экспертной комиссии, которая
использует методы группового опроса,
приведен на рисунке 7.1. Работа экспертной
группы заканчивается статистической
обработкой экспертных оценок, их
анализом и принятием обоснованных
решений. Основные преимущества
групповой экспертной оценки заключается
в возможности разностороннего анализа
проблем, связанных с определением
отдельных характеристик товара.
Взаимодействие между экспертами
увеличивает объем суммарной информации
по сравнению с информацией каждого
члена группы. При групповой оценке
меньше вероятность ошибки конечного
результата работы. В большинстве случаев
групповая оценка более надежная, чем
оценка каждого эксперта в отдельности. Рабочая группа
готовит и проводит экспертную оценку
качества продукции. Ее заданием является
подготовка экспертов, помощь в проведении
оценки качества, обработка, анализ,
обобщение результатов и установление
коллективного мнения экспертов. Она
начинает свою деятельность с подбора
экспертов и формирования экспертной
группы. Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например: 1. способность организовывать и планировать труд; 2. профессиональная компетентность; 3. сознание ответственности за выполняемую работу; 4. контактность и коммуникабельность; 5. способность к нововведениям; 6. трудолюбие и работоспособность. По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1). Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":
"1" - явно неорганизованный работник и руководитель;
"2" - не умеет организовывать и планировать свой труд и труд подчиненных;
"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;
"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;
"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования. По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения. Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист. Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1. Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы. Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле: К = Оу.обр. (1 + С/4 + В/18), где Оу.обр. - оценка уровня образования, которая обычно принимается (составляет 0,15 для лиц, имеющих незаконченное среднее образование; 0,60 - для лиц со средним образованием; 0,75 - для лиц со среднетехническим и незаконченным высшим образованием; 1,00 - для лиц с высшим образованием по специальности; С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование); В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50. На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств. Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок. На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий. Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями. Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника. Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии. Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности. Групповая экспертиза включает следующие обязательные этапы: Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения; Выбор техники опроса или способов выявления индивидуальных мнений; Формирование экспертной группы; Проведение опроса экспертов; Обработка результатов (получение группового суждения); Анализ результатов. Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения. Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель. Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера). Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника. После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1). Таблица 1. Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале: 1. если всегда - 1,5 балла; 2. если в большинстве случаев - 1 балл; 3. если иногда - 0,5 балла; 4. если почти никогда - 0 баллов. При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта. Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле: Где Зср - средний балл оценки качества по степени его функциональной значимости; З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале; N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах); Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле: Где Пср - средняя оценка степени проявления качеств у аттестуемого; П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов; N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки; N - общее количество экспертов. Затем по каждому качеству определяется средневзвешенный балл по формуле: К = Зср * Пср, где К - качество. Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты: 1) 57 х 1,5 = 85,5; 2) 57 х 1,0 = 57,0; 3) 57 X 0,5 = 28,5. Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.
ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы; 2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия. 1.ОБЩИЕ ПОЛОЖЕНИЯ Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д. В настоящее время на практике для количественной оценки качества экспертов используются следующие методы: Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно. К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы. В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента. В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или ппроцентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом. Например: при этом n j=1/2А Кi - Кij где Кi- среднее значение i- той оцениваемой величины (свойства); Кij- значение i- той величины (свойства), назначенное j -тым экспертом; n В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения. В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом: m2 (n3 - n) - m Tj где Si - сумма рангов, присвоенных m экспертами i-тому фактору; S - среднее значение сумм рангов; Величины Si и S определяются отношениями: Si= Кij ; S= Si / n где j - номер эксперта; i - номер оцениваемого фактора. Величина Tj определяется из выражения: Tj= (t3jl – tjl), где tjl - число одинаковых рангов 1-го вида в оценках j -того эксперта; Lj -количество групп факторов с совпавшими рангами в оценках j -того эксперта. Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5. Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона). Величина 2 определяется по формуле: mn (n +1) - 1 Tj Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов. II Самостоятельная работа. Задание 1. Для заданного аналога оцениваемого изделия, произвести экспертную оценку эргомических свойств, в соответствии с разработанной иерархической структурой свойств этого изделия (см. практическое занятие №2). Определить численные значения соответствующих эргономических показателей, руководствуясь следующей оценочной шкалой: Произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы: Число совпавших оценок Максимальное отклонение Задание 2. Используя экспресс-метод экспертной оценки качества, произвести ранжирование ряда предложенных изделий (3…5 шт.), аналогичных оцениваемому изделию, в зависимости от уровня их качества произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы: Макси-мальное откло-нение Сумма отклоне-ний Число совпавших оценок Обобщен-ная оценка (средний балл)
Влияние состава экспертов на результаты экспертизы
n
- число экспертов;
m
- число объектов экспертизы.Пример
