Москва, г. Москва и Московская область, Россия
УДК 621.9.048.7 Электроннолучевая обработка и обработка лучами других элементарных частиц
Целью работы является определение функциональной связи между качеством процедуры рейтингования трудноформализуемых объектов анализа (ТOA), к которым относятся инновационные предложения информационно-технологического профиля, и числом используемых для этого оценочных критериев. Причем содержание данных критериев рассматривается как необходимое условие результативности процедуры рейтингования ТОА, а их формализовано-обоснованное количество представляет собой достаточное условие для её эффективного выполнения. Задачи работы состоят в моделировании вероятностной достоверности процедуры критериально-экспертного оценивания (КЭО) предиктивного рейтинга ТОА и выявления вза-имосвязей между ее идентификационными параметрами. При этом данную алгоритмизированную процедуру КЭО различных ТОА, к которым относится предиктивное качество инноваций, следует рассматривать как значимое слагаемое современных информационных технологий, в которых всё шире используются функцио-нально-креативные возможности нейросетей. Это положение представляет собой основную перспективу развития, предлагаемого в статье квалиметрического подхода к рейтингованию ТОА. Методы исследования основаны на аппарате прикладной квалиметрии ТОА и теории надежности сложных систем. Это обеспечило возможность получения аналитическим путём соотношения между совокупностью, условных ковариаций единичных количественных значений критериев оценивания и коэффициентов их влияния на итоговый рейтинг ТОА, например, прогнозируемый уровень потенциала результативности реализации конкретного инновацион-но-технологического предложения. Новым основным результатом исследования является определение функциональной зависимости вероятностной достоверности процедуры рейтингования от информационности используемых оценочных критериев и их общего числа. Полученное общее вероятностное соотношение позволило связать в единый функционально-вероятностный комплекс прогнозируемого достоверность процедуры КЭО с информационной содержательностью применяемых оценочных критериев и их общим числом. С ис-пользованием принципа Парето данное соотношение преобразовано в расчетную зависимость, по которой реалистично определение конкретного числа оценочных критериев в зависимости только от требования к их надежности – вероятности адекватного представления соответствующей характеристики качества рейтингуемого ТОА. Приведены типовые примеры расчета достаточного числа оценочных критериев при раз-личном уровне требований к их содержательной адекватности. Это позволяет количественно формализовать структуру рейтингования ТОА, к которой относятся различные инновации информационно-технологического содержания.
рейтинг, экспертиза, оценивание, число критериев, вероятностная модель, функциональная связь, достоверность
Введение
Значимым резервом обеспечения результативности использования на практике различных предложений, в том числе в сфере бурно развивающейся информационно-технологической инноватики, является их рейтингование по критерию потенциала ожидаемого качества. Учитывая характеристические особенности данного ТОА в виде тематически профильного инновационного предложения, необходимо использовать адекватно этому обстоятельству соответствующий аппарат исследования. Таким аппаратом является прикладная квалиметрия и, в частности, метод критериально-экспертного оценивания (КЭО), потенциал функциональных возможностей которого рассматривается в ряде работ [1 – 7].
Поэтому совершенствование КЭО как инструментария прогнозирования и идентификации функционального качества инноваций, на самых ранних, допроектных этапах их жизненного цикла, представляет собой актуальную многопрофильную проблему, особенно значимую для интенсивно развивающихся отраслей науки, к которым относятся информационные технологии в широком понимании этого термина.
Для обеспечения качества самой процедуры КЭО рейтинга различных инноваций, помимо содержательного оформления оценочных критериев и идентификации уровня их индивидуального влияния на рейтинг ТОА необходимо определение числа данных критериев. Поэтому сущностно адекватное содержание критериев представляет собой необходимое условие успеха рейтингования ожидаемого качества инноваций, а их количество – достаточное условие эффективного осуществления данной процедуры. Однако весьма квалиметрически актуальная задача формализованного обоснования числа оценочных критериев ранее подробно с единых методических позиций не рассматривалось, и ее решение носило, в основном, рекомендательный характер [8, 9].
Учитывая параметрически многофакторный характер рассматриваемой задачи и функциональные особенности ТОА в виде инноваций информационно-технологического профиля, необходимо использовать для ее решения вероятностный подход. Этот подход достаточно универсален и обладает требуемой адаптационной гибкостью при описании самых различных ТОА.
Таким образом, разработка вероятностного подхода к определению числа критериев, по которым реализуется прогнозирование рейтинга инноваций и пример его реализации, имеют научно-прикладное значение во многих сферах новой техники и прогрессивных технологий.
Модели и методы вероятностного моделирования процедуры критериально-экспертного оценивания
Для конкретизации решаемой задачи получим аналитическое выражение рейтинга, как функция от числа оценочных критериев и их значимости. Для этого представим ошибку рейтингования в следующем виде:
, (1)
где 
– cуммарная погрешность процедуры КЭО, обусловленная рассогласованием между неким априори неизвестным номинально точным значением рейтинга 
для ТОА и его реальной величиной 
, сформированной по результатам опроса экспертов; 
и 
– соответственно, номинально точные оценки i-го критерия (параметра), характеризующего и реальные экспертные оценки критериев, определяющих ; 
– коэффициенты влияния единичных погрешностей определения характеристических критериев на величину ; 
= 1, 2, … , n – общее число критериев экспертного оценивания, определение которого является целью данной работы.
Следует подчеркнуть, что в технике зависимость вида (1) широко используется при анализе влияния погрешности изготовления вида: 
на точность изготовления детали и носит название уравнения операционных погрешностей. Фактически, (1) является линеаризацией функции ( ) путем ее разложения в ряд Тейлора, причем выражения в скобках в данном случае представляют собой первичные погрешности процедуры КЭО.
Считая, что структура и функционально идентична и представляет собой аддитивно-ковариантную комбинацию коэффициентов влияния и соответствующих оценочных критериев из (1) окончательно получим:
, (2)
где – рейтинговая оценка уровня (потенциала) ожидаемого качества ТОА, в частности рассматриваемого инновационного предложения; – значение -го критерия ожидаемого качества конкретного ТОА, полученное путем КЭО; 
– численные значения -го коэффициента влияния соответствующего -го оценочного критерия на рейтинг конкретного ТОА; = 1, … , n – общее число критериев оценивания, формирующих .
Следует подчеркнуть, что полученное соотношение (2) широко применяются в прикладной квалиметрии и оно известно, как эмпирическая формализация обобщенной оценки мнений экспертов методом взвешенной суммы [1 – 7].
Таким образом, для реализации на практике процедуры КЭО различных ТОА, к которым относятся инновации информационно-технологического профиля, помимо определения содержания оценочных критериев и степени их влияния на рейтинг, необходимо каким-либо способом обосновать общее число этих критериев. Это обстоятельство представляет собой достаточное условие результативности процедуры КЭО в целом.
Для определенности последующих рассуждений предположим, что информационный вклад каждого из оценочных критериев, характеризующих рейтинг рассматриваемого ТОА, также как и их значимость, примерно одинаковы и в вероятностном выражении составляют значение 
. Это допущение соответствует известному принципу равных влияний, что в данном случае косвенно должно свидетельствовать о правильности формирования элементов совокупности используемых оценочных критериев.
Тогда, итоговая вероятностная оценка достоверности результата КЭО согласно положениям теории надёжности сложных систем [10] составит:
, (3)
где 
– вероятность достоверного определения рейтинга ТОА; – вероятность, определяющая вклад отдельного оценочного критерия и его коэффициента влияния в определяемую характеристику ТОА, например, его рейтинг; 
– общее число оценочных критериев примерно одинаковой значимости, которое необходимо определить.
Фактически (3) отражает вероятностно-независимый вклад каждого оценочного критерия в общий результат оценивания определяемый согласно (2), а структурная схема, соответствующая (3), представляет собой хорошо известную в теории надежности схему параллельного (одновременного) взаимодействия единичных функциональных элементов [9].
Используя аппарат анализа проявлений масштабного фактора в такой системе, подробно рассмотренный в работе [11], не сложно показать справедливость вероятностно-экспоненциального соотношения вида:
, (4)
где – итоговая вероятностная оценка какой-либо значимо-доминантной характеристики или их комплекса, например рейтинга ОА, полученная по результатам КЭО; 
– параметр, в обобщенном виде ответственный за качество самого процесса КЭО, и фактически определяющий осредненную «концентрацию» ошибочных или недостаточно информационно-качественных оценочных критериев и суждений о них экспертов в ходе реализации процедуры оценивания; – общее число критериев, по которым происходит функционально-характеристическое оценивание или рейтингование конкретного ТОА.
Из совместного рассмотрения (3) и (4) не сложно получить функциональную связь между двумя основными параметрами, характеризующими качество самой процедуры КЭО:
. (5)
Из (5) следует, что осредненная «ошибочность» в формировании функционально-необходимой совокупности оценочных критериев практически не зависит от их количества, а определяется только информационным качеством данных критериев, т.е. значением , фактически ответственным за характеристическую достоверность отдельного критерия оценивания. Принципиальная сложность дальнейшего решения поставленной задачи по определению рационального числа оценочных критериев состоит в квалиметрически сущностной неопределенности значений в (3) или (4).
Для снятия этой неопределенности положим, что имеется некоторая латентная зависимость между вероятностью итоговой достоверной оценки рейтинга ТОА и количеством оценочных критериев , которую, например, для (4) можно выразить как:
, (6)
где 
и 
– соответственно коэффициенты, характеризующие неявную связь между числом используемых критериев вероятностного оценивания рейтинга TOA и достоверности (надежности) получаемого результата. Таким образом, зная численные значения и , соотношение типа (3) и (4) представляет собой систему, содержащую два неизвестных параметра: и , так как 
, по сути, представляет собой требуемую количественную оценку достоверности процедуры КЭО в целом.
Результаты
Приведем пример численного определения значения , основываясь на выше сформулированных зависимостях. Для этого воспользуемся известным принципом Парето, который для нашего случая трактуется следующим образом: 20 % оценочных критериев от их общего, априори неизвестного числа « » обеспечивает 80-ти процентную достоверность определения рейтинга ТОА, в частности, в виде вероятностного уровня потенциала качества планируемой к реализации инновации [12]. Это мнемоническое правило предиктивного анализа, позволяет снять неопределенность уровня и представить, например, (3) в виде:
. (7)
В данном соотношении согласно принципу Парето учтено, что 
; 
.
По аналогии с (7) можно записать экспоненциальное соотношение (4) как:
. (8)
Далее, осуществив тривиальную процедуру овертизации (от английского overt – выявление) значения путем совместного решения выше представленных уравнений, получим искомое соотношение в виде:
, (9)
где – число критериев предиктивного оценивания рейтинга ТОА, например, инновационного предложения информационно-технологического профиля; – вероятностное значение уровня информационного качества самого оценочного критерия.
Таким образом, согласно (9) число критериев оценивания рейтинга ТОА по зависимости (2) определяется целочисленным округлением , вычисляемого по данному соотношению. Причем, чем выше требование к вероятностной достоверности оценочных критериев, т.е. к величине , тем необходимо использовать их большее число. Например, при 
а при 
значение существенно меньше и составляет: 
. Данный во многом условный пример, тем не менее позволяет утверждать, что имеется реальная возможность достаточно успешного рейтингования путем КЭО при относительно низких требованиях к информационному качеству оценочных критериев. Причем конкретные вероятностные оценки информационно-функционального качества самих критериев рейтингования в будущем весьма результативно соотнести между собой также путем их адаптированного КЭО по известной шкале градаций оценок Харрингтона [13].
Для расширения функциональных возможностей предлагаемого вероятностного подхода к определению рационального числа оценочных критериев при реализации соответствующей методики КЭО, как одной из базовых процедур в арсенале информационных технологий предиктивной квалиметрии, исходное соотношение (3) представим в более общем виде следующим образом:
, (10)
где – вероятность достоверной оценки рейтинга, характеризующего рассматриваемый ТОА, например ожидаемое качество рассматриваемой инновации информационно-технологического профиля; 
– вероятностная оценка значимости i-ого оценочного критерия , т.е. наиболее реалистичная величина нормированного вероятностного вклада данного критерия с учётом коэффициента влияния в итоговое значение рейтинга , характеризуемого также в нормированном виде величиной 
=1, 2…
– общее число используемых оценочных критериев.
С позиций прикладной теории надёжности сложных систем [10] выражение в круглых скобках (10) представляет собой фактически вероятность «отказа» -ого единичного критерия, т.е. малую и, как следствие, не очень высокую эффективность его практического применения:
, (11)
где 
- вероятностная мера недостаточной значимости -ого оценочного критерия, т.е. фактически его коэффициент влияния существенно нивелирует любую позитивную оценку экспертами самого критерия .
Считая независимыми между собой событиями, вероятность непоявления, т.е. отсутствия данного отдельного в целом неэффективного критерия в рассматриваемом массиве из i-ого числа возможных «критериальных» отказов, эту вероятность обозначим как: 
. Тогда отсутствие такого отказа при рассмотрении (
) критериев будет составлять значение: 
Далее, используя феноменологию формализации роли масштабного фактора [10] в виде соответствующего экспоненциального соотношения типа (4), не сложно показать, что в рамках принятых допущений будет справедлива следующая функциональная зависимость:
, (12)
где 
– обобщенная вероятностная оценка недостаточной эффективности применяемой совокупности функционально-вариативных оценочных критериев; 
– параметр, ответственный за характер проявления своеобразных «отказов» в системе критериального оценивания рейтинга, величина которого фактически обратно-пропорциональна частоте (концентрации) их возникновения в используемом массиве критериев; =1, 2… – общее число используемых оценочных критериев.
После преобразования (12) с использованием известного количественного значения суммы арифметической прогрессии, получим:
/2]}. (13)
Данное базовое соотношение связывает в единый функциональный комплекс качество предварительно обоснованных используемых критериев: параметр – «концентраций» недостаточно эффективных критриев с их общим количеством , необходимым для итоговой оценки путём КЭА, рассматриваемой характеристики ТОА, например предиктивного рейтинга инновации информационно-технологического профиля. Причём, эта необходимая достаточность числа критериев обусловлена наперед заданными требуемым уровнем достоверности процедуры КЭО в целом, т.е. величиной 
в (13).
Несмотря на свою функциональную простоту экспоненциальное соотношении вида (13) по сути представляет собой вполне реалистичную вероятностную модель связи количественных показателей процедуры КЭО с её предиктивным качеством, в первую очередь с достоверностью (надёжностью) получения соответствующих прогностических оценок. Причём, полученная при достаточно общих допущениях исходная зависимость (12), представляет в данном случае собой формализацию роли масштабного фактора. Эта формализация состоит в описании кинетики трансформации количества оценочных параметров в их функциональное качество – достоверность вероятностного прогноза итогового результата КЭО, как правило, во многом информационно-дефицитной задачи, сформулированной в рамках предиктивно-нелинейной квалиметрии.
Основное следствие вышеприведенных рассуждений, по выявлению функциональной зависимости уровня достоверности прогнозирования с адекватной содержательностью и количеством используемых для этого оценочных параметров (критериев) можно сформулировать в виде соответствующего утверждения. Это утверждениек состоит в следующем:
Необходимость повышения предиктивно-функционального качества, т.е. достоверности или надёжности процедуры прогнозирования путем КЭО требует нелинейного увеличения количества исходных параметров (критериев), используемых в процессе оценивания. Или линейное увеличение числа оценочных критериев сопровождается нелинейно-затухающим характером увеличения (приращения) достоверности прогнозирования, основанного на этих критериях. Поэтому для формирования более достоверных оценочных суждений о различных трудноформализуемых информационных категориях типа предиктивного качества разнопрофильных инноваций, в первую очередь, структуро-вариативного инофрмационно-технологического профиля, основное внимание необходимо уделять формированию совокупности массива сущностно адекватных критериев.
Заметим, что известный принцип Парето фактически подтверждает справедливость выше сформулированного утверждения.
В заключении отметим, что выше предложенный вероятностный подход к решению важной квалиметрической задачи можно развить в нескольких направлениях, в частности, путем анализа более реалистичных уточнений информационности оценочных критериев, а также применения аппарата имитационного моделирования для построения соответствующей методики рейтингования ТОА с последующим созданием нейросетей экспертно-аналитической направленности.
1. Квалиметрия в машиностроении / Р.М. Хва-стунов, А.Н. Феофанов и др. – М.: Изд-во «Экзамен», 2008. – 278 с.
2. Хвастунов Р.М., Корнеева В.М., Феофанов А.Н. Сущность и возможности квалиметрического анализа // Стандарты и качество. – 2007. – №9. – С. 70-73.
3. Экспертные методы оценки в квалиметрии машиностроения / Р.М. Хвастунов, О.И. Ягелло и др. М.: АНО «Технонефтегаз», 2002. – 142 с.
4. Барзов А.А., Корнеева В.М., Корнеев С.С. Экспертное обоснование применения ультраструйного способа определения дефектности структуры неоднородных материалов // Сварочное производство. – 2022. – № 2. – С. 55-60.
5. Вероятностное моделирование процедуры экспертно-аналитического анализа качества иннова-ций // А.А. Барзов, В.М. Корнеева и др. // Технология машиностроения. – 2018. – №10 (196). – С. 63-69.
6. Андрианов Ю.М., Субетто А.И. Квалиметрия в приборостроении и машиностроении. – Ленинград: Машиностроение, 1990. – 225 с.
7. Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996. – 271 с.
8. Феофанов А.Н., Гришина Т.Г., Шохрина Н.В. Анализ экспертных оценок в механизмах назначения приоритетных технических характеристик изделий // Технология машиностроения. – 2016. – №8 (170). – С. 63-66.
9. Кини Р.А., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения: пер. с англ. М.: Радио и связь, 1981. – 560 с.
10. Половко А.М., Гуров С.В. Основные теории надежности. Практикум. 2-е изд., перераб. и доп., Санкт-Петербург.: БХВ- Петербург, 2006. – 704 с.
11. Масштабный фактор / А.А. Барзов, А.И. Денчик и др. – М.: МГУ им. М.В. Ломоносова, Физи-ческий факультет, 2022. – 226 с.
12. Барзов А.А., Корнеева В.М., Корнеев С.С. Вероятностное моделирование функциональной вариативности диаграммы Парето на основе анализа масштабного фактора // Качество и жизнь. – 2021. – №4 (32). – С.16-21.
13. Пичкалев А.В. Обобщенная функция желательности Харрингтона для сравнительного анализа технических средств // Исследования наукограда. – 2012. – №1 (1). – С. 25-28.
