Moskva, Moscow, Russian Federation
UDK 621.9.048.7 Электроннолучевая обработка и обработка лучами других элементарных частиц
The aim of this work is to determine the functional relationship between the quality of the rating procedure for difficult-to-formalize objects of analysis (DFOAs), which include innovative information technology proposals, and the number of evaluation criteria used. The authors consider the content of these criteria as a necessary condition for the effectiveness of the DFOA rating procedure, while their formalized and justified quantity constitutes a sufficient condition for its efficient execution. The objectives of the study include modelling the probabilistic reliability of the criteria-expert evaluation (CEE) procedure for the predictive rating of DFOAs and identifying the interrelationships between its identification parameters. Furthermore, the authors consider this algorithmized CEE procedure for various DFOAs, which include the predictive quality of innovations, a significant component of modern information technologies, where the functionally creative capabilities of neural networks are increasingly used. This is the main perspective for developing the qualimetric approach to DFOA rating proposed in the article. The research methods are based on the apparatus of applied qualimetry of DFOAs and the theory of complex system reliability. This enabled the analytical derivation of a relationship between the set of conditional covariances of individual quantitative values of the evaluation criteria and the coefficients of their influence on the final DFOA rating, such as the predicted level of potential effectiveness of a specific innovative technological proposal. The key new result of the research is determining the functional dependence of the probabilistic reliability of the rating procedure on the information content of the evaluation criteria used and their total number. The resulting general probabilistic relationship made it possible to link the predicted reliability of the CEE procedure with the informational content of the applied evaluation criteria and their total number into a unified functional-probabilistic complex. Using the Pareto principle, this relationship is transformed into a calculation dependency, according to which it is realistic to determine a specific number of evaluation criteria depending only on the requirement for their reliability, namely the probability of an adequate representation of the corresponding quality characteristic of the rated DFOA. The paper provides typical examples for calculating the sufficient number of evaluation criteria at various levels of requirements for their content adequacy. This allows for quantitative formalization of the DFOA rating structure, which includes various innovations of information technology content.
rating, expertise, evaluation, number of criteria, probabilistic model, functional relationship, reliability
Введение
Значимым резервом обеспечения результативности использования на практике различных предложений, в том числе в сфере бурно развивающейся информационно-технологической инноватики, является их рейтингование по критерию потенциала ожидаемого качества. Учитывая характеристические особенности данного ТОА в виде тематически профильного инновационного предложения, необходимо использовать адекватно этому обстоятельству соответствующий аппарат исследования. Таким аппаратом является прикладная квалиметрия и, в частности, метод критериально-экспертного оценивания (КЭО), потенциал функциональных возможностей которого рассматривается в ряде работ [1 – 7].
Поэтому совершенствование КЭО как инструментария прогнозирования и идентификации функционального качества инноваций, на самых ранних, допроектных этапах их жизненного цикла, представляет собой актуальную многопрофильную проблему, особенно значимую для интенсивно развивающихся отраслей науки, к которым относятся информационные технологии в широком понимании этого термина.
Для обеспечения качества самой процедуры КЭО рейтинга различных инноваций, помимо содержательного оформления оценочных критериев и идентификации уровня их индивидуального влияния на рейтинг ТОА необходимо определение числа данных критериев. Поэтому сущностно адекватное содержание критериев представляет собой необходимое условие успеха рейтингования ожидаемого качества инноваций, а их количество – достаточное условие эффективного осуществления данной процедуры. Однако весьма квалиметрически актуальная задача формализованного обоснования числа оценочных критериев ранее подробно с единых методических позиций не рассматривалось, и ее решение носило, в основном, рекомендательный характер [8, 9].
Учитывая параметрически многофакторный характер рассматриваемой задачи и функциональные особенности ТОА в виде инноваций информационно-технологического профиля, необходимо использовать для ее решения вероятностный подход. Этот подход достаточно универсален и обладает требуемой адаптационной гибкостью при описании самых различных ТОА.
Таким образом, разработка вероятностного подхода к определению числа критериев, по которым реализуется прогнозирование рейтинга инноваций и пример его реализации, имеют научно-прикладное значение во многих сферах новой техники и прогрессивных технологий.
Модели и методы вероятностного моделирования процедуры критериально-экспертного оценивания
Для конкретизации решаемой задачи получим аналитическое выражение рейтинга, как функция от числа оценочных критериев и их значимости. Для этого представим ошибку рейтингования в следующем виде:
, (1)
где 
– cуммарная погрешность процедуры КЭО, обусловленная рассогласованием между неким априори неизвестным номинально точным значением рейтинга 
для ТОА и его реальной величиной 
, сформированной по результатам опроса экспертов; 
и 
– соответственно, номинально точные оценки i-го критерия (параметра), характеризующего и реальные экспертные оценки критериев, определяющих ; 
– коэффициенты влияния единичных погрешностей определения характеристических критериев на величину ; 
= 1, 2, … , n – общее число критериев экспертного оценивания, определение которого является целью данной работы.
Следует подчеркнуть, что в технике зависимость вида (1) широко используется при анализе влияния погрешности изготовления вида: 
на точность изготовления детали и носит название уравнения операционных погрешностей. Фактически, (1) является линеаризацией функции ( ) путем ее разложения в ряд Тейлора, причем выражения в скобках в данном случае представляют собой первичные погрешности процедуры КЭО.
Считая, что структура и функционально идентична и представляет собой аддитивно-ковариантную комбинацию коэффициентов влияния и соответствующих оценочных критериев из (1) окончательно получим:
, (2)
где – рейтинговая оценка уровня (потенциала) ожидаемого качества ТОА, в частности рассматриваемого инновационного предложения; – значение -го критерия ожидаемого качества конкретного ТОА, полученное путем КЭО; 
– численные значения -го коэффициента влияния соответствующего -го оценочного критерия на рейтинг конкретного ТОА; = 1, … , n – общее число критериев оценивания, формирующих .
Следует подчеркнуть, что полученное соотношение (2) широко применяются в прикладной квалиметрии и оно известно, как эмпирическая формализация обобщенной оценки мнений экспертов методом взвешенной суммы [1 – 7].
Таким образом, для реализации на практике процедуры КЭО различных ТОА, к которым относятся инновации информационно-технологического профиля, помимо определения содержания оценочных критериев и степени их влияния на рейтинг, необходимо каким-либо способом обосновать общее число этих критериев. Это обстоятельство представляет собой достаточное условие результативности процедуры КЭО в целом.
Для определенности последующих рассуждений предположим, что информационный вклад каждого из оценочных критериев, характеризующих рейтинг рассматриваемого ТОА, также как и их значимость, примерно одинаковы и в вероятностном выражении составляют значение 
. Это допущение соответствует известному принципу равных влияний, что в данном случае косвенно должно свидетельствовать о правильности формирования элементов совокупности используемых оценочных критериев.
Тогда, итоговая вероятностная оценка достоверности результата КЭО согласно положениям теории надёжности сложных систем [10] составит:
, (3)
где 
– вероятность достоверного определения рейтинга ТОА; – вероятность, определяющая вклад отдельного оценочного критерия и его коэффициента влияния в определяемую характеристику ТОА, например, его рейтинг; 
– общее число оценочных критериев примерно одинаковой значимости, которое необходимо определить.
Фактически (3) отражает вероятностно-независимый вклад каждого оценочного критерия в общий результат оценивания определяемый согласно (2), а структурная схема, соответствующая (3), представляет собой хорошо известную в теории надежности схему параллельного (одновременного) взаимодействия единичных функциональных элементов [9].
Используя аппарат анализа проявлений масштабного фактора в такой системе, подробно рассмотренный в работе [11], не сложно показать справедливость вероятностно-экспоненциального соотношения вида:
, (4)
где – итоговая вероятностная оценка какой-либо значимо-доминантной характеристики или их комплекса, например рейтинга ОА, полученная по результатам КЭО; 
– параметр, в обобщенном виде ответственный за качество самого процесса КЭО, и фактически определяющий осредненную «концентрацию» ошибочных или недостаточно информационно-качественных оценочных критериев и суждений о них экспертов в ходе реализации процедуры оценивания; – общее число критериев, по которым происходит функционально-характеристическое оценивание или рейтингование конкретного ТОА.
Из совместного рассмотрения (3) и (4) не сложно получить функциональную связь между двумя основными параметрами, характеризующими качество самой процедуры КЭО:
. (5)
Из (5) следует, что осредненная «ошибочность» в формировании функционально-необходимой совокупности оценочных критериев практически не зависит от их количества, а определяется только информационным качеством данных критериев, т.е. значением , фактически ответственным за характеристическую достоверность отдельного критерия оценивания. Принципиальная сложность дальнейшего решения поставленной задачи по определению рационального числа оценочных критериев состоит в квалиметрически сущностной неопределенности значений в (3) или (4).
Для снятия этой неопределенности положим, что имеется некоторая латентная зависимость между вероятностью итоговой достоверной оценки рейтинга ТОА и количеством оценочных критериев , которую, например, для (4) можно выразить как:
, (6)
где 
и 
– соответственно коэффициенты, характеризующие неявную связь между числом используемых критериев вероятностного оценивания рейтинга TOA и достоверности (надежности) получаемого результата. Таким образом, зная численные значения и , соотношение типа (3) и (4) представляет собой систему, содержащую два неизвестных параметра: и , так как 
, по сути, представляет собой требуемую количественную оценку достоверности процедуры КЭО в целом.
Результаты
Приведем пример численного определения значения , основываясь на выше сформулированных зависимостях. Для этого воспользуемся известным принципом Парето, который для нашего случая трактуется следующим образом: 20 % оценочных критериев от их общего, априори неизвестного числа « » обеспечивает 80-ти процентную достоверность определения рейтинга ТОА, в частности, в виде вероятностного уровня потенциала качества планируемой к реализации инновации [12]. Это мнемоническое правило предиктивного анализа, позволяет снять неопределенность уровня и представить, например, (3) в виде:
. (7)
В данном соотношении согласно принципу Парето учтено, что 
; 
.
По аналогии с (7) можно записать экспоненциальное соотношение (4) как:
. (8)
Далее, осуществив тривиальную процедуру овертизации (от английского overt – выявление) значения путем совместного решения выше представленных уравнений, получим искомое соотношение в виде:
, (9)
где – число критериев предиктивного оценивания рейтинга ТОА, например, инновационного предложения информационно-технологического профиля; – вероятностное значение уровня информационного качества самого оценочного критерия.
Таким образом, согласно (9) число критериев оценивания рейтинга ТОА по зависимости (2) определяется целочисленным округлением , вычисляемого по данному соотношению. Причем, чем выше требование к вероятностной достоверности оценочных критериев, т.е. к величине , тем необходимо использовать их большее число. Например, при 
а при 
значение существенно меньше и составляет: 
. Данный во многом условный пример, тем не менее позволяет утверждать, что имеется реальная возможность достаточно успешного рейтингования путем КЭО при относительно низких требованиях к информационному качеству оценочных критериев. Причем конкретные вероятностные оценки информационно-функционального качества самих критериев рейтингования в будущем весьма результативно соотнести между собой также путем их адаптированного КЭО по известной шкале градаций оценок Харрингтона [13].
Для расширения функциональных возможностей предлагаемого вероятностного подхода к определению рационального числа оценочных критериев при реализации соответствующей методики КЭО, как одной из базовых процедур в арсенале информационных технологий предиктивной квалиметрии, исходное соотношение (3) представим в более общем виде следующим образом:
, (10)
где – вероятность достоверной оценки рейтинга, характеризующего рассматриваемый ТОА, например ожидаемое качество рассматриваемой инновации информационно-технологического профиля; 
– вероятностная оценка значимости i-ого оценочного критерия , т.е. наиболее реалистичная величина нормированного вероятностного вклада данного критерия с учётом коэффициента влияния в итоговое значение рейтинга , характеризуемого также в нормированном виде величиной 
=1, 2…
– общее число используемых оценочных критериев.
С позиций прикладной теории надёжности сложных систем [10] выражение в круглых скобках (10) представляет собой фактически вероятность «отказа» -ого единичного критерия, т.е. малую и, как следствие, не очень высокую эффективность его практического применения:
, (11)
где 
- вероятностная мера недостаточной значимости -ого оценочного критерия, т.е. фактически его коэффициент влияния существенно нивелирует любую позитивную оценку экспертами самого критерия .
Считая независимыми между собой событиями, вероятность непоявления, т.е. отсутствия данного отдельного в целом неэффективного критерия в рассматриваемом массиве из i-ого числа возможных «критериальных» отказов, эту вероятность обозначим как: 
. Тогда отсутствие такого отказа при рассмотрении (
) критериев будет составлять значение: 
Далее, используя феноменологию формализации роли масштабного фактора [10] в виде соответствующего экспоненциального соотношения типа (4), не сложно показать, что в рамках принятых допущений будет справедлива следующая функциональная зависимость:
, (12)
где 
– обобщенная вероятностная оценка недостаточной эффективности применяемой совокупности функционально-вариативных оценочных критериев; 
– параметр, ответственный за характер проявления своеобразных «отказов» в системе критериального оценивания рейтинга, величина которого фактически обратно-пропорциональна частоте (концентрации) их возникновения в используемом массиве критериев; =1, 2… – общее число используемых оценочных критериев.
После преобразования (12) с использованием известного количественного значения суммы арифметической прогрессии, получим:
/2]}. (13)
Данное базовое соотношение связывает в единый функциональный комплекс качество предварительно обоснованных используемых критериев: параметр – «концентраций» недостаточно эффективных критриев с их общим количеством , необходимым для итоговой оценки путём КЭА, рассматриваемой характеристики ТОА, например предиктивного рейтинга инновации информационно-технологического профиля. Причём, эта необходимая достаточность числа критериев обусловлена наперед заданными требуемым уровнем достоверности процедуры КЭО в целом, т.е. величиной 
в (13).
Несмотря на свою функциональную простоту экспоненциальное соотношении вида (13) по сути представляет собой вполне реалистичную вероятностную модель связи количественных показателей процедуры КЭО с её предиктивным качеством, в первую очередь с достоверностью (надёжностью) получения соответствующих прогностических оценок. Причём, полученная при достаточно общих допущениях исходная зависимость (12), представляет в данном случае собой формализацию роли масштабного фактора. Эта формализация состоит в описании кинетики трансформации количества оценочных параметров в их функциональное качество – достоверность вероятностного прогноза итогового результата КЭО, как правило, во многом информационно-дефицитной задачи, сформулированной в рамках предиктивно-нелинейной квалиметрии.
Основное следствие вышеприведенных рассуждений, по выявлению функциональной зависимости уровня достоверности прогнозирования с адекватной содержательностью и количеством используемых для этого оценочных параметров (критериев) можно сформулировать в виде соответствующего утверждения. Это утверждениек состоит в следующем:
Необходимость повышения предиктивно-функционального качества, т.е. достоверности или надёжности процедуры прогнозирования путем КЭО требует нелинейного увеличения количества исходных параметров (критериев), используемых в процессе оценивания. Или линейное увеличение числа оценочных критериев сопровождается нелинейно-затухающим характером увеличения (приращения) достоверности прогнозирования, основанного на этих критериях. Поэтому для формирования более достоверных оценочных суждений о различных трудноформализуемых информационных категориях типа предиктивного качества разнопрофильных инноваций, в первую очередь, структуро-вариативного инофрмационно-технологического профиля, основное внимание необходимо уделять формированию совокупности массива сущностно адекватных критериев.
Заметим, что известный принцип Парето фактически подтверждает справедливость выше сформулированного утверждения.
В заключении отметим, что выше предложенный вероятностный подход к решению важной квалиметрической задачи можно развить в нескольких направлениях, в частности, путем анализа более реалистичных уточнений информационности оценочных критериев, а также применения аппарата имитационного моделирования для построения соответствующей методики рейтингования ТОА с последующим созданием нейросетей экспертно-аналитической направленности.
1. Khvastunov R.M., Feofanov A.N., et al. Qualimetry in Engineering. Moscow: Examen Publish-ing House; 2008.
2. Khvastunov R.M., Korneeva V.M., Feofa-nov A.N. The Essence and Features of Qualimetric Analysis. Standards and Quality. 2007;9:70-73.
3. Khvastunov R.M., Yagello O.I., et al. Expert Methods of Assessment in Qualimetry of Mechanical Engineering. Moscow: ANO Tekhnoneftegaz; 2002.
4. Barzov A.A., Korneeva V.M., Korneev S.S. Expert Justification of the Effectiveness of the Applica-tion of the Ultra-Jet Method of Express Determination of the Defect Structure of Heterogeneous Materials. Welding Production. 2022;2:55-60.
5. Barzov AA, Korneeva VM, et al. Probabilistic Modelling of the Procedure for Expert-Analytical Anal-ysis of the Quality of Innovations. Technology of Me-chanical Engineering. 2018;10 (196):63-69.
6. Andrianov Yu.M., Subetto A.I. Qualimetry in Instrument Making and Mechanical Engineering. Len-ingrad: Mechanical Engineering; 1990.
7. Litvak B.G. Expert Assessments and Decision-Making. Moscow: Patent; 1996.
8. Feofanov A.N., Grishina T.G., Shokhrina N.V. Analysis of Expert Assessments in the Mechanisms for Assigning Priority Technical Characteristics of Products. Technology of Mechanical Engineering. 2016;8(170):63-66.
9. Keeney R.A., Raifa H. Decisions With Multiple Objectives: Preferences and Value Tradeoffs, trans. Moscow: Radio I Svyaz’; 1981.
10. Polovko A.M., Gurov S.V. Fundamentals of Reliability Theory. 2nd ed. St. Petersburg: BHV-Petersburg; 2006.
11. Barzov AA, Denchik AI, et al. Scale Factor. Moscow: Lomonosov Moscow State University, Faculty of Physics; 2022.
12. Barzov A.A., Korneeva V.M., Korneev S.S. Probabilistic Modelling of the Functional Variability of the Pareto Chart Based on the Analysis of the Scale Factor. Quality and Life. 2021;4(32):16-21.
13. Pichkalev A.V. Generalized Harrington’s De-sirability Function for the Comparative Analysis of Technical Facilities. The Research of the Science City. 2012;1(1):25-28.
