Novosibirsk, Novosibirsk, Russian Federation
Novosibirsk, Novosibirsk, Russian Federation
The article considers the quality management system of legislation in the Russian Federation, defines its basic elements, the main tools for quality control (management) in the form of legal examinations, and proposes a general simple classification of the controlled factors in legal examinations. As an example for conducting quality control of legislation, the authors choose the most important legal expertise called anti-corruption examination (ACE). Within the framework of general trends in automation, informatization, and digitalization, the paper considers the use of artificial intelligence (AI) for the purposes of conducting ACE, which, in some cases of “routine work”, could provide all possible assistance to specialists in the field of legal expertises and their digitalization. In this regard, a step-by-step algorithm for pre-training AI is formulated using examples from regulatory legal acts (RLA) containing corruption factors (CF); a classification of CF is carried out; a scale of AI errors in detecting CF is developed; frequency characteristics of AI errors are determined; preliminary conclusions are obtained on the possibility of using AI in ACE.
artificial intelligence, corruption factor, anti-corruption expertise, normative legal act, corruption factor indicator, pre-training, algorithm, errors, frequency distribution, classification, dialogue
Введение
Формулируя цель нашей работы, остановимся на следующем тезисе: исследовать возможность применения ИИ для решения задач управления качеством законодательства РФ на примере антикоррупционной экспертизы (АКЭ) НПА [1], [2], [3], [4], [5].
При выборе платформы ИИ, необходимой для использования в задачах экспертиз качества законодательства, важно учитывать такие факторы, как доступность, гибкость и стоимость использования. Кроме того, необходимо предусмотреть интеграцию платформы с уже существующими системами, наличие опыта и знаний в области машинного обучения и глубокого обучения для эффективной разработки, и развертывания ИИ-решений.
Для исследования возможности применения ИИ в решении задач, связанных с АКЭ, мы выбрали платформу GPT3.5 [6], как наиболее популярную и доступную по стоимости версию (укажем, что при выборе рабочей платформы ИИ мы использовали диалог с GPT3.5).
Для достижения поставленной цели осуществили поиск высказываний производителя о способах обучения ИИ и рекомендаций по их реализации, в результате никаких сведений для себя не обнаружили. Последнее послужило поводом тому, чтобы сформулировать предварительные выводы: данная платформа, как и многие другие ИИ, является не специализированной, то есть не предобученной проведению правовых экспертиз; эксперимент по проведению АКЭ с помощью ИИ можно определить, как проверочный, контролирующий общий уровень или кругозор данного ИИ в сфере правовых экспертиз; задача качественного проведения АКЭ не может быть поставлена, а рассматривается только попытка ее реализации.
1. Особенности АКЭ как элемента управления качества законодательства
Систему управления качеством законодательства структурно можно представить как состоящую из трех крупных элементов: 1) подсистемы субъектов обладающих правом законодательной инициативы; 2) подсистема принятия законопроектов; 3) подсистема придания юридической силы законопроектам. Нам в данном случае интересно, к какой подсистеме можно отнести АКЭ. Определим его сразу: в подсистеме под номером 2. Кратко характеризуем функционал подсистемы. Первая подсистема полностью основывается на определенных Конституцией субъектах, обладающих правом формулирования текстов законопроектов. Вторая подсистема является процессом рассмотрения законопроектов или их принятия, который включает в себя около семи элементов. Среди них есть множество правовых экспертиз управления качеством законодательства, к которым и относится АКЭ [7]. Третья подсистема вводит законопроекты в строй действующих.
АКЭ направлена на выявление в НПА коррупциогенных факторов, которые представляют собой дефекты норм и правовых формул, способствующих проявлениям коррупции [1], [2], [3], [4], [5]. Для внедрения автоматизированных технологий выявления КФ в ходе АКЭ, а также применения ИИ в практике АКЭ, нас будет интересовать наличие или отсутствие у КФ атрибутов (индикаторов), позволяющих идентифицировать их, и, соответственно, КФ, в тексте НПА. Оказалось, что такие индикаторы у ряда КФ присутствуют, что позволило нам ввести свою простейшую количественную классификацию КФ по наличию/отсутствию индикаторов (атрибутов) КФ: индикаторные КФ (ИКФ) и без индикаторные КФ (БИКФ).
2. Исследование возможности применения ИИ в АКЭ НПА
Поскольку у производителя мы не нашли информацию о предобученности ИИ решению наших задач или возможности обучения его, то задали ему самому вопрос на эту тему. Ниже на рисунке 1 приведен скриншот фрагмента нашего диалога.
Рис. 1. Скриншот фрагмента диалога учителя с ИИ
Fig. 1. Screenshot of a fragment of the teacher's dialogue with AI
Далее в разделе предложим примерный пошаговый алгоритм предобучения ИИ АКЭ в виде последовательности действий по внесению первичной обучающей информации для ИИ на вход процесса предобучения программного продукта ChatGPT 3.5, то есть ИИ, осуществляющего АКЭ.
Пошаговый алгоритм предобучения
1.Вводим название и определение КФ.
2.Вводим ИКФ, если они присутствуют у КФ.
3.Вводим рекомендации по обнаружению КФ.
4.Вводим пример из НПА, содержащий КФ для предобучения ИИ.
5.Вводим обоснование коррупциогенной нормы для предобучения ИИ.
6.Вводим правильно скорректированный фрагмент НПА для предобучения ИИ.
7.Вводим контрольный пример на обнаружение КФ.
8.Получаем ответ ИИ об обнаружении КФ (его отсутствии).
9.Вводим комментарий учителя ИИ по факту ответа ИИ.
10.Определяем ошибку ИИ при обнаружении КФ.
11. Зацикливаем алгоритм, начиная с шага 4 по шаг 10, для введения других примеров по одному и тому же КФ.
12. Конец.
Предобучение, в нашем случае, ИИ проведению АКЭ осуществляли по 12-ти КФ, их последовательность приведена в работах [2, 4].
Ниже покажем какое количество примеров из НПА было использовано для каждого КФ: по первому КФ – 6 примеров; по 2-му КФ - 5 примеров; по 3-6, 9-му - по одному примеру, по 8, 11-му КФ – по 3 примера; по 10, 12-му – по два примера. Следует отметить, что количество предобучающих примеров может быть увеличено, но на данном этапе исследований в научной и методической литературе по АКЭ отсутствует достаточное их количество, а моделирование ситуаций с наличием КФ в текстах НПА является весьма трудоемкой процедурой, связанной с распределением временных и финансовых затрат на большой коллектив исследователей, и не приемлемо для экспертной среды, опирающейся на разработанные методики экспертиз НПА. Дополнительно укажем, что выполнение шагов предложенного в разделе выше алгоритма происходит в диалоговом режиме, и после каждого запроса следует ответ ИИ. Также в процессе предобучения в ответах ИИ выделялись ошибки обучения, по разработанной в процессе использования ИИ простейшей шкале ошибок:
Ошибка 0-го рода: определил и обосновал все искомые КФ с ИКФ или БИКФ.
Ошибка 1-го рода: неполнота ответа (определил и обосновал КФ с ИКФ или БИКФ без необходимых ссылок на существующее законодательство).
Ошибка 2-го рода: определил и обосновал КФ с ИКФ, но не определил и не обосновал один из нескольких ИКФ.
Ошибка 3-го рода: определил искомый КФ, без обоснования и ИКФ.
Ошибка 4-го рода: определил и обосновал один из двух искомых КФ с ИКФ или БИКФ.
Ошибка 5-го рода: вместо искомого КФ с ИКФ или БИКФ определил и обосновал отсутствующий в тексте НПА КФ с ИКФ или БИКФ.
Ошибка 6-го рода: не определил и не обосновал искомые КФ с ИКФ или БИКФ.
Шкала построена по принципу возрастания мощности ошибки и может быть выражена в терминах естественного языка (ЕЯ) следующим образом: превосходно; правильно, но не полно; не полно; не полно без обоснования; не полно с ошибкой определения; плохо; очень плохо. Подобной лингвистической шкале всегда можно найти количественные соответствия, которые мы в данном случае не рассматриваем. Опять-таки, если говорить об обучении по всем КФ, то ошибки разного рода распределились с определенной частотой по КФ (см. таблицу). Максимальные частоты распределения наблюдались у ошибок 0-го и 1-го рода, им соответствуют оценки ЕЯ: превосходно; правильно, но не полно, соответственно.
В связи с диспропорцией в количестве обучающих примеров, что, на наш взгляд, явно сказалось на качестве обучения, мы не смогли сделать вывод по каждому КФ о переходе в процессе обучения от ошибок - серьезных к ошибкам - не значимым.
Поэтому в данной работе мы показываем только возможности обучения ИИ, а не результаты, приводящие к выводам о необходимости применения ИИ в АКЭ и иных экспертизах в праве.
Таблица 1
Частотное распределение ошибок при АКЭ примеров НПА
Table 1
Frequency distribution of errors in AKE of examples of NPAs
|
№ п/п |
Род ошибки |
Частота распределения, относительные единицы |
Мощности ошибки, ЕЯ |
|
1 |
0-й |
7 |
превосходно |
|
2 |
1-й |
10 |
правильно, но не полно |
|
3 |
2-й |
1 |
не полно |
|
4 |
3-й |
4 |
не полно без обоснования |
|
5 |
4-й |
2 |
не полно с ошибкой определения |
|
6 |
5-й |
1 |
плохо |
|
7 |
6-й |
2 |
очень плохо |
Заключение
В заключении отметим, что предлагаемая статья выполняется в рамках ранее обозначенного авторами направления – «Оценивание качества социально-значимой деятельности», результаты исследований по которому были опубликованы, например, в журнале [8, 9].
В настоящей статье нами предложена простейшая классификация КФ. Предпринята попытка использования ИИ в АКЭ НПА: сформулирован пошаговый алгоритм предобучения ИИ на примерах из НПА, содержащих КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ при проведении АКЭ. Однако, проделанная работа, на наш взгляд, носит всего лишь постановочный характер, так как диалоговое общение с ИИ и провайдером ИИ показало невозможность его предобучения в пользовательском режиме. В качестве доказательств последнего приводим фрагменты скриншотов диалогов с ИИ и провайдером (рис. 2).
Рис. 2. Скриншоты фрагментов диалогов с ИИ и провайдером
Fig. 2. Screenshots of fragments of dialogues with AI and provider
Вместе с тем, считаем, что перспективы реализации ИИ в сфере экспертиз НПА, в том числе АКЭ, не исчерпываются выводами нашей статьи, а предполагают развитие в рамках государственных проектов РФ в области разработки и применения ИИ, а также пользовательских приложений, позволяющих обучать и предобучать существующие ИИ- платформы в рамках различного рода задач.
1. Federal Law of the Russian Federation of July 17, 2009 on Anti-Corruption Expertise of Normative Legal Acts and Draft Normative Legal Acts, no 172-FZ. Rossiyskaya Gazeta; 2009 Jun 22.
2. Talapina E.V., Yuzhakov V.N. Primary Analysis (Expertise) Methods of Corruptogenisity of Normative Legal Acts. Moscow: Statut; 2007. 96 p.
3. Order of the Government of the Russian Federation of February 26, 2010 About Anti-Corruption Examination of Regulatory Legal Acts and Projects of Regulatory Legal Acts, no 96. Rossiyskaya Gazeta; 2010 Mar 8.
4. Astanin V.V., Andrianova D.V., Radchenko V.I., Rogovaya A.V., Fadeeva N.A. Methodological Recommendations for Conducting Legal and Anti-Corruption Expertise of Regulatory Legal Acts of the Subjects of the Russian Federation and Municipalities (Illustrated With Specific Examples). Moscow: Federal State Budgetary Institution Scientific Centre for Legal Policy under the Ministry of Justice of Russia; 2017. 56 p.
5. Talapina E.V., Yuzhakov V.N., Efremov A.A., et al. Possibilities of Using Artificial Intelligence in Public Administration and Legal Expertise. Moscow: Delo, RANEPA; 2022. 190 p.
6. ChadAI [Internet] [cited 2024 Jan 10-Mar 30]. Available from: https://ask.chadgpt.ru.
7. Muzhenskaya N.E. Expertise in Russian Legislation: A Handbook for Investigators, Inquiry Officers, and Judges. Moscow: RG-Press; 2015. 744 p.
8. Belov V.M., Pivkin E.N., Grishchenko L.A., Arkhipova A.B. Hybrid Method for Assessing the Quality of Socially Significant Activities. Engineering Journal of Don. 2021;2(74):124-137.
9. Kosov D.L., Belov V.M., Grishchenko L.A. Hybrid Algorithm for Assessing the Quality of Regulatory Legal Documents. Engineering Journal of Don. 2021;3(75):183-195.
