Новосибирск, Новосибирская область, Россия
Новосибирск, Новосибирская область, Россия
В настоящей статье нами рассмотрена система управления качеством законодательства в РФ: определены ее базовые элементы, основной инструментарий контроля (управления) качеством в виде правовых экспертиз, предложена общая простейшая классификация контролируемых факторов в правовых экспертизах. В качестве примера для проведения контроля качества законодательства выбрана важнейшая правовая экспертиза - антикоррупционная (АКЭ). В рамках общих тенденций автоматизации, информатизации, цифровизации рассмотрено, для целей проведения АКЭ, использование искусственного интеллекта (ИИ), который, в ряде случаев «рутинной работы», смог бы оказывать посильную помощь специалистам в области правовых экспертиз и их цифровизации. В связи с этим сформулирован пошаговый алгоритм предобучения ИИ на примерах из нормативно-правовых актов (НПА), содержащих коррупциогенные факторы (КФ); проведена классификация КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ в АКЭ.
искусственный интеллект, коррупциогенный фактор, антикоррупционная экспертиза, нормативно-правовой акт, индикатор коррупциогенного фактора, предобучение, алгоритм, ошибки, частотное распределение, классификация, диалог
Введение
Формулируя цель нашей работы, остановимся на следующем тезисе: исследовать возможность применения ИИ для решения задач управления качеством законодательства РФ на примере антикоррупционной экспертизы (АКЭ) НПА [1], [2], [3], [4], [5].
При выборе платформы ИИ, необходимой для использования в задачах экспертиз качества законодательства, важно учитывать такие факторы, как доступность, гибкость и стоимость использования. Кроме того, необходимо предусмотреть интеграцию платформы с уже существующими системами, наличие опыта и знаний в области машинного обучения и глубокого обучения для эффективной разработки, и развертывания ИИ-решений.
Для исследования возможности применения ИИ в решении задач, связанных с АКЭ, мы выбрали платформу GPT3.5 [6], как наиболее популярную и доступную по стоимости версию (укажем, что при выборе рабочей платформы ИИ мы использовали диалог с GPT3.5).
Для достижения поставленной цели осуществили поиск высказываний производителя о способах обучения ИИ и рекомендаций по их реализации, в результате никаких сведений для себя не обнаружили. Последнее послужило поводом тому, чтобы сформулировать предварительные выводы: данная платформа, как и многие другие ИИ, является не специализированной, то есть не предобученной проведению правовых экспертиз; эксперимент по проведению АКЭ с помощью ИИ можно определить, как проверочный, контролирующий общий уровень или кругозор данного ИИ в сфере правовых экспертиз; задача качественного проведения АКЭ не может быть поставлена, а рассматривается только попытка ее реализации.
1. Особенности АКЭ как элемента управления качества законодательства
Систему управления качеством законодательства структурно можно представить как состоящую из трех крупных элементов: 1) подсистемы субъектов обладающих правом законодательной инициативы; 2) подсистема принятия законопроектов; 3) подсистема придания юридической силы законопроектам. Нам в данном случае интересно, к какой подсистеме можно отнести АКЭ. Определим его сразу: в подсистеме под номером 2. Кратко характеризуем функционал подсистемы. Первая подсистема полностью основывается на определенных Конституцией субъектах, обладающих правом формулирования текстов законопроектов. Вторая подсистема является процессом рассмотрения законопроектов или их принятия, который включает в себя около семи элементов. Среди них есть множество правовых экспертиз управления качеством законодательства, к которым и относится АКЭ [7]. Третья подсистема вводит законопроекты в строй действующих.
АКЭ направлена на выявление в НПА коррупциогенных факторов, которые представляют собой дефекты норм и правовых формул, способствующих проявлениям коррупции [1], [2], [3], [4], [5]. Для внедрения автоматизированных технологий выявления КФ в ходе АКЭ, а также применения ИИ в практике АКЭ, нас будет интересовать наличие или отсутствие у КФ атрибутов (индикаторов), позволяющих идентифицировать их, и, соответственно, КФ, в тексте НПА. Оказалось, что такие индикаторы у ряда КФ присутствуют, что позволило нам ввести свою простейшую количественную классификацию КФ по наличию/отсутствию индикаторов (атрибутов) КФ: индикаторные КФ (ИКФ) и без индикаторные КФ (БИКФ).
2. Исследование возможности применения ИИ в АКЭ НПА
Поскольку у производителя мы не нашли информацию о предобученности ИИ решению наших задач или возможности обучения его, то задали ему самому вопрос на эту тему. Ниже на рисунке 1 приведен скриншот фрагмента нашего диалога.
Рис. 1. Скриншот фрагмента диалога учителя с ИИ
Fig. 1. Screenshot of a fragment of the teacher's dialogue with AI
Далее в разделе предложим примерный пошаговый алгоритм предобучения ИИ АКЭ в виде последовательности действий по внесению первичной обучающей информации для ИИ на вход процесса предобучения программного продукта ChatGPT 3.5, то есть ИИ, осуществляющего АКЭ.
Пошаговый алгоритм предобучения
1.Вводим название и определение КФ.
2.Вводим ИКФ, если они присутствуют у КФ.
3.Вводим рекомендации по обнаружению КФ.
4.Вводим пример из НПА, содержащий КФ для предобучения ИИ.
5.Вводим обоснование коррупциогенной нормы для предобучения ИИ.
6.Вводим правильно скорректированный фрагмент НПА для предобучения ИИ.
7.Вводим контрольный пример на обнаружение КФ.
8.Получаем ответ ИИ об обнаружении КФ (его отсутствии).
9.Вводим комментарий учителя ИИ по факту ответа ИИ.
10.Определяем ошибку ИИ при обнаружении КФ.
11. Зацикливаем алгоритм, начиная с шага 4 по шаг 10, для введения других примеров по одному и тому же КФ.
12. Конец.
Предобучение, в нашем случае, ИИ проведению АКЭ осуществляли по 12-ти КФ, их последовательность приведена в работах [2, 4].
Ниже покажем какое количество примеров из НПА было использовано для каждого КФ: по первому КФ – 6 примеров; по 2-му КФ - 5 примеров; по 3-6, 9-му - по одному примеру, по 8, 11-му КФ – по 3 примера; по 10, 12-му – по два примера. Следует отметить, что количество предобучающих примеров может быть увеличено, но на данном этапе исследований в научной и методической литературе по АКЭ отсутствует достаточное их количество, а моделирование ситуаций с наличием КФ в текстах НПА является весьма трудоемкой процедурой, связанной с распределением временных и финансовых затрат на большой коллектив исследователей, и не приемлемо для экспертной среды, опирающейся на разработанные методики экспертиз НПА. Дополнительно укажем, что выполнение шагов предложенного в разделе выше алгоритма происходит в диалоговом режиме, и после каждого запроса следует ответ ИИ. Также в процессе предобучения в ответах ИИ выделялись ошибки обучения, по разработанной в процессе использования ИИ простейшей шкале ошибок:
Ошибка 0-го рода: определил и обосновал все искомые КФ с ИКФ или БИКФ.
Ошибка 1-го рода: неполнота ответа (определил и обосновал КФ с ИКФ или БИКФ без необходимых ссылок на существующее законодательство).
Ошибка 2-го рода: определил и обосновал КФ с ИКФ, но не определил и не обосновал один из нескольких ИКФ.
Ошибка 3-го рода: определил искомый КФ, без обоснования и ИКФ.
Ошибка 4-го рода: определил и обосновал один из двух искомых КФ с ИКФ или БИКФ.
Ошибка 5-го рода: вместо искомого КФ с ИКФ или БИКФ определил и обосновал отсутствующий в тексте НПА КФ с ИКФ или БИКФ.
Ошибка 6-го рода: не определил и не обосновал искомые КФ с ИКФ или БИКФ.
Шкала построена по принципу возрастания мощности ошибки и может быть выражена в терминах естественного языка (ЕЯ) следующим образом: превосходно; правильно, но не полно; не полно; не полно без обоснования; не полно с ошибкой определения; плохо; очень плохо. Подобной лингвистической шкале всегда можно найти количественные соответствия, которые мы в данном случае не рассматриваем. Опять-таки, если говорить об обучении по всем КФ, то ошибки разного рода распределились с определенной частотой по КФ (см. таблицу). Максимальные частоты распределения наблюдались у ошибок 0-го и 1-го рода, им соответствуют оценки ЕЯ: превосходно; правильно, но не полно, соответственно.
В связи с диспропорцией в количестве обучающих примеров, что, на наш взгляд, явно сказалось на качестве обучения, мы не смогли сделать вывод по каждому КФ о переходе в процессе обучения от ошибок - серьезных к ошибкам - не значимым.
Поэтому в данной работе мы показываем только возможности обучения ИИ, а не результаты, приводящие к выводам о необходимости применения ИИ в АКЭ и иных экспертизах в праве.
Таблица 1
Частотное распределение ошибок при АКЭ примеров НПА
Table 1
Frequency distribution of errors in AKE of examples of NPAs
|
№ п/п |
Род ошибки |
Частота распределения, относительные единицы |
Мощности ошибки, ЕЯ |
|
1 |
0-й |
7 |
превосходно |
|
2 |
1-й |
10 |
правильно, но не полно |
|
3 |
2-й |
1 |
не полно |
|
4 |
3-й |
4 |
не полно без обоснования |
|
5 |
4-й |
2 |
не полно с ошибкой определения |
|
6 |
5-й |
1 |
плохо |
|
7 |
6-й |
2 |
очень плохо |
Заключение
В заключении отметим, что предлагаемая статья выполняется в рамках ранее обозначенного авторами направления – «Оценивание качества социально-значимой деятельности», результаты исследований по которому были опубликованы, например, в журнале [8, 9].
В настоящей статье нами предложена простейшая классификация КФ. Предпринята попытка использования ИИ в АКЭ НПА: сформулирован пошаговый алгоритм предобучения ИИ на примерах из НПА, содержащих КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ при проведении АКЭ. Однако, проделанная работа, на наш взгляд, носит всего лишь постановочный характер, так как диалоговое общение с ИИ и провайдером ИИ показало невозможность его предобучения в пользовательском режиме. В качестве доказательств последнего приводим фрагменты скриншотов диалогов с ИИ и провайдером (рис. 2).
Рис. 2. Скриншоты фрагментов диалогов с ИИ и провайдером
Fig. 2. Screenshots of fragments of dialogues with AI and provider
Вместе с тем, считаем, что перспективы реализации ИИ в сфере экспертиз НПА, в том числе АКЭ, не исчерпываются выводами нашей статьи, а предполагают развитие в рамках государственных проектов РФ в области разработки и применения ИИ, а также пользовательских приложений, позволяющих обучать и предобучать существующие ИИ- платформы в рамках различного рода задач.
1. Об антикоррупционной экспертизе нормативных правовых актов и проектов нормативных правовых актов: федер. Закон Рос. Федерации от 17.07.2009 г. № 172-ФЗ: принят Гос. Думой Федер. Собр. Рос. Федерации 3 июля 2009 г.: одобр. Советом Федерации Федер. Собр. Рос. Федерации 7 июля 2009 г. Российская газета. 2009 г. 22 июля.
2. Талапина Э.В., Южаков В.Н. Методика первичного анализа (экспертизы) коррупциогенности нормативных правовых актов. Москва : Статут : Центр стратегических разработок, 2007. 96 с. ISBN 978-5-8354-0439-1.
3. Об антикоррупционной экспертизе нормативных правовых актов и проектов нормативных правовых актов: пост. Правительства Рос. Федерации от 26.02.2010 года № 96. Российская газета. 2010 г. 8 марта.
4. Астанин В.В., Андрианова Д.В., Радченко В.И. и др. Методические рекомендации по проведению правовой и антикоррупционной экспертизы нормативных правовых актов субъектов Российской Федерации и муниципальных образований (с иллюстрацией на конкретных примерах). М.: ФБУ НЦПИ при Минюсте России, 2017. 56 с. ISBN 978-5-901167-58-8.
5. Талапина Э.В., Южаков В.Н., Ефремов А.А. и др. Возможности применения искусственного интеллекта в государственном управлении и юридические экспертизы. М.: Издательский̆ дом «Дело», РАНХиГС, 2022. 190 с. ISBN 978-5-85006-416-7.
6. URL: https://ask.chadgpt.ru (дата обращения: 10.01.2024 -30.04.2024).
7. Муженская Н.Е. Экспертиза в Российском законодательстве: Руководство-справочник для следователя, дознавателя, судьи. М.: РГ-Пресс,2015. 744 с. ISBN 978-5-9988-0370-3.
8. Белов В.М., Пивкин Е.Н., Грищенко Л.А., Архипова А.Б. Гибридный метод оценивания качества социально значимой деятельности // Инженерный вестник Дона. 2021. № 2(74). С. 124-137. EDN HXZWTO.
9. Косов Д.Л., Белов В.М., Грищенко Л.А. Гибридный алгоритм оценивания качества нормативных правовых документов // Инженерный вестник Дона. 2021. № 3(75). С. 183-195. EDN GWBFXU.
