Automation and modeling in design and management Automation and modeling in design and management Автоматизация и моделирование в проектировании и управлении 2658-3488 2658-6436 44494 10.30987/2658-6436-2021-2-19-23 Математическое моделирование, численные методы и комплексы программ Mathematical modeling, numerical methods and program complexes Математическое моделирование, численные методы и комплексы программ RESEARCHING METHODS FOR PROCESSING TEXT INFORMATION AND REVIEWING THE STAGES OF AN ARTIFICIAL INTELLIGENCE MODEL CREATION AT PRODUCING CHATBOTS ИССЛЕДОВАНИЕ МЕТОДОВ ОБРАБОТКИ ТЕКСТОВОЙ ИНФОРМАЦИИ И ОБЗОР ЭТАПОВ СОЗДАНИЯ МОДЕЛИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ПРИ СОЗДАНИИ ЧАТ-БОТОВ Иванова Анастасия Владимировна Ivanova Anastasiya Vladimirovna https://orcid.org/0000-0002-3529-7575 Кузьменко Александр Анатольевич Kuz'menko Aleksandr Anatolyevich alex-rf-32@yandex.ru

кандидат биологических наук;

candidate of sciences in biology;

 Филиппов Родион Алексеевич Filippov Rodion Alexeevich redfil@mail.ru

кандидат технических наук;

candidate of technical sciences;

 Филиппова Людмила Борисовна Filippova Lyudmila Borisovna kts@tu-bryansk.ru

кандидат технических наук;

candidate of technical sciences;

 Сазонова Анна Сергеевна Sazonova Anna Sergeevna asazonova@list.ru

кандидат технических наук;

candidate of technical sciences;

 Леонов Юрий Алексеевич Leonov Yuriy Alekseevich yorleon@yandex.ru

кандидат технических наук;

candidate of technical sciences;

 Брянский государственный технический университет Bryansk State Technical University Брянский Государственный Технический Университет Брянск Россия Bryansk State Technical University Bryansk Russian Federation Брянский государственный технический университет Брянск Россия Bryansk State Technical University Bryansk Russian Federation Брянский государственный технический университет Россия Брянский государственный технический университет Russian Federation 2021 2 19 23 https://bstu.editorum.ru/en/nauka/article/44494/view

Задача создания чат-бота на основе нейронной сети предполагает машинную обработку текста, которая в свою очередь подразумевает использование различных методов и способов анализа фраз и предложений. В статье рассмотрены наиболее популярные решения и модели анализа данных в текстовом формате: способы лемматизации, векторизации, а также методы машинного обучения. Особое внимание уделено методикам обработки текста, в последствии анализа которых был выявлен и протестирован наилучший метод.

The task of producing a chatbot based on a neural network supposes machine processing of the text, which in turn involves using various methods and techniques for analyzing phrases and sentences. The article considers the most popular solutions and models for data analysis in the text format: methods of lemmatization, vectorization, as well as machine learning methods. Particular attention is paid to the text processing techniques, after their analyzing the best method was identified and tested.

 чат-бот нейронная сеть текст лемматизация векторизация машинное обучение chatbot neural network text lemmatization vectorization machine learning

Бородин А. И., Вейнберг Р. Р., Литвишко О. В. , Методы обработки текста при создании чат-ботов / Хуманитарни Балкански изследвания, № 3(5) 31.08.2019 Borodin A.I., Veinberg R.R., Litvishko O.V., Methods of Text Processing when Creating Chatbots / Humanities Balkan Research, no. 3 (5) 31.08.2019 Филиппов, Р.А. Интернет вещей: основные понятия/ учебно-методическое пособие / Р.А. Филиппов, Л.Б. Филиппова, А.С. Сазонова - Брянск: БГТУ, 2016. - 112 с. - ISBN 978-5-906967-62-6 - Текст : непосредственный. Filippov, R.A. Internet of Things: Basic Concepts / teaching aid / R.A. Filippov, L.B. Filippova, A.S. Sazonova. - Bryansk: BSTU, 2016. - 112 p. - ISBN 978-5-906967-62-6 - Text: unmediated Leonov, YU.A. Selection of rational schemes automation based on working synthesis instruments for technological processes / YU.A. Leonov, E.A. Leonov, A.A. Kuzmenko, A.A. Martynenko , E.E. Averchenkova, R.A. Filippov - Yelm, WA, USA: Science Book Publishing House LLC, 2019 - 192 p. - ISBN: 978-5-9765-4023-1 - Text : unmediated. Leonov, Yu.A. Selection of Rational Schemes Automation Based on Working Synthesis Instruments for Technological Processes / Yu.A. Leonov, E.A. Leonov, A.A. Kuzmenko, A.A. Martynenko, E.E. Averchenkova, R.A. Filippov - Yelm, WA, USA: Science Book Publishing House LLC, 2019 - 192 p. - ISBN: 978-5-9765-4023-1 - Text : unmediated. Leonov, E.A. Intellectual subsystems for collecting information from the internet to create knowledge bases for self-learning systems / E.A. Leonov, Y.A. Leonov, Y.M. Kazakov, L.B. Filippova/ In: Abraham A., Kovalev S., Tarassov V., Snasel V., Vasileva M., Sukhanov A. (eds) - Text : electronic // Proceedings of the Second International Scientific Conference “Intelligent Information Technologies for Industry” (IITI’17). IITI 2017. Advances in Intelligent Systems and Computing. -2017- vol 679. - Springer, Cham, p. 95-103 - DOI:10.1007/978-3-319-68321-8_10 Leonov E.A., Intellectual Subsystems for Collecting Information from the Internet to Create Knowledge Bases for Self-learning Systems / E.A. Leonov, Y.A. Leonov, Y.M. Kazakov, L.B. Filippova/ In: Abraham A., Kovalev S., Tarassov V., Snasel V., Vasileva M., Sukhanov A. (eds) - Text : electronic // Proceedings of the Second International Scientific Conference “Intelligent Information Technologies for Industry” (IITI’17). IITI 2017. Advances in Intelligent Systems and Computing. -2017 - vol. 679. - Springer, Cham, pp. 95-103 - DOI:10.1007/978-3-319-68321-8_10 Тищенко, А.А. Анализ конструкторов, позволяющих создавать мобильные приложения с целью развития цифровых технологий в логистических системах / А.А. Тищенко, Ю.М. Казаков - Текст непосредственный // X всероссийская научно-практическая конференция "Цифровая логистика - интегрированный подход" - 2020. - Брянск, БГТУ, с 181-185 - ISBN 978-5-907271-61-6. Tishchenko, A.A. Analysis of Constructors that Allow Creating Mobile Applications for Developing Digital Technologies in Logistics Systems / A.A. Tishchenko, Yu.M. Kazakov - Text : unmediated // Xth All-Russian Scientific and Practical Conference “Digital Logistics - Integrated Approach” - 2020. -Bryansk, BSTU, pp. 181-185 - ISBN 978-5-907271-61-6.