INVESTIGATION AND DEVELOPMENT OF “UNIVERSAL IMAGE DICTIONARY” FOR CREATION OF MAN-MACHINE INTERFACE
Abstract and keywords
Abstract (English):
The project urgency is evidenced by the measurement of subject-matter popularity on the Internet – a query to the Net on the topic of the subject gives 18900 results, and a novelty is defined by specification, for instance, the “Universal Image Dictionary” query gives “No results found for” and 1 result M24.RU – 10 unknown: monsters, stairs, funnels and keys… www.m24.ru/articles/112668/ … The project offered supposes the creation of the bank of different images already existing and having a wide distribution and which can be a means of international communication for people having no any other channel for information exchange. Such images could include common gestures, traffic signs, signs in transport, in the streets, in public accommodations and in state offices. They will include both single images, and their combinations forming a single conceptual complex (rules of table etiquette, on transport, and at the stadium etc.). It should be emphasized clearly that the dictionary offered is intended for interpersonal communication. A computer identification of images cannot be in this case a basic purpose for project realization. The orientation to interpersonal communication gives us a possibility to choose images for the dictionary and, what is not less significant, to set problems actually solvable at every stage of its creation.

Keywords:
man-machine interface, universal image dictionary, visualization systems, virtual circle, human contacts, limited potentialities, international communication
Text
Publication text (PDF): Read Download

Введение

 

Автоматизированная навигация помогает туристам ориентироваться в незнакомой местности [1]. Важно иностранному туристу не оказаться один на один с городом в малознакомой стране. С помощью различных информационных систем можно определить, местонахождение, выяснить окружающую обстановку, объекты. Это позволяет любому заезжему гостю эффективно функционировать в пространстве.

В незнакомой местности важно, чтобы человек не терялся и в нужный момент смог воспользоваться необходимой информацией  для достижения поставленной цели. Перечень параметров, предоставляемых гостю должен быть без лишней ин­формационной нагрузки.

Для ориентации иностранному гостю должна быть предоставлена следующая информация в графическом виде: широко масштабируемая карта местности, параметризация объектов карты с помощью информационных сообщений, наиболее оптимальные направления движения. При этом цель может включать перемещение из одной точки в другую, а может определять направление к культурному объекту, городской инфраструктуре.

Основные принципы организации автоматизированной системы управления движением: эффективность с точки зрения достижения цели, понятная и уместная графика с необходимым масштабированием, четкий разборчивый шрифт, анимация, дополняющая информационную обеспеченность ориентации в пространстве, соответствие международным стандартам отображения городского пространства и т.д.

Должна быть разработана унифицированная панорама знаком в качестве ключевого фактора навигационной системы. Однако важна их узнаваемость, поэтому необхо­димо опираться на основы (общепринятые элементы) графического изображения визуализации навигационных систем. Для узнаваемости и привлечения внимания было решено использовать яркую палитру и всем знакомые геометрические знаки - круг, квадрат, треугольник, ромб, прямоугольник.

Невозможно создать навигационный инструмент, не используя современный графический дизайн. Это и способ общения, коммуникации,  возможность отображения наиболее уместных с точки зрения конкретной ситуации объектов, целей. Доказано, что изображение несет значительно больше информации, чем текст. При этом оно должно быть информативным [3].

 

Использование пространства города

 

Важно, как городское окружение будет использовано при ориентации в пространстве [4]. Помимо графических средств отображения пространство должно дополняться не избыточными информационными комментариями, которые могут ненавязчиво привязываться к определенным объектам.

Нужно иметь информационные описания, которые соответствуют интересным историческим фактам конкретного места, культурного объекта и т.д. Интересными фактами можно увлечь гостей при использовании куль­турных и мифологических особенностей местности - как, например, Красная площадь (рис. 1). В городе к атмосферным местам можно отнести парки (рис. 2) или необычные кафе (из­вестная «Чебуречная» в Москве (рис. 3)). Значимое место может быть и в плохом состоянии, но ценность его от этого не теряется (остатки разрушенной крепости или церкви).

 

 

1_krasnaya_ploshchhad

Рис. 1. Красная площадь в Москве

AiM-Zolotarev_Khakimova_Berberova-Исследование и разработка-fig2

Рис. 2. Парк Горького в Москве

AiM-Zolotarev_Khakimova_Berberova-Исследование и разработка-fig3

Рис. 3. Чебуречная

 

 

Созданный образ окружающего пространства играет важную роль при осмотре достопримечательностей иностранными гостями. Очень важно как представлены культурные, исторические объекты, как они отображены в информационной системе, какими снабжаются комментариями текстовыми или голосовыми. Создается некоторый репрезентативный образ посещаемого объекта, и каждый человек представляет это по-своему. Важно не обмануть его ожиданий.

Так, в городах основными загрязнителями визуальной среды являются гомо­генные и агрессивные визуальные поля. Гомогенными называются объекты или множества объектов с минимальным количеством видимых элементов. В Москве к ним следует отнести высотные здания из стекла и бетона, серые и безликие многоэтажные строения. На их огромных голых стенах нет ничего, что могло бы привлечь внимание. Это вызывает у людей психо­логический дискомфорт [5].

Для анализа групп типичных стрессоров исследователи ввели некоторые термины: стресс в городе, потерянность в большом городе. Это приводит к негативным последствиям психику человека в незнакомом, часто враждебном городском пространстве.

Важно сформировать позитивный образ незнакомого пространства для иностранных гостей. От его привлекательности зависит эффективное функционирование города как туристического центра [6].

Рассмотрение факторов, оказывающих воздействие на имидж города, позво­лило структурировать их на две группы:

  • Объективные - культурные особенности, местоположение, мировой рейтинг культурного объекта, инвестиционный потенциал, информационное окружение и т.д.;
  • Субъективные – отношение местного населения к незнакомым иностранным посетителям, восприятие гостями культурны населения, местный менталитет и т.д.

На рис. 4 показаны факторы, влияющие на различные аспекты политики при формировании позитивного образа городского пространства.

Визуальная и психологическая атмосфера города во многом зависит от восприятия людей, осно­ванного на их жизненном опыте в привычной жизненной среде [7].

Важное зна­чение имеет графический дизайн как межнациональное средство коммуникации. Этот аспект необходимо учитывать при анализе коммуникационного поля и его адаптации к иностранным туристам в России и, в частности, в таком мегаполисе как Москва.

 

 

Рис. 4. Факторы, влияющие на построение позитивного

образа городского пространства

 

Основные проблемы ориентации иностранцев в городской среде

 

Огромный поток информации, влияющий на людей в современном мире, при­водит к тому, что бывает весьма проблематично ориентироваться в незнакомой местности. Это нужно учитывать в туристической деятельности, так как иностранные гости получают негативный опыт и формируют отрицательное отношение к городу [8]. Это затруднение может быть связанно с поиском определенных объектов, отсутствием нумерации домов и названий улиц, площадей, районов и т.д. Возникают проблемы при наличии противоречащих друг другу описаний. Все эти вопросы следует решать с помощью навигации, стараясь однозначно определять места, объекты, улицы и т.д., чтобы иностранные туристы не чувствовали себя потерянными в городе.

В контексте проблем навигации в городской среде особенно важно знать, как иностранные гости представляют себе незнакомый город, насколько для них являются доступными культурные объекты, насколько просто формируются маршруты, как предоставляется информация при описании навигации в городской среде. Нужно создать удобную, комфортную атмосферу.  Этому может помочь добродушное отношение местного населения, помощь подготовленных волонтеров, дополнительная информация в городском пространстве на международных языках общения, в частности, на английском.

Исследователи выделили основные проблемы, по которым туристы не желают посещать Россию [9]:

  1. Сложности в получении визы для въезда в Российскую Федерацию.
  2. Высокие цены на проживание и низкое качество обслуживания.
  3. Высокие цены на авиабилеты.
  4. Терроризм. Мафия. Люди не чувствуют себя в безопасности.
  5. Незнание страны.
  6. Незнание языка.
  7. Высокая стоимость пассажироперевозок.
  8. Плохо развитый внутренний туризм для регионов.

Для привлечения иностранных туристов нужно создать комфортную среду  (городскую, деревенскую, междугороднюю и т.д.). Для решения подобных вопросов необходимо определить и принять на самом высоком уровне ряд важных мер:

- повысить комфорт городской инфраструктуры для иностранных гостей, обеспечив их прекрасными возможностями для развлечений, принятия пищи, перемещения в городской среде;

- сохранить и восстановить наиболее значимые культурные исторические объекты;

- предложить туристам широчайшее разнообразие культурных программ и маршрутов, включая не только объекты исторического наследия, но и возможность получения дополнительной информации о стране;

- использовать и преумножать международный опыт других стран по созданию комфортной туристической базы.

 

 

Создание визуальных словарей

 

Визуальный словарь - это словарь, использующий картинки, образы, фото­графии, которые адаптируют материал к запоминанию через зрительное восприятие. Визуальные словари часто организованы по темам, а не являются алфавитным списком слов. Они помогают подключить к процессу запоминания зритель­ную память, образ воспринимаемого объекта при этом фиксируется в сознании бла­годаря зрительным впечатлениям.

Роль наглядных иллюстраций в словарях изучалась давно. Чтобы оценить и описать роль наглядных иллюстраций в словарях, необходимо понять механизм ко­гнитивной обработки видимых изображений.

Гипотеза вербальной петли  отводит ключевую роль скрытой вербализации и словесному хранению визуальных образов [10]. Согласно этой гипотезе, просматри­ваемое изображение переводится в последовательность слов, которые хранятся в памяти и используются в качестве основы для воспроизведения.

Двухступенчатый процесс восприятия предполагает мысленное представление для кодирования и хранения невербальных визуальных элементов. Объект или изображение может быть закодировано, то есть сохранено в невербальной форме. Верба­лизация, согласно этой точке зрения, входит в процесс только во время словесного декодирования визуального запаса [11].

Третья гипотеза основана на гештальт-теориях памяти, когда воспоминания сохраняются не в общий интерсенсорный склад, а в специфический для модально­стей, в которых они получены. Название объекта или изображения при просмотре приводит к тому, что устанавливаются как визуальные, так и словесные следы, но с просмотром изображения объект оставляет только визуальный след [10].

Эти три теории постулируют, что закодированный визуальный образ рас­шифровывается в словесную форму, но  визуальная форма при этом не теряется. Объект всегда извлекается в визуальной форме, а процесс вербализации просто по­могает, называя концепцию.

Все гипотезы утверждают, что информация, хранящаяся как в визуальной, так и в вербальной форме, будет лучше запоминаемой, чем информация, хранящаяся только в одной форме.

Таким образом, гипотеза двойного кодирования предсказывает, что образные посредники должны превосходить описательные, потому что двойное кодирование продвигается изобразительными, но не повествовательными посред­никами [10].

Наиболее эффективными устройствами для направления и мо­дификации внимания являются:

- стрелки, указывающие достопримечательности на рисунке;

- сокращение неактуальной информации в наглядной иллюстрации;

- позиционные правила, которые подразумевают, что самая важная часть изображения должна быть размещена в центре или в верхнем левом углу иллюстрации;

- иден­тификационные номера, которые соответствуют словесным модификаторам, таким как заголовок и подписи [12].

 

 

В последнее время активно развиваются технологии дополненной и вирту­альной реальности (ВР). Например, на рынке шлемов виртуальной реальности ком­пании HTC и Oculus уже в течение нескольких лет соперничают со своими продук­тами. Осенью 2016 года к этому соперничеству подключились компании Sony, LG и ASUS. Microsoft уже выпустила очки дополненной реальности Hololens, Google - Daydream и Google Glass. И это только известные и крупные брэнды. Кроме того, IDC утверждают, что рынок устройств дополненной и виртуальной реальности будет расти на 60% ежегодно, количество устройств достигнет почти 100 миллионов через год [13]. Такие устройства находят применение во многих областях: наука, медицина, проектирование, игровая индустрия, фотография, различные спортивные симуляторы и тренажеры. Для многих систем из этого списка актуальна задача обеспечения естественного и удобного интерфейса для управления виртуальными объектами. Для этого требуется точное позициони­рование объекта в виртуальной сцене, решить данную задачу могут системы от­слеживания и распознавания.

Существующие системы можно разделить на следующие типы (по фи­зическому принципу их устройства) [13]:

- Оптические (маркерные и безмаркерные). Данные устройства работают на основе определения образов. Это всем хорошо известные и распространенные сегодня повсеместно видеокамеры.

- Механические. В данных устройствах происходит механическое измерение, вводится система метрик и точка отсчета.

- Инерционные. В этих устройствах могут использоваться различные акселерометры и гиро­скопы. При этом, когда происходит расчет положения объекта, используются интегрированные выходные значения ги­роскопов, связанными с угловыми скоростями вокруг соответствующих осей.

- Акустические. В подобных устройствах могут быть использованы и микрофоны, и устройства, генерирующие звуки для определения местоположения.

- Магнитные\Электромагнитные. В подобных устройствах могут быть использованы специальные магнитные или электромагнитные устройства (катушки), определяющие напряженность магнитного поля.

В последнее время рынок оптических систем значительно вырос, а количество реализаций сопутствующих алгоритмов для распознавания жестов и отслеживания положения различных предметов увеличилось. Отдельный интерес представляют камеры и датчики глубины, так как они обладают высокой точностью и не влияют на степень восприятия виртуального окружения из-за отсутствия физического контакта. При этом реализация человеко-машинного интерфейса с возможностью проведения экспериментальных измерений степени восприятия виртуального пространства и точности позиционирования и манипуляции является актуальной задачей, начиная заниматься которой, требуется провести исследование технологий отслеживания и распознавания жестов и объектов. Таким образом, целью данной работы является выбор аппаратной и программной составляющей камер и датчиков глубины, осу­ществляющих оптический трекинг. Они будут использованы в последующем для решения вышеупомянутых задач по измерениям степени восприятия виртуального пространства.

 

 

Распознавание жестов

 

Из суще­ствующих типов устройств (оптические, механические, инерционные, акустические и магнитные) для целей данной работы подходят только оптические, так как они имеют достаточную точность и удобны в использовании [13]. Из оптических систем распознавание жестов для решения задач трекинга мелкой моторики рук лучше всего подходят два устройства: Leap Motion и Intel RealSense. У обоих отслеживание про­исходит в ближней зоне в пределах полусферического объема от 0.2 до 1 метра, они могут быть интегрированы с движком Unity, который используется для разработки AR-приложения и позволяют получать как данные абстрактных модулей, описы­вающие руки, так и «сырые» данные с камеры. Окончательный выбор пал на Leap Motion, так как он обладает меньшими размерами и его можно легко закрепить на очки дополненной реальности.

 

 

Результаты

 

Разработан макет приложения «Универсальный словарь образов».

Каждая тема (мы назвали отведенное ей место фреймом), получает для своей реализации одну либо несколько страниц. Страница включает один кадр (или ком­пьютерный макет), состоящий из нескольких картинок-образов. Получается иерар­хическая лестница простых и сложных словарных единиц, каждая из которых полу­чает специфическое название. Таким способом мы создаем профессиональную тер­минологию для нового вида лексикографии, где основным слагаемым служит образ.

Кроме содержательных единиц отражающих реальные объекты, в словарь включены пять синтаксических образов (стрелки, координаты, иконки  телефона, компьютерной мышки, кулак с поднятым большим пальцем - одобрение, с пальцем, обращенным вниз - неодобрение).

Некоторые макеты построены по принципу продолженного действия. Напри­мер, на макете обычных магазинов показано: как входить в магазин (одна картинка), выбрать тележку или корзинку для покупок (еще картинка), выбрать покупки из представленных на полках товаров, заплатить в кассе и запаковать покупку в ме­шочки (всего пять картинок). В будущих вари­антах словаря, компьютерном или смартфоновском, предложенные действия будут демонстрироваться в виде единого продолжающегося клипа. В нынешнем печатном словаре они показаны по-отдельности.

Первый вариант приложения разработан для Windows и доступно по адресу: https://bigwer.ru/zol/index.html. Оно построено по иерархическому признаку. Все переходы осуществляются либо по меню, либо по картинкам при наведении указателя. В верхней части экрана находится навигационное меню, по которому можно вернуться на более высокий уровень.

Пока приложение включает три категории: аэропорты, железнодорожные вокзалы, городской транспорт. Строки меню включают текст и поясняющую иконку. Тестовый вариант приложения разработан на русском и английском языках.

При выборе одной из категорий, выводится графическое меню, рисунки кото­рого интуитивно понятны даже для индивидуумов, не знакомых ни с русским, ни с английским языками. Картинки содержат пояснения. На третьем уровне приводится более подробная структура выбранной категории с дополнительными значка­ми-обозначениями и пояснениями к ним в нижней части экрана.

 

 

Выводы

 

При решении научно-технических задач возникло целое научное направление когнитивных методов, которые являются основой образного мышления, ранее используемого в области изобразительного искусства. Проект направлен на создание универсального (в значительной степени всеобъемлющего) словаря различных образов, используемых по всему миру в различных областях человеческой деятельности. Под образом мы понимаем знак, имеющий определенное значение и работающий на перенос внешних ощущений и впечатлений человека в мозг, где он обрабатывается физиологически и используется для сохранения его в памяти ради создания базы для последующих реакций человека на внешние раздражители и эффективные реакции. Образы создают базу для словесных обобщений и их передачу другим людям, то есть являются основой для межличностной коммуникации.

Образы первоначально индивидуальны для каждого человека, но обработанные словесно, могут стать общими для той или иной культурной среды. Тогда они становятся хранителями коллективного опыта, который реализуется для коммуникации между людьми внутри одной или разных культур в повседневных действиях каждого из нас. Мы намерены выбрать наиболее распространенные в мире образы, прокомментировать словесно либо другими синонимичными образами их понимание людьми разных культур и затем использовать эти данные в различных практических приложениях.

 

 

Благодарность

Работа над данной статьей проходила при поддержке Российского фонда фундаментальных исследований, гранты 18-07-00225, 18-07-01111 и 18-07-00909.

References

1. GOST R 57581-2017 Turisticheskie uslugi. Informacionnye znaki sistemy navigacii v sfere turizma. Obschie trebovaniya: utv. i vveden v deystvie Prikazom Federal'nogo agentstva po tehnicheskomu regulirovaniyu i metodologii ot 08.08.2017g. № 823-st // Nacional'nyy standart Rossiyskoy Federacii: Tehekspert: elektronnyy fond pravovoy i normativno-tehnicheskoy dokumentacii. - Rezhim dostupa: http://docs.cntd.ru/document/1200146503

2. Suleymanova O., Holodova D. Sistema gorodskoy navigacii goroda Moskvy kak problema mul'tikul'turnogo modelirovaniya lingvisticheskogo obraza goroda //Joural of English Studies at NBU. 2015. Vol. 1. Iss. 1. p. 97-115. http://esnbu.org/data/files/2015/2015-1-8-suleimanova-holodova-pp97-115.pdf.

3. Shon A. Real'nyy putevoditel' po supergrafike: graficheskiy dizayn v gorodskoy srede [perevod s angl. Natal'i Tomashevskoy]. M.: KoLibri, cop. 2019. 384 s.

4. Kurguzova M.A. Graficheskiy dizayn kak sposob orientacii v gorodskom prostranstve // Regiony. Goroda. Rakursy i paralleli: materialy VI Vserossiyskoy nauch.-prakt. konf. 2018. S. 120-125.

5. Bychkov Yu.A. Prakticheskoe primenenie graficheskogo dizayna - infografiki v gorodskoy srede // Arhitektura i arhitekturnaya sreda: voprosy istoricheskogo i sovremennogo razvitiya - 2018.: materialy mezhdunarodnoy nauch.-prakt. konf. 2018. S. 45-49.

6. Alekseeva A.V., Zhuk S.I. Faktory, vliyayuschie na formirovanie imidzha goroda // Forum molodyh uchenyh. 2019. №5(33). S. 127-129.

7. Zagranichnyy A.I., Kublin I.M., Saninskiy S.A. Osobennosti formirovaniya imidzha goroda // Vestnik Saratovskogo gosudarstvennogo social'no-ekonomicheskogo universiteta. 2017. №3 (67). S. 52-57.

8. Germogenova L.N. Rossiyskiy turizm glazami inostrannyh turistov // Vestnik sovremennyh issledovaniy. 2018. № 11.5 (26). S.62-63.

9. Vladimirova A.A. Problemy, s kotorymi stalkivayutsya inostrannye turisty v Moskve // Sovremennyy menedzhment: problemy, gipotezy, issledovaniya. Sb. nauch. Tr. VIII ezhegodnoy nauch. mezhdunarod. konf. fakul'teta biznesa i menedzhmenta. 2017. S. 103-110.

10. Lilian Atieno Gangla. Pictorial illustrations in dictionaries. Pretoria, 2001. - 93 r.

11. Fleming L. Sheikhian M. 1972. Influence of Pictorial Attributes on Recognition Memory. Audio Visual Communication Review. 1972. Vol. 20. p 423-441.

12. Bergenholtz H. Tarp S.(eds) 1995. Manual of specialized lexicography: the preparation of specialised dictionaries. Amsterdam/Philadelphia: John Benjamins Pub¬lishing Company. P.195

13. V.A.Kiselev, A.S.Klimenko, S.V.Klimenko, M.V.Mihaylyuk, V.I.Pestrikov, M.A.Hlamov, K.V.Chuvilin, M.V.Fursa, N.L.Hakim, T.K.Shi. Sovremennye ustroystva trekinga dlya sistem virtual'nogo okruzheniya: tr. nauch. konf. CPT1617. Institut fiziko-tehnicheskoy infor-matiki. 2017. S. 114-120.

14. Hlamov M.A., Kiselev V.A., Chuvilin K.V. Ispol'zovanie zhestov v prilozhenii dopolnennoy real'nosti dlya obucheniya sotrudnikov ASU TP AES: tr. mezhdunar. nauch. konf. SCVRT2018. IFTI. 2018. S. 149-155.

Login or Create
* Forgot password?