Грант РФФИ № 21-71-10056 https://rscf.ru/project/21-71-10056/
Название: Создание моделей и методов интеллектуально-геометрического управления робототехническими системами в недетерминированной среде на основе обработки многомодальной слабоструктурированной информации, представления и автоматического пополнения знаний бортовых решателей
Руководитель проекта: Хачумов Михаил Вячеславович
Организация финансирования: Федеральное государственное бюджетное учреждение науки Институт программных систем им. А. К. Айламазяна Российской академии наук
Срок выполнения при поддержке РФФИ: 07.2021 — 06.2024
Проект направлен на решение фундаментальной научной проблемы совершенствования в рамках единой теории методов интеллектуального и геометрического управления робототехническими системами в недетерминированной окружающей среде на основе глубокой обработки слабоструктурированной информации, доставляемой системами технического зрения, представления и автоматического пополнения знаний, создания альтернативных информационных каналов и каналов управления. Слабоструктурированная информация поступает на борт робототехнической системы в виде снимков в различных форматах от систем технического зрения, датчиков ориентации и телеметрии, речевых и текстовых каналов управления и других подсистем. Наличие альтернативных источников многомодальной слабоструктурированной информации служит средством повышения надежности управления и автономности беспилотных аппаратов. Мультимодальные текстовые, речевые и графические каналы информации дополняют друг друга, расширяют возможности систем управления и принятия решений.
Актуальность темы исследования и ее научная новизна определяются потребностью создания и оснащения робототехнических систем новыми многофункциональными комплексами технического зрения, интеллектуальными решателями, альтернативными каналами и бортовыми системами управления, способными передавать, обрабатывать и использовать поступающую слабоструктурированную информацию для эффективного решения целевых задач (включая задачи траекторного движения в недетерминированной среде, распознавания целевых объектов, позиционирования и определения ориентации, безопасного формирования заданного строя, пополнения знаний и планирования коллективного поведения) в автономном режиме. Важное значение для автономного управления приобретают механизмы автоматического пополнения и обработки знаний на борту, необходимые для принятия оперативных решений в процессе выполнения задания. Планируется разработать новую модель представления и пополнения знаний в виде набора типовых подзадач, заданных безотносительно к конкретной области, которые позволяют конструировать сложные программы целенаправленной деятельности с полиномиальной сложностью в априори недоопределенных условиях. Это позволит интеллектуальному решателю задач эффективно функционировать при ограничениях на бортовые вычислительные ресурсы.
Научная новизна исследования определяется созданием новой теории, методологии и инструментальных средств планирования поведения и интеллектуально-геометрического управления робототехническими системами, опирающихся на методы обработки многомодальной слабоструктурированной информации, автоматического приобретения знаний и выработки управлений в недетерминированных средах, включая
1) постановку и решение новых целевых задач интеллектуально-геометрического управления группами робототехнических систем для формирования коалиций и реализации сложного траекторного движения в недетерминированной окружающей среде с контролем безопасного сближения;
2) постановку и решение задач представления и приобретения знаний на основе фреймовых продукций, моделей растущих нечетких семантических сетей, условно-зависимой логики и выработку на этой основе правил управления БПЛА;
3) постановку и решение задач оптимизации конвейерно-параллельных вычислений измерительных и управляющих функций в условиях ограничений ресурсов бортовых вычислителей;
4) постановку и решение задачи построения универсальных интеллектуальных интерфейсов управления, использующих текстовые, речевые и жестовые команды на основе обобщения формализованных представлений, методов обработки и когнитивного отображения слабоструктурированной многомодальной информации;
5) планирование производственно-технологических работ на основе БПЛА, оснащенных современными СТЗ и манипуляторами, включая механическую обработку, мониторинг и контроль состояний целевых объектов, доставку грузов и обеспечение мобильной связи в труднодоступных и опасных местах.
Научная и практическая значимость решения фундаментальной задачи определяется существенным повышением автономности, надежности и эффективности функционирования робототехнических систем за счет создания теории интеллектуально-геометрического управления и внедрения интегрированных интеллектуальных технологий решения целевых задач в условиях неопределенности и ограничений на бортовые вычислительные ресурсы.
Выполнена систематизация и классификация методов обработки слабоструктурированной информации, моделей представления и методов пополнения знаний, как составной части технологии интеллектуально-геометрического управления робототехнических систем.
Показано, что для беспилотных летательных аппаратов (БПЛА) характерна слабоструктурированная информация, содержащая цифровые изображения, видеоданные и речевые сообщения. Особым видом информации служат знания, необходимые для функционирования систем в сложных условиях. В качестве моделей представления знаний определены фреймовые структуры, продукционные правила, семантические сети, импликативные решающие правила. К фреймовым структурам отнесены фрейм-микропрограммы поведения и фрейм-операции. Фрейм-микропрограмма строится на основе формул логики условно-зависимых предикатов. Модель позволяет сократить пространство поиска решений за счет выбора результативных операций на каждом шаге планирования. Структура фрейм–операции включает требуемые условия и результат, который можно получить после ее реализации.
Доказан ряд утверждений, определяющих возможность правдоподобного вывода интеллектуальным решателем БПЛА в текущих условиях. Рассмотрены условно-зависимые предикаты, позволяющие пополнять недостающие знания и задавать условия результативной отработки действий. Определены структуры дедуктивных, индуктивных и традуктивных правил вывода логики условно-зависимых рассуждений. Разработаны типовые конструкции в виде импликативных решающих правил, сформированных на основе полипеременных (т.е. множественных по составу) условно-зависимых предикатов.
Разработаны методы обработки слабоструктурированной информации на борту БПЛА, обладающих ограниченными вычислительными ресурсами. Предложенные методы распознают целевые объекты на цветных, мультиспектральных и радиолокационных снимках. Экспериментальные исследования осуществлялись на нейронной сети типа «Darknet». Доля распознанных объектов составила 0.898. Для распознавания голосовых команд были использованы библиотеки: VOSI-API, VOSK-Server, denoiser, pydub. Обработка жестов выполнялась посредством модифицированной библиотеки YOLO («Darknet»). Жестовые команды сопровождались речевыми данными. Результаты распознавания на обучающей и тестовой выборках после обучения сети обеспечили точность и полноту распознавания свыше 99%. Разработан комплекс методов выявления аномалий, контроля и прогнозирования состояния датчиков. Погрешность восстановления данных нейронной сетью составила RMSE=0.16. Решена задача регулируемого по глубине прогнозирования для предупреждения достижения датчиками пороговых значений. Точность прогноза - порядка 86%. Выполнена систематизация функций, возлагаемых на бортовой вычислительный комплекс.
Предложено математическое обеспечение на основе алгоритмов семейства CORDIC для вычислений в последовательном и конвейерно-параллельном режимах.
Разработана архитектура интеллектуального интерфейса для поддержки управления БПЛА на основе анализа мультимодальной слабоструктурированной информации, способного обрабатывать графическую и текстовую информацию, речевые и жестовые команды человека-оператора.
Разработана архитектура мультимодального интерфейса БПЛА. Потоки входных управляющих команд обрабатываются на наземной станции, после чего преобразуются в команды, которые пересылаются через смартфон и пульт в микроконтроллер квадрокоптера. В силу технических особенностей БПЛА пульт управления в режиме удаленных команд выполняет роль роутера. Жестовая система комбинируется с голосовыми модальностями и включает команды взлета, перемещения, снижения возврата и посадки. Текстовые команды рассматривались лишь как потенциально возможный способ управления.
Получены новые модели представления знаний автономных интеллектуальных систем с применением формул логики условно-зависимых предикатов.
Разработан набор типовых базовых, промежуточных и тупиковых элементов роста, на основе которых автоматически формируется план поведения в виде растущей редукционной сетевой модели. Базовые элементы имеют формат <«ядро», «крона»>, а тупиковые <«ядро», «ветви»>. Достижение тупиковых элементов роста на ветвях говорит о конце построения плана. Предложена адаптивная модель на основе нечетких активных и пассивных семантических сетей. Вершины пассивной сети помечаются конкретными объектами проблемной среды, а дуги значениями отношений между данными объектами и событиями, переводящими ее объекты из одного состояния в другое. Вершины активной сети помечаются характеристиками, которыми должны обладать в текущем состоянии объекты проблемной среды. Дуги помечаются либо термами лингвистической переменной и соответствующими им интервалами численных значений, либо характеристиками, позволяющими установить события, в результате появления которых происходит определенное изменение текущего состояния. Предложенная модель наделяет интеллектуальную систему возможностью автоматического планирования целенаправленного поведения.
Разработаны методы пополнения знаний, основанные на нечетком выводе правдоподобных умозаключений с необходимой для принятия решений степенью истинности и позволяющие получить недостающие сведения об объектах проблемной среды.
Пополнение знаний основано на применении логики условно-зависимых предикатов и нечеткого описания характеристик, определяющих предметные переменные и объекты проблемной среды. Построены правила вывода правдоподобных умозаключений. Традуктивные правила используют степени нечеткой схожести или равенства сравниваемых между собой объектов. Правила индуктивного вывода формируются с целью обобщения различных фактов об объектах. На основе индуктивного вывода можно сформировать условно-зависимый предикат, обобщающий исходные правдоподобные высказывания. Дедуктивные правила вывода применяются для пополнения знаний. Дальнейшее развитие методов пополнения знаний сводится к построению комбинированных правил вывода сложных правдоподобных умозаключений.
Разработаны методы управления движением БПЛА в нестабильных условиях воздушной среды.
Введено понятие полной проблемной ситуации на объекте управления, включающее вектор отклонений параметров состояния автономного БПЛА от требуемых значений и возмущающие факторы среды. Предложенная нечеткая модель ситуационного управления не требует сложных вычислений и может быть реализована на борту. Определены условия, при выполнении которых нечетко представленные проблемные ситуации являются обобщением и поглощают аналогичные проблемные ситуации, возникающие на объекте управления. Это позволяет существенно сократить число логико-трансформационных решающих правил и определять управляющие воздействия во время полета в условиях неопределенности. Предложены постановки и схемы решения задачи преследования-убегания в условиях внешних возмущений. Методы геометрического управления используются для прогнозирования и расчета точек встречи, оптимизации траекторного движения. Методы интеллектуального управления позволяют игрокам формировать стратегии поведения в условиях неопределенности. Проведены экспериментальные исследования с использованием математических моделей движения БПЛА и ветровых нагрузок. Показано, что методы интеллектуально-геометрического управления позволяют решать сложные траекторные задачи в условиях ветровых возмущений.
Общим научным результатом первого года исследования является разработка методов интеллектуального анализа слабоструктурированной информации и моделей представления знаний, которые в совокупности создают теоретическую и методологическую основу для решения задач управления на основе мультимодальной информации, увеличивает автономность и надежность функционирования БПЛА в условиях помех.
1. Мелехин В. Б., Хачумов М. В. Нечёткая модель ситуационного управления параметрами полёта автономного беспилотного летательного аппарата в условиях неопределённости // Мехатроника, автоматизация, управление, № 12, Т. 22, С. 650-659 (год публикации — 2021)
2. Мелехин В. Б., Хачумов М. В. Planning polyphase behavior of autonomous intelligent mobile systems in uncertain environments // Информационно-управляющие системы, № 4, С.28-36 (год публикации — 2021)
3. Мелехин В. Б., Хачумов М. В. Планирование поведения автономного летающего робота в пространстве подзадач. Процедуры вывода решений // Искусственный интеллект и принятие решений, №3, С.93-105 (год публикации — 2021)
4. Мелехин В. Б., Хачумов М. В. Principle of constructing procedures for planning behavior of autonomous intelligent robots based on polyvariable conditionally dependent predicates // Automation and Remote Control, No. 4, pp. 140–154. (год публикации — 2022)
5. Фраленко В. П., Шишкин О. Г. Интеллектуальные методы обработки данных телеметрии, визуальная инспекция по видеозаписям и данным лазерного сканирования // Современные наукоемкие технологии, №1, с.107-113 (год публикации — 2022)
6. Хачумов М. В., Талалаев А. А., Панкратов А.С. Onboard computer function implementation based on cordic algorithm // 2022 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), p. 1-6 (год публикации — 2022)
7. Хачумов М. В., Хачумов В. М. Notes on the pursuit-evasion games between unmanned aerial vehicles operating in uncertain environments // 2021 International Conference Engineering and Telecommunication (En&T), P.1-5 (год публикации — 2021)
8. Хачумов М. В., Хачумов В. М., Абрамов Н. С., Фраленко В. П. Range Measurement by Computer Vision Systems Based on Invariant Moment // 2021 25th International Computer Science and Engineering Conference (ICSEC), P. 1-4 (год публикации — 2021)
9. Калугин В. Ф., Фраленко В. П. Однопроходное обнаружение и классификация целевых объектов на панорамных изображениях дистанционного зондирования Земли с использованием усиления признаков на основе слияния разноуровневых карт // Свидетельство № 2021665264. Зарегистрировано в Реестре программ для ЭВМ. Дата регистрации 22.09.2021.
10. Калугин В. Ф., Фраленко В. П. Однопроходное обнаружение и классификация целевых объектов на панорамных изображениях дистанционного зондирования Земли с использованием сегментации Фельценсвальба, радиальной трансформации градиентов и каскада лесов // Свидетельство № 2021665265. Зарегистрировано в Реестре программ для ЭВМ. Дата регистрации 22.09.2021.
11. Фраленко В. П., Хачумов В. М., Хачумов М. В. Измерение расстояний между пирамидами видимости на основе инвариантных моментов // Свидетельство № 2022611976. Зарегистрировано в Реестре программ для ЭВМ. Дата регистрации 04.02.2022.
1. Разработан метод улучшения качества изображения по серии снимков в процессе мониторинга целевых объектов. Получено решение двух важнейших задач улучшения видеопотока от БПЛА: удаление размытия и стабилизация видео. Итоговое решение позволяет осуществлять полный цикл обработки видеопотока с задержкой не более чем на 0.03 секунды за счет применения конвейерного метода обработки данных.
2. Разработаны методы наведения камеры и распознавания целевых 3D–объектов на основе пирамид видимости и обобщенной метрики. Решаемая задача соответствует наблюдению за объектами и их распознаванию с разных высот и ракурсов, предполагается наличие 3D-модели объекта. Предварительно строятся пирамиды видимости в сочетании с вычислением инвариантов наблюдаемых изображений и обобщенной метрики. К 3D-модели объекта последовательно применяют аффинные преобразования для решения оптимизационной задачи наведения на наблюдаемое изображение.
3. Разработан графический интерфейс БПЛА для работы с мультимодальными данными и решения на этой основе задач мониторинга и слежения за целевыми объектами. Предложен комбинированный интеллектуальный интерфейс системы управления БПЛА типа квадрокоптер, интегрирующий голосовое и жестовое управления. Проведенные эксперименты показали высокую точность и полноту распознавания голосовых команд и жестов с применением ИНС сверточного типа. Разработан метод автоматического построения модели воспринимаемых в проблемной среде объектов в виде гиперграфа «видимости», позволяющего на основе его сравнения с эталоном, распознавать объекты по мере необходимости в процессе планирования поведения.
4. Разработан подход к планированию поведения в процессе решения сложных полифазных задач на альтернативной основе. Планирование охватывает следующие фазы альтернативного целенаправленного поведения: маршрутизации перемещений в условиях наличия препятствий при отсутствии формального описания карты местности; построение кортежа действий для преобразования текущей ситуации в заданную целевую. Предложена модель представления и обработки знаний на основе справочника типа «запросы и ответы», позволяющая определять действия, необходимые для устранения различий между текущей и целевой ситуациями. Разработаны эвристические правила, обеспечивающие возможность ранжировать порядок отработки действий.
5. Разработаны процедуры самообучения, имеющие полиномиальную функциональную сложность, с применением активных и пассивных нечетких семантических сетей для формального описания текущих ситуаций проблемной среды. Характерной особенностью самообучения является имитация отработки пробных действий в текущих условиях функционирования, что наделяет способностью к изучению закономерностей проблемной среды без изменений в процессе самообучения текущих условий. Найдены граничные оценки сложности алгоритмов самообучения. Проведено имитационное моделирование, организованное на основе предложенного алгоритма самообучения, показавшее его работоспособность и эффективность в нестабильных проблемных средах.
6. Разработаны способы разбиения сложных задач на подзадачи, обеспечивающие возможность автоматического поиска их решения на основе типовых элементов представления знаний. Разбиение основывается на введении структурированного описания образов проблемной среды в модели представления знаний автономных интеллектуальных мобильных систем. Структурированное описание отдельных индивидуумов в модели представления знаний, позволяет пополнить знания, определив особенности их коллективного поведения и взаимодействия между собой.
7. Разработаны методы автоматического целеполагания и методы мотивационного поведения автономных интеллектуальных мобильных систем в нестабильных априори неописанных проблемных средах. Предложена модель представления знаний на основе активных нечетких семантических сетей. Модель позволяет адаптироваться к априори неописанным условиям функционирования и планировать целенаправленную деятельность. Подсистема самоорганизации и управления поведением включает анализатор состояния внутренней и внешней составляющих среды, автоматический генератор подцелей мотивационного поведения, адекватных текущим условиям и заданной основной цели поведения, а также память для хранения модели представления знаний.
8. Разработан метод маршрутизации целенаправленного движения автономным БПЛА в процессе облета территории, поиска цели и преследования подвижного объекта на низкой высоте в окружающей среде с препятствиями. Предложена методика расчета полярных координат точки встречи летательного аппарата с подвижным объектом. Она дает возможность преследования подвижного объекта по упреждающей траектории движения с краткосрочной потерей его восприятия, а также произвольном изменении скорости и направления перемещения в окружающей среде между запрещенными для пролета зонами.
9. Разработан метод безопасного формирования строя и перехода группы летательных аппаратов из одной заданной формации в другую в условиях возмущений. Для построения опорных траекторий и распределения БПЛА по позициям заданной структуры предложен подход, основанный на адаптированной нейронной сети Кохонена с набором статистических метрик. Для реализации перемещения группы аппаратов в сложных условиях применяются принципы интеллектуально-геометрического управления, что позволяет сочетать гибкие интеллектуальные и точные геометрические методы управления в рамках одной концепции. Избегание опасного сближения БПЛА осуществляется с помощью специальных продукционных правил.
10. Рассмотрены различные стратегии преследования-убегания. Одна из задач заключается во встрече игроков на окружности или сфере Аполлония, а другая предполагает встречу на эллипсе или эллипсоиде. Эллипсоидальная форма является более общей по отношению к сферической и требует регулировать скорость преследователя в зависимости от ее параметров. Проведенные эксперименты демонстрируют осуществимость и перспективность интеллектуально-геометрического подхода в дифференциальных играх.
11. Даны предложения по решению сложных полетных заданий группой автономных БПЛА в условиях городской инфраструктуры. В результате проверки работоспособности разрабатываемых алгоритмов на базе программного обеспечения DJI Mobile SDK были обоснованы и выработаны следующие рекомендации: 1)подготовка карты местности для анализа местоположения препятствий и возможных траекторий полета; 2) предварительная прокладка маршрутов для каждого БПЛА на карте с городскими постройками; 3) отработка отдельных команд для проверки готовности БПЛА к выполнению полетной миссии; 4) контроль за параметрами БПЛА и планирование оптимальной загрузки оператора при групповом полете; 5) моделирование, отработка и визуализация процесса выполнения маршрутного задания отдельного БПЛА средствами симулятора; 6) закладка на борт каждого автономного БПЛА продукционных правил поведения при наличии препятствий; 7) реализация базы знаний и бортового интеллектуального решателя; 8) конкретизация знаний в процессе планирования поведения в сложных условиях городской инфраструктуры. Моделирование выполнялось в условиях ограниченного воздушного пространства и с применением симулятора.
12. Разработана имитационная модель системы, состоящая из летательного аппарата и бортовой поворотной видеокамеры и выполнено ее исследование в процессе выполнения миссии с применением MATLAB Simulink в возмущенной среде. На основе разработанной имитационной модели системы БПЛА-видеокамера выполнено моделирования процесса слежения за динамическим объектом. Показано, что методы интеллектуально-геометрического управления БПЛА, а также алгоритм управления видеокамерой обеспечивают выполнение тактико-технических требований по функциональным возможностям, точности и скорости наведения.
1. Абрамов Н. С., Емельянова Ю. Г., Талалаев А. А., Фраленко В. П., Хачумов М. В. Архитектура мультимодального интерфейса для управления беспилотным летательным аппаратом // Известия высших учебных заведений. Авиационная техника, № 3. с.55-63 (год публикации — 2022)
2. Мелехин В. Б., Хачумов М. В. Виды мышления автономных интеллектуальных мобильных систем и особенности их организации // Информационные технологии в управлении (ИТУ-2022) (Санкт-Петербург, 4-6 октября 2022 г.), С. 47-50 (год публикации — 2022)
3. Мелехин В. Б., Хачумов М. В. The principle of object recognition in a problem environment in the process of planning the behavior of an autonomous intelligent mobile system // Marine intellectual technologies, №3-1, Т. 57, С. 181-187 (год публикации — 2022)
4. Мелехин В. Б., Хачумов М. В. Planning the behavior of autonomous intelligent robots under conditions with a high level of a priori uncertainty // Marine intellectual technologies, №3-1, Т. 57, С. 274-281 (год публикации — 2022)
5. Мелехин В. Б., Хачумов М. В. Процедуры самообучения автономных интеллектуальных мобильных систем в нестабильных априори неописанных проблемных средах // Мехатроника, автоматизация, управление, № 7, Т. 23, С. 356-366 (год публикации — 2022)
6. Мелехин В. Б., Хачумов М. В. Classification and structured description of objects of the problematic environment in the knowledge representation model of autonomous intelligent mobile systems // Marine intellectual technologies, №4, Ч.1, С.177-184 (год публикации — 2022)
7. Мелехин В. Б., Хачумов М. В. Принцип организации мотивационного поведения и автоматического целеполагания автономных интеллектуальных мобильных систем // Мехатроника, автоматизация, управление, № 2, Т. 24, С. 75-84 (год публикации — 2023)
8. Мелехин В. Б., Хачумов М. В. The principle of concretization of abstract knowledge by an autonomous intelligent robot in the process of planning behavior under uncertainty // Marine intellectual technologies, №1-1, Т. 59, С. 181-190 (ссылка)
9. Мелехин В. Б., Хачумов М. В. Маршрутизация целенаправленного движения автономным беспилотным летательным аппаратом в процессе преследования подвижного объекта // Авиакосмическое приборостроение, № 4, С. 25-31 (ссылка)
10. Фраленко В. П. Повышение качества видеопотока от системы технического зрения беспилотного летательного аппарата // Программные системы: теория и приложения, №2 (год публикации — 2023)
11. Хачумов М. В. An approach to formation control of UAVs based on applying adapted Kohonen neural network // 2023 IEEЕ Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT) (ссылка)
12. Хачумов М. В. Application of geometric invariants in the problem of trajectory tracking for UAVs // 2022 International Siberian Conference on Control and Communications (SIBCON), C. 1-5 (год публикации — 2022)
13. Хачумов М. В., Хачумов В. М., Ковалёв А. К., Панов А. И. Pattern-Recognition Tools and Their Applications // Pattern Recognition and Image Analysis. Advances in Mathematical Theory and Applications, No.1, vol.33, 2023, pp. 28-38. (ссылка)
14. Хачумов М. В., Шишкин О. Г., Хачумов В. М. Мониторинг и контроль текущего состояния датчиков космического аппарата // Авиакосмическое приборостроение, №2, с. 23-29 (ссылка)
15. Шишкин О. Г., Хачумов В. М. Neural network technologies for control of subsystems of small spacecraft // Proceedings of the International Conference on Engineering Research 2021 (ICER 2021), C. 1-8 (ссылка)
16. Мелехин В. Б., Хачумов М. В. Планирование поведения автономных интеллектуальных мобильных систем в условиях неопределенности // Издательство "Политехника", Санкт-Петербург, 276 с. (ссылка)
17. Емельянова Ю. Г., Шишкин О. Г., Фраленко В. П., Хачумов В. М. Программный комплекс для контроля и диагностики датчиковой аппаратуры // Свидетельство № 2022682163. Зарегистрировано в Реестре программ для ЭВМ. Дата регистрации 21.11.2022.