Вверх

19-14Г «Разработка и исследование технологии анализа изображений для систем технического зрения летательных аппаратов»

Соглашение от 27.06.2014 г. №14.574.21.0056, проект RFMEFI57414X0056

Резюме проекта - форма D1

Постер

Мониторинг и дистанционное зондирование земной поверхности и объектов, экологический контроль, фото- и видео- документирование хода строительных, сельскохозяйственных работ, состояния линий электроснабжения, коммуникаций, лесов, водных объектов, особенно в чрезвычайной обстановке в различных районах, движения на автомобильных, железных дорогах и реках остаются важнейшими задачами обеспечения государственного управления, деятельности экономики, энергетики, транспорта.

 Сегодня для получения информации широко используются высокоточные фото-, видео- системы, работающие в оптическом (видимом), тепловом диапазонах электромагнитных волн, лазерные комплексы обзора и регистрации трехмерных данных. Их основными носителями являются пилотируемые, в том числе малые, и беспилотные летательные аппараты (БЛА), которые все шире применяются при решении широкого спектра практических задач аэрофотосъемки, разведки, обнаружения пожаров, контроля сейсмической, паводковой обстановки, оползней, движения транспорта, общественного порядка, состояния сельскохозяйственных, строительных работ.

 Активным полетам малой и беспилотной авиации препятствуют трудности в организации и обеспечении безопасности маловысотных полетов над крупными населенными пунктами, промышленными объектами повышенной опасности, на направлениях воздушных трасс и местных воздушных линий. Особенно актуален фактор безаварийности при полетах в городской черте.

 Состояние безопасности полетов при массовом использовании малой авиации и БЛА в США в 2015 году демонстрирует 891 доклад в Федеральное управление гражданской авиации США (Federal Aviation Administration) об опасном сближении пассажирских воздушных судов с неопознанными малыми беспилотными воздушными судами, из них два случая столкновений. Анализ причин авиационных инцидентов, произошедших в последнее время, показывает необходимость оснащения ЛА техническими средствами автоматического мониторинга воздушной и наземной обстановки для обнаружения препятствий вблизи ЛА и на трассе полета.

 В США согласно действующим требованиям FAA беспилотная авиация может применяться в едином воздушном пространстве в случае, если БЛА оснащены аппаратурой обнаружения, слежения в воздухе за другими ЛА, оценки угроз и уклонения от столкновения с ними.

 В целях обеспечения безопасности полетов малой и беспилотной авиации должны быть предусмотрены:

 разработка норм летной годности и документов, регламентирующих сертификацию летательных аппаратов и использование бортового оборудования малой авиации и беспилотных систем при управлении воздушным движением;

 структуризация воздушного пространства с созданием зон автономного зависимого наблюдения.

 В зависимости от уровня разрешения на полеты бортовое оборудование ЛА может быть отнесено к следующим классам: базовое, улучшенное, высокооснащенное, высшее. Оборудование высшего класса предназначено для обеспечения выполнения полетов за пределами визуальной видимости (BLOS) на высотах менее 150 метров в зонах с высоким воздушным трафиком днем и ночью.

 *

 Существенное повышение безопасности полетов малой авиации и БЛА – одна из важнейших задач совершенствования их бортового комплекса. Один из эффективных методов ее решения – автоматический мониторинг закабинной обстановки с помощью бортовых оптико-электронных средств с использованием интеллектуальных методов обработки информации и подготовки данных для обеспечения пилотирования летательных аппаратов.

 С учетом этого при поддержке Министерства образования и науки Российской Федерации (соглашение от 27.06.2014 г. №14.574.21.0056, проект RFMEFI57414X0056) кафедрой «Автоматики и информационных технологий в управлении» Рязанского государственного радиотехнического университета (РГРТУ) совместно с Научно-конструкторским центром видеокомпьютерных технологий АО «Государственный Рязанский приборный завод» (АО «ГРПЗ») выполнен научно-исследовательский проект, направленный на создание алгоритмических и программных решений для мультиспектральной системы технического зрения (МСТЗ) ЛА.

  Целью проекта определена разработка технологий обработки и анализа изображений для МСТЗ, обеспечивающих автоматический мониторинг наземных объектов, визуальных ориентиров и воздушных объектов закабинной обстановки пассивными оптико-электронными средствами и решение актуальных задач повышения информационной осведомленности экипажа при пилотировании ЛА:

 – приборного обнаружения и распознавания наземных ориентиров, наблюдаемых визуально;

 – обнаружения, распознавания, оценки положения и параметров движения воздушных объектов;

 – выявления и прогнозирования опасных ситуаций, связанных со сближением ЛА с наземными и другими воздушными объектами.

 На основе результатов, полученных при выполнении данного проекта, сформулированы основные положения технического задания на проведение ОКР по созданию опытного образца программных средств мультиспектральной системы технического зрения.

 **

 Обнаружение и распознавание наземных объектов и визуальных ориентиров на изображениях, полученных средствами бортовой видеосъемки

 В основе алгоритмов обнаружения и распознавания наземных объектов и визуальных ориентиров лежит принцип сопоставления данных видеосъемки, выполняемой с борта ЛА, с данными цифровой модели местности (ЦММ) или цифровых моделей объектов (ЦМО), которые соответствуют навигационным параметрам ЛА в текущий момент времени. Для обнаружения линейно-протяженных визуальных ориентиров (береговые линии, сеть дорог, взлетно-посадочные полосы) используется трехмерная ЦММ. Для обнаружения и распознавания высотных зданий и сооружений используются предварительно подготовленные трехмерные ЦМО.

 Для решения задачи обнаружения и распознавания объектов применен метод нечеткой кластеризации изображения, полученного от видеодатчика МСТЗ ЛА. Нечеткие методы кластеризации позволяют одному и тому же объекту принадлежать одновременно нескольким (или даже всем) кластерам, но с различной степенью. Нечеткая кластеризация во многих ситуациях более «естественна», чем четкая, например, для объектов, расположенных на границе кластеров. Для определения начального приближения используется классический метод кластеризации K-средних. В дальнейшем применяется метод C-средних, в соответствии с которым итеративно уточняются степени принадлежности и положение центров кластеров. На основе методов кластеризации создан алгоритм для извлечения сопоставляемых особенностей (контуров) из реального изображения, полученного от МСТЗ ЛА. Данный алгоритм помимо собственно кластеризации предполагает предобработку входного изображения, включающую фильтрацию и коррекцию гистограммы яркости. Фильтрация заключается в сглаживании с целью снижения уровня шумов. Коррекция гистограммы яркости позволяет усилить контрастность изображения и повысить детализацию, что в дальнейшем повышает качество выделения контуров. На этапе кластеризации предусмотрено проведение анализа качества разбиения яркостей точек на два класса. Кластеризация считается недостоверной, если кластеры располагаются слишком близко друг к другу.

 Результатом работы программы, реализующей алгоритм кластеризации, является контурный препарат наблюдаемого изображения. Для решения задач обнаружения и распознавания наземных объектов необходимо контуры на изображении, полученном от МСТЗ, совместить с контурами изображений, синтезированных с использованием ЦММ и ЦМО. Совмещение осуществляется в спектральной области с помощью корреляционно-экстремального алгоритма. С целью сокращения вычислительных затрат набор эталонных изображений на основе ЦММ и ЦМО генерируется только на основе сведений о положении ЛА. Перебор осуществляется не для всех углов ориентации, а только для угла крена. В этом случае для обеспечения надежности процесса совмещения эталонные изображения генерируются для несколько большего, чем у датчиков МСТЗ, поля зрения. Совмещение изображений обеспечивает высокоточную координатную привязку полученных изображений местности, в результате чего можно установить положение и тип (или наименование) наблюдаемых объектов интереса и визуальных ориентиров.

 

ris1 -_groundobjtest_4_result70
Рисунок 1. Пример решения задачи распознавания наземных объектов и ориентиров сцены

Обнаружение, распознавание, оценка положения и параметров движения воздушных объектов

  Разработанный алгоритм обнаружения воздушных объектов отличается от своих прототипов, во-первых, возможностью обнаружения объектов, размер которых на изображении может варьироваться от нескольких единиц до сотен элементов разложения. Во-вторых, параллельно с обнаружением и оцениванием таких параметров объекта, как координаты, размеры, скорость, обеспечивается возможность получения бинарной маски объекта, что необходимо для его последующего распознавания.

 Основная идея алгоритма заключается в применении многоэтапного подхода, основанного на предварительном обнаружении объектов-кандидатов с последующим подтверждением полученных результатов и восстановлением формы объекта. На первом этапе выполняется построение гауссовской пирамиды изображений, на втором этапе – предварительный поиск объектов на каждом масштабном уровне.

 Предварительный поиск необходим для подавления шума и уменьшения вычислительной трудоемкости на последующих этапах обработки. Как правило, при несоответствии формы объекта и размеров пространственного оператора наблюдается образование множественных близкорасположенных сегментов на бинарных изображениях. Анализируя характер фрагментации сегментов на разных уровнях, можно построить зону интереса, содержащую искомый объект.

 На третьем этапе алгоритма в данной зоне  выполняется процедура сегментации для выделения контура объекта. Для этого предложены два альтернативных подхода: первый построен на основе метода активных контуров без предварительного нахождения границ, второй – на основе детектора границ Канни. Первый вариант требует выполнения нескольких проходов изображения, но гарантирует замкнутость контура, второй – более простой, но нуждается в дополнительном прослеживании границ объекта. Для уменьшения избыточности полученного контурного описания вычисляются признаки, на основе которых выполняется межкадровое сопоставление объектов. Вычисленные признаки также могут использоваться алгоритмом распознавания для отнесения объекта к одному из заданных классов.

 Под распознаванием воздушного объекта понимается как определение его типа из известного набора объектов (самолеты, вертолеты, беспилотные аппараты, птицы). Метод распознавания на основе дескриптора внешнего контура, предложенный авторами, легок в реализации, нетребователен к ресурсам, довольно точен и инвариантен к сдвигу, повороту и масштабу, малочувствителен к аддитивному шуму. Для распознавания объекта выполняется сопоставление дескриптора, сформированного на основе наблюдаемого изображения объекта, с дескрипторами объектов из базы данных, сгенерированными по известным заранее 3D моделям. Благодаря оригинальной процедуре генерации сопоставления дескрипторов удается получить производительность алгоритма, позволяющую распознавать объект, имеющий произвольную ориентацию, за 1-2 с. показаны на рис. 2.

 

ris2
Рисунок 2. Примеры распознавания воздушных объектов
 

Обнаружение опасного сближения с другим летательным аппаратом

 Наземными препятствиями при маловысотных полетах обычно являются неподвижные высотные сооружения (высотные здания, башни, столбы, башенные краны, ЛЭП), расположенные на поверхности земли. Алгоритм обнаружения и оценки параметров наземных высотных сооружений (препятствий) основан на выделении и анализе перемещения опорных точек в последовательности видеокадров, формируемых одним видеодатчиком (ВД). В бортовых оптико-механических системах ВД обычно крепится на внутренней рамке карданного подвеса, устанавливаемого в носовой части ЛА. Предполагается, что в моменты формирования видеокадров регистрируется информация о скорости движения, точных текущих координатах, положении ЛА в пространстве и углах поворота рамок кардана относительно осей ЛА.

 ВД при поступательном движении ЛА с нескольких разных ракурсов формирует изображения объектов, попадающих в поле зрения и возможно являющихся препятствиями. Результатом работы алгоритма обнаружения наземных препятствий являются такие параметры, как габаритные размеры, направление, дальность до высотного объекта и оценки степени опасности объекта как препятствия и ситуации сближения с ним.

 Вероятность обнаружения высотных сооружений зависит от скорости носителя, дальности до препятствий, их расположения в поле обзора. Данные параметры влияют на скорость изменения угловых координат точек объекта при движении носителя. При низкой скорости изменения угловых координат точек объекта для ее увеличения и повышения точности работы алгоритма следует выбирать более длинную предысторию видеокадров.

  

ris3
Рисунок 3. Обнаружение наземных препятствий и измерение дальности до них на видеосюжете, полученном с борта БЛА

 

 Линии электропередач (ЛЭП) являются особым типом препятствий, для обнаружения которых разработан специализированный алгоритм, основанный на выделении линий с помощью модифицированного авторами преобразования Радона. Его отличием от классического аналога является использование и величины, и направления градиента яркости изображения для детектирования ЛЭП по признаку, в соответствии с которым изображение провода должно содержать два близко расположенных яркостных перепада, сопоставимых по модулю, но противоположных по направлению. При обнаружении проводов ЛЭП необходимо учитывать возможность их провисания. Для этого наблюдаемое изображение разбивается на блоки, к которым модифицированное преобразование Радона применяется по отдельности. В итоге, в каждом из блоков может быть обнаружено несколько сегментов прямых линий.

 Объединение сегментов из различных блоков реализуется с использованием мультиагентного оптимизационного подхода. Сегменты выступают в роли «разумных» агентов, которые стремятся объединиться друг с другом таким образом, чтобы в итоге получилась линия максимальной длины. При этом учитываются ограничения на локальную и глобальную кривизну получаемых линий. Для уменьшения частоты ложных срабатываний применяется дополнительная обработка, которая заключается в устранении из рассмотрения нестабильных во времени сегментов

 

ris4
Рисунок 4. Пример обнаружения проводов ЛЭП на видеосюжетах, сформированных в полете
 

 Следует отметить, что разработка алгоритмов проводилась с учетом того, что в будущем они должны быть реализованы на бортовой вычислительной платформе ЛА, имеющей ограничения по объему памяти и скорости вычислений.

 Основные показатели эффективности в предложенных подходов, полученные в экспериментах при отношении сигнал/шум 6 и более:

 – частота правильного обнаружения наземных объектов и визуальных ориентиров – 91,2% при частоте ложных тревог 0,07%;

 – частота правильного обнаружения воздушных объектов – 97,5% при частоте ложных тревог 0,06%.

 При этом частота правильной идентификации опасных ситуаций превысила 96% при частоте ложных тревог 0,7%.

 Разработанные технологии анализа изображений воплощены в программном комплексе, позволяющем производить экспериментальную отработку и исследования с использованием синтезированных и полученных в натурных условиях видеосюжетов. Эффективность подтверждена в экспериментальных исследованиях.

 









 

Рязанский государственный радиотехнический университет - 19-14Г «Разработка и исследование технологии анализа изображений для систем технического зрения летательных аппаратов»