Обнаружение и сопровождение объектов на видеопоследовательностях: формализация, критерии и результаты

Abstract

Одним из перспективных направлений развития и внедрения искусственного интеллекта является автоматическое обнаружение и отслеживание движущихся объектов в системах видеонаблюдения. В работе представлена формализация обнаружения и сопровождения одного и множества объектов на видеопоследовательностях. Рассмотрены критерии, характеризующие качество обнаружения сопровождаемых объектов, точность определения местоположения объекта на кадре, траекторию движения и точность сопровождения множества объектов. На основе рассмотренного обобщения разработан алгоритм сопровождения людей, использующий сверточные нейронные сети для детектирования людей и формирования признаков. Нейросетевые признаки включены в составной дескриптор, содержащий также геометрические и цветовые характеристики для описания каждого обнаруженного человека в кадре. Приведены результаты экспериментов на основе рассмотренных критериев, экспериментально подтверждено, что улучшение работы детектора позволяет повысить точность сопровождения объектов. Представлены примеры кадров обработанных видеопоследовательностей с визуализацией траекторий движения людей.=One of the promising areas of development and implementation of artificial intelligence is the automatic detection and tracking of moving objects in video sequence. The paper presents a formalization of the detection and tracking of one and many objects in video. The following metrics are considered: the quality of detection of tracked objects, the accuracy of determining the location of the object in a frame, the trajectory of movement, the accuracy of tracking multiple objects. Based on the considered generalization, an algorithm for tracking people has been developed that uses the tracking through detection method and convolutional neural networks to detect people and form features. Neural network features are included in a composite descriptor that also contains geometric and color features to describe each detected person in the frame. The results of experiments based on the considered criteria are presented, and it is experimentally confirmed that the improvement of the detector operation makes it possible to increase the accuracy of tracking objects. Examples of frames of processed video sequences with visualization of human movement trajectories are presented.