8(495)909-90-01
8(964)644-46-00
pro@sio.su
Главная
Системы видеонаблюдения
Охранная сигнализация
Пожарная сигнализация
Система пожаротушения
Система контроля удаленного доступа
Оповещение и эвакуация
Контроль периметра
Система домофонии
Парковочные системы
Проектирование слаботочных сетей
Аварийный
контроль
Вы находитесь в разделе Типовых решений систем безопасности

Тестирование видеодетекторов движения на выставке ProST 2005



Тестирование детекторов движения в цифровых системах видеонаблюдения состоялось с 18 по 21 октября 2005 года в рамках II Международной выставки профессиональной техники для обеспечения безопасности "ProST 2005", проходившей в Москве в 69 павильоне ВВЦ. Для оценки качества работы детекторов движения использовались тестовые клипы, которые были записаны на кассете формата miniDV и подавались на 1 канал тестируемой системы с помощью бытовой видеокамеры.

Всего было записано 3 тестовых клипа, используемых для оценки качества работы детекторов движения (VMD), и 1 тестовый клип, предназначенный для проверки работоспособности детекторов оставленных и унесенных детекторов (ДОП, SDD, slowdown detector).

  1. "Полусинтезированный" тестовый клип. На реальном фоне перемещаются синтезированные объекты заданных размеров. Здесь мы определяем максимальную пространственную чувствительность детектора движения. Измеряется в пикселах на кадре формата 720х576 пикселов. Некоторые из участников тестирования высказывали пожелания усложнить тестовые клипы. В связи с этими пожеланиями исходный тестовый клип был искусственно "зашумлен", поэтому для данного этапа тестирования приводятся две таблицы с результатами (исходный тест и усложненный тест).
  2. Тест на обнаружение медленных движений. На реальном фоне перемещаются реальные контрастные объекты с очень малой скоростью движения. В таблице указано время движения объекта в кадре.
  3. Тест на обнаружение быстрых движений. На реальном фоне происходит быстрое перемещение реальных объектов с различной контрастностью и разными размерами. В таблице указаны диаметр движущегося объекта (в пикселах) и контраст объекта и фона (в процентах).
  4. Для проверки работоспособности детекторов оставленных и унесенных предметов используется клип, который позволяет одновременно тестировать функцию обнаружения как оставленных, так и унесенных предметов. В клипе на реальном фоне оставляются и уносятся реальные объекты разных размеров и различной контрастности. В таблице указаны размер движущегося объекта (в пикселах) и контраст объекта и фона (в процентах).

Ознакомиться с подробной методикой тестирования детекторов движения вы можете в журнале "CCTV Фокус" N 5 (17) за 2005 год.
Отметим, что данная методика является промежуточной. Она была разработана исключительно для тестирования на выставке "ProST 2005", окончательную методику еще только предстоит разработать, чем в настоящее время заняты специалисты тестовой лаборатории журнала "CCTV Фокус".

По регламенту конкурса-теста все участники предварительно получили тестовые клипы и методику тестирования. Это позволило им заранее подобрать параметры детекторов движения, что значительно сократило время настройки детекторов движения на выставке. А именно этого времени, как обычно, не хватало, тем более что о своем участии заявили 9 отечественных компаний, которые представили 10 цифровых систем видеонаблюдения. Компания ООО "Спецлаб" представила сразу две свои системы видеонаблюдения, а компания "Сатро-Паладин" представила и зарубежную систему Geovision GV-1000. Полный список участников и представленных ими цифровых систем видеонаблюдения мы публикуем ниже. Здесь же хотелось бы упомянуть общие моменты, связанные с проведением тестирований на выставках.

Во-первых, по объективным причинам точность тестирований на выставках достаточно низка, а сами тестирования позволяют лишь приблизительно судить о месте той или иной системы среди других. Конечно, приходится признать, что в таких условиях достаточно велика вероятность ошибки по причине нехватки времени и множества случайных факторов. Кроме того, нужно учитывать и то, что не все участники тестирования сумели подготовиться надлежащим образом к тестам, а это тоже сказалось на результатах. Например, компании "Вокорд Телеком" и ITV по этой причине оказались в числе аутсайдеров в некоторых тестах. И если для "Вокорд Телеком" такая ситуация сложилась из-за неправильной настройки детектора движения и тестирования новейшей версии ПО, а это всегда сопряжено с трудностями и неприятными неожиданностями, то компания ITV не сумела представить на тест свои новейшие разработки в области детектирования движения, которые были внедрены в ПО только через неделю после завершения конкурса-теста. Также не очень ясная ситуация сложилась и с единственной зарубежной системой, представленной на конкурсе-тесте Geovision GV-1000.

Результаты оказались не только весьма посредственными, но и трудно объяснимыми в некоторых случаях, а это наводит на мысль о том, что настройка детектора движения была изначально произведена неправильно. Конечно, на проверку настройки всех детекторов движения не хватит времени на выставке и для проведения тестирования с более высокой степень точности необходимы уже лабораторные условия, которые можно создать только в рамках тестовой лаборатории.

Компания-участник
Представленная система
"Мегапиксел"Megasense v. 6.0
"Цифровые системы"AViaLLe v. 2.0.7
ТПО "Сатро-Паладин"Ceovision GV-1000
"Новые Технологии"CVS "Аккорд-16"
"Ай Ти Ви групп" (ITV)"Интеллект" v. 4.6.1
ЗАО "Вокорд Телеком"Phobos
"Спецлаб"Goal v.8
Goal City
Консорциум "Интегра-С""Интегра-видео" v. 2.1092
"KOMKOM-СБ"Ewclid v. 1.2.0019b22

Впрочем, такие публичные тестирования полезны для рынка безопасности. Разумеется, потребители и сами могут посетить конкурс-тест и сравнить интересующие их системы, что и происходило. По большому счету, именно для этого круга заинтересованных лиц и проводится конкурс-тест, который, кроме того, заявлен как публичный. Но, как выяснилось, такое мероприятие не в последнюю очередь нужно и самим участникам, поскольку дает им редкую возможность встретиться с коллегами по цеху и оценить собственные достижения в сравнении с разработками конкурентов. Нам же оно позволяет приблизительно оценить уровень, на котором сейчас находится разработка детекторов движения у отечественных компаний, так как, вопреки мнению некоторых участников, мы не ставили перед собой задачу определить лидеров в той или иной категории тестов и вручить всем по диплому за успешное участие.

Поскольку данное тестирование все же позволяет получить общее представление (хотя и достаточно фрагментарное) о возможностях детекторов движения в цифровых системах видеонаблюдения, мы публикуем результаты тестирования полностью вместе с комментариями участников тестирования.

Полученные результаты сведены в 4 таблицы (по количеству тестовых клипов). В последней таблице (SDD, детектор оставленных и унесенных предметов) представлены не все системы, так как этот этап тестирования был факультативным, и на него подали заявки не все компании, принимавшие участие в конкурсе-тесте.

Особую благодарность редакция выражает руководству ОВК "Бизон" за организацию конкурса-теста и всем участникам жюри за то, что они нашли время принять участие в тестировании.

Полусинтезированный тест
Размер движущегося объекта (пиксел х пиксел)644832282420161284
MegasenseИсходный тест++++++++++
Усложненный тест++++++++++
Последнее значение 4х4 пиксела было получено после повторной проверки.
AViaLLeИсходный тест++++++++++
Усложненный тест++++++++++
Буфер дозаписи глубиной 1 секунда невозможно отключить, что не позволяет определить точное количество кадров, записанных по детектору движения. Соответственно, качество детекции движения проверить невозможно.
Geovision
Исходный тест+
Усложненный тест
Phobos
Исходный тест++++++++++
Усложненный тест++++++++++
"Интеллект"
Исходный тест+++++++++
Усложненный тест+++++++++
Goal
Исходный тест++++++++++
Усложненный тест+++++++++
В усложненном тесте для движущегося объекта размером 4х4 пиксела было записано менее 50% кадров, но при этом нужно учитывать, что буферы дозаписи отсутствуют.
Goal City
Исходный тест++++++++++
Усложненный тест++++++++++
"Интегра-Видео"
Исходный тест+++++++++
Усложненный тест+++++++++
Для движущегося объекта размером 4х4 пиксела было записано менее 50% кадров, но при этом нужно учитывать, что буферы дозаписи отсутствуют.
Ewclid
Исходный тест++++++++++
Усложненный тест++++++++++
Буфер дозаписи имеет минимальную глубину 1 секунда. Отключить его невозможно, что не позволяет точно определить количество кадров, записанных по детектору движения, и протестировать качество детекции движения.
CVS
Исходный тест++++++++++
Усложненный тест++++++++++
Тест на медленные движения
Длительность, сек
24
4896192
Megasense++++
AViaLLe++++
Geovision
CVS++++
"Интеллект"
Phobos++
Goal+
Goal City++++
"Интегра-Видео"
+++
Ewclid+
Тест на быстрые движения
Диаметр
(пикселы)
Цвет объектаКонтрастКоличество
кадров
с движущимся
объектом
Запись по видеодетектору движения
MegasenseAViaLLe"Интеллект"GeovisionPhobos
45
Фиолетовый
31%
3+++
45
Синий
25%
3+++
45
Розовый
21%
3+++
45
Красный
19%
3+++
45
Зеленый
12%
3+++
45
Желтый
4%
3++
45
Белый
1%
2++
30
Фиолетовый
37%
4+++
30
Синий
27%
4+++
30
Розовый
23%
4+++
30
Красный
22%
4+++
30
Зеленый
14%
4+++
30
Желтый
6%
4++
30
Белый
5%
4++
15Фиолетовый
38%
8+++
15Синий
27%
9+++
15Розовый
24%
9+++
15Красный
23%
8+++
15Зеленый
14%
9+++
15Желтый
6%
9++
15Белый
2%
9+++
Комментарии: Буферная запись (1 секунда) в данном случае может не учитываться, так как длительность фрагментов значительно ее превышает.  Детектор движения правильно отрабатывал все тестовые фрагменты, что подтверждалось визуальной индикацией работы детектора движения. Тем не менее, запись ошибочно стартовала с опозданием на 3-5 кадров, что и не позволило зафиксировать в архиве движущиеся объекты.

Диаметр
(пикселы)
Цвет объектаКонтрастКоличество
кадров
с движущимся
объектом
Запись по видеодетектору движения
GoalGoal City
"Интегра-Видео"EwclidCVS
45
Фиолетовый
31%
3+++++
45
Синий
25%
3+++++
45
Розовый
21%
3+++++
45
Красный
19%
3+++++
45
Зеленый
12%
3+++++
45
Желтый
4%
3++++
45
Белый
1%
2+++
30
Фиолетовый
37%
4+++++
30
Синий
27%
4+++++
30
Розовый
23%
4+++++
30
Красный
22%
4+++++
30
Зеленый
14%
4+++++
30
Желтый
6%
4++++
30
Белый
5%
4+++++
15Фиолетовый
38%
8+++++
15Синий
27%
9+++++
15Розовый
24%
9+++++
15Красный
23%
8+++++
15Зеленый
14%
9+++++
15Желтый
6%
9++++
15Белый
2%
9++++
Комментарии:С включенным режимом "Казино"
    


Тестирование детекторов оставленных/пропавших предматов

AViaLLe v. 2.0.7

Ложные срабатывания на объекты, присутствовавшие в кадре. Отстройка от ложных срабатываний в рамках конкурса-теста оказалась невозможной.

"Интегра-видео" v. 2.1092

Ложные срабатывания на объекты, присутствовавшие в кадре. Отстройка от ложных срабатываний в рамках конкурса-теста оказалась невозможной.

Размер (пикселы)
Контраст
GeovisionGoal
Goal CityCVS
Megasense
Оставленные предметыОставленные/пропавшие предматы
54х58

41%

++
+
+
+
29х2942%+
+
+
+
15х1641%+
+
+
+
7х840%+
+
+
+
56х5724%+
+
+
+
27х3021%++
+
+
+
14х1620%+
+
+
+
8х923%

+
+
54х5911%++
+
+
+
28х3011%+
+
+
+
15х1512%+
+
+
+
6х811%
+

+
54х611%



27х312%



14х152%



7х81%



Комментарии:Тест проводился только на обнаружение оставленных предметов из-за специфики работы системы

   

Комментарии участников

Евгений Серга
заместитель директора
"Новые Технологии"

На мой взгляд, подобные мероприятия очень важны в том аспекте, что не только позволяют потенциальным заказчикам и пользователям проводить сравнение тех или иных систем видеонаблюдения, но и заставляют самих разработчиков совершенствовать свои системы.

Те вещи, которые мы тестировали на конкурсе (детектор движения, детектор оставленных и унесенных предметов), обычно в системах видеонаблюдения не играют ключевой роли. Что действительно важно, так это насколько удобно работать оператору, как реализован поиск по архиву. Но, естественно, без хорошо отлаженных алгоритмов здесь нельзя обойтись.

Как вы понимаете, основная задача разработчиков заключается в том, чтобы их система видеонаблюдения пользовалась большим устойчивым спросом, а спрос определяется тем, насколько удобно с системой работать фирме-инсталлятору и заказчику.

Немалое достоинство подобных тестов связано с тем, что они стимулируют разработчиков не только развивать и совершенствовать те или иные алгоритмы и пользовательский интерфейс, но также учат разработчиков умению демонстрировать свои системы.

В итоге я считаю, что такие конкурсы обязательно нужно проводить, совершенствовать их методику, тестировать и другие аспекты цифровых систем видеонаблюдения, например, те же вопросы работы с архивом, так как я видел, что у некоторых систем при прочих достоинствах это по-прежнему остается слабым звеном.

В заключение я повторю слова Михаила Руцкова: "Наша цель - доказать и показать, что российская продукция может быть лучше зарубежной". А, говоря о зарубежной продукции, я имею в виду не только корейскую или тайваньскую, но и продукцию таких известных западных компаний, как Dalmeier и Geutebrueck.


Андрей Пирогов
технический эксперт цифрового отдела
"САТРО-ПАЛАДИН"

Хотелось бы отметить, что такое тестирование в первую очередь необходимо для самих разработчиков, для тех, кто работает в области разработки программного обеспечения. Здесь и обмен опытом, и, как говорится, себя показать и на других посмотреть. Такой конкурс тест дает хорошую возможность оценить новинки, которые появились в системах видеонаблюдения, понять, куда дальше двигаться, что совершенствовать и что можно взять на вооружение. Для нас, как для компании-дистрибьютора многих известных брендов, было очень интересно оценить состояние передовых отечественных разработок, и, разумеется, продемонстрировать то, что есть у нас.

В плане детекторов движения, конкурс-тест показал, что отечественные системы, вероятно, превосходят многие зарубежные, хотя многим потребителям это уже было ясно с самого начала.


Константин Воробьев
руководитель отдела маркетинга
"СпецЛаб"

Мне понравилось то, что, в отличие от прошлого года, конкурс был подготовлен, были разработаны интересная, на мой взгляд, тестовая программа. Конечно же, представленные тестовые клипы не отражают реальных условий, но для проведения соревнования алгоритмов и математической мысли они были достаточно интересны.

Обидно то, что не совсем соблюдался регламент тестирования. Представьте себе такую ситуацию, когда идут соревнования, спортсмены бегут дистанцию и добегают до финиша. А кто-то, возможно, у себя в тренажерном зале и бегает быстрее, но на соревнованиях он показал определенный результат, и именно этот результат должен засчитываться. Также и повторная проверка в "полусинтезированном" тестовом клипе не должна была проводиться.

Кроме того, по регламенту отстройка от шумов должна была проводиться по отдельному фрагменту без использования основной части тестового клипа, а это соблюдалось далеко не всеми участниками, так как были случаи, когда отстройка производилась по всему клипу и выбирались самые удобные для данного случая настройки детектора.

Мы подготовились к этому тесту честно и серьезно, и показали две системы и их возможности.


Виталий Котовщиков
коммерческий директор, компания
"Цифровые Системы"

Я хочу выразить благодарность организаторам за успешное проведение этого тестирования, что было сделать далеко не так просто, как показалось некоторым нашим коллегам. Но в итоге само мероприятие при всех недостатках, связанных в первую очередь с "полевыми" условиями выставки оставило после себя значительно больше положительных впечатлений, чем негатива.
Мы принимаем участие в конкурсе-тесте уже второй год, то есть с самого начала, а также планируем участвовать и в дальнейшем. Конкурс-тест дает возможность многим компаниям показать себя, продемонстрировать свои системы и их возможности. Но, кроме того, имеется прекрасная возможность увидеть воочию продукцию коллег по цеху, подтянуть свои системы там, где они отстают, и продемонстрировать свои сильные стороны. В целом, конкурс-тест позволяет разработчикам заявить о себе, а потребителям - увидеть новинки и возможности систем в таких, достаточно сложных условиях, какие были созданы в рамках тестирования.


Алексей Кадейшвили
технический директор, компания
"Вокорд Телеком"

В целом, мы считаем, что подобные тесты - дело нужное и полезное, хотя такое тестирование "на общественных началах" должно трансформироваться в лабораторные испытания (наподобие сертификационных испытаний) с четко проработанной и однозначно трактуемой метрологической и научно обоснованной методикой. Это позволит более полно проверить работу оборудования и гарантирует защиту от случайных ошибок. Публичные мероприятия, как наш "конкурс-тест" больше напоминают шоу и в силу различных ограничений (времени, испытательного оборудования, невозможность проверить воспроизводимость результатов) не позволяют проводить всесторонние тесты. Хотелось бы обратить внимание на то, что наша система PHOBOS не показала в полной мере своих возможностей, и произошло это в первую очередь из-за недостаточно тщательной подготовки к тестам. По нелепой случайности во время тестов были оставлены настройки по умолчанию, что и это привело к плохому результату на тестах "медленных движений".

На будущее хотелось бы сделать тесты более приближенными к реальной жизни. В связи с этим есть 3 предложения:

  1. Сделать тесты на реальных клипах с сильными естественными помехами (снег, дождь, плохая освещенность).
    При этом тест состоит из двух частей. Сначала берется клип, в котором "полезное" движение маскируется и присутствуют только помехи. Детектор отстраивается от ложных срабатываний на таких помехах. После этого проигрывается полный клип с "полезным" движением. Оценивается то, насколько много "полезного" движения было записано.
  2. Обязательно в ходе тестов нужно контролировать загрузку процессора, и должны быть отдельные тесты на производительность детектора движения. Для этого нужно либо замерять загрузку процессора при работе детектора движения либо включать детектирование сразу по нескольким, например 16 каналам, и смотреть загрузку процессора. Второе предпочтительнее. Эти тесты очень важны, поскольку сложные алгоритмы детектирования, как правило, требуют много вычислительных ресурсов. Разработчики делающие систему для реальной жизни, а не только для тестов, должны искать компромисс между качеством работы детектора и его ресурсоемкостью. Кроме того, один и тот же детектор в зависимости от настроек может либо хорошо детектировать и требовать много ресурсов процессора, либо потреблять мало ресурсов и при этом плохо детектировать движение. Поэтому без контроля производительности тесты детекторов считать полными нельзя.
  3. Нужно проверять работу детектора в условиях изменения освещения и возникновения естественных помех. Фиксируются настройки детектора, и после этого воспроизводим клипы с сильно отличающимися условиями съемки. В этих тестах проверяются адаптивные свойства детектора. Этот тест также чрезвычайно важен, поскольку способность адаптироваться к изменяющимся условиям крайне важна на реальных объектах.



Читайте далее:
Переход по правилам
Движущиеся картинки и говорящие камеры
Когда от взгляда камеры почти нигде не скрыться
Должны ли на улицах американских городов появиться камеры видеонаблюдения, как это сделано в Лондоне
Решение проблемы цифровых видеорегистраторов (DVR)
Биография компании Dallmeier Electronic
Первый чип для сжатия изображений в стандарте JPEG 2000
MPEG-7
Новые горизонты CCTV
Три кита c обложки
Мальчики -- налево, девочки -- направо
Правильная система видеонаблюдения -- английский подход
Итоги MIPS 2004
Цифровые и аналоговые технологии -- за и против
Что выбрать -- телекамеры на базе ПЗС или КМОП? Рекомендации от Axis Communications