Машинное или техническое зрение – это система интеллектуальных камер, датчиков, контроллеров и ПО (программное обеспечение), которые максимально имитируют визуальное восприятие человека и выполняют определение параметров изготовленных товаров, идущих по технологической линии.
Техническое зрение тесно связано с АСУ ТП (автоматизированной системой управления технологическим процессом). Основные задачи, решаемые системами технического зрения:
– проверка промышленных товаров, идущих по конвейеру, на поверхностные дефекты в режиме 24/7,
- определение формы, геометрических разделов,
- подсчет товаров,
- чтение серийных номеров, и прочих элементов маркировки.
В некоторых случаях, современное техническое зрение не заменяет на 100% человеческого восприятия и требует присутствие на производственной линии оператора или диспетчера, который осуществляет проверку изготовляемой продукции.
Тем не менее система технического зрения позволяет оптимизировать издержки производства, может работать намного быстрее человека, и существенно снижает количество работников на конвейере, и повышает долю машинного труда.
Правильно спроектированная система машинного зрения может работать 24 часа в сутки, 7 дней в неделю, без выходных и перерывов на отдых. В отличии от человека она не знает усталости, обладает намного большим быстродействием, и способна раз за разом исполнять сложные технологические операции без остановки технологического процесса.
Если продукт идет с браком, система технического зрения подает импульс специальному механическому устройству и устройство отклоняет бракованный товар; если количество брака слишком высокое, система может остановить технологическую линию, сообщить диспетчеру о производственном сбое и необходимости устранить поломку.
Сегодня «умные» видеокамеры со встроенными контроллерами пользуются особой популярностью у разработчиков систем АСУ ТП, осуществляющих автоматизацию технологических линий предприятия.
Системы технического зрения активно применяются в различных областях высокотехнологичного производства: в автомобилестроении, в производстве полупроводников, самолетостроении, изготовлении лекарственных препаратов и т.д.
Системы машинного зрения используются не только в промышленности, но и в смежных областях народного хозяйства. Они контролируют движение автомобильного транспорта, отслеживают скоростной режим, повышают транспортную безопасность.
Ведущие вузы и научные объединения активно используют машинное зрение в исследовательских работах, онлайн-конференциях и научных симпозиумах.
Камеры машинного зрения применяются на режимных объектах для контроля доступа, позволяют идентифицировать человека по строению лица, сетчатке глаза.
Камеры технического зрения активно используются на крупных спортивных мероприятиях. Они отслеживают движений спортсменов, помогают судьям выносить правильные решения.
Проектирование машинного зрения – сложный технологический процесс, требующий множества технических согласований, правильных расчетов и высокого профессионализма.
Камеры машинного зрения обладают самыми разными характеристиками. Существуют высокоскоростные камеры, камеры с защитой от агрессивной внешней среды (большой влажности, низкой или высокой температуры), камеры со специальными светофильтрами, тепловизорные камеры, камеры очень большого разрешения.
ООО НПО «Цифровые Системы» разрабатывает системы технического зрения КТВ-101, КТВ-102 для разных отраслей промышленности, для самого широкого спектра задач.
1.1 Проекты и разработки в области технического зрения и машинного обучения
1 Система учёта труб выкатки КТВ-101
Задачи, решаемые системой:
1) Расчёт диаметра проходящей мимо камеры трубы;
2) Поиск бирки со штрих-кодом на внутренней поверхности трубы;
3) Считывание штрих-кода с бирки;
4) Передача информации на сервер Заказчика.
1.Структурная схема системы
Результат работы системы: слева техническая информация о процессе распознавания, справа фотографии с которыми идёт работа по распознаванию
Видео с демонстрацией работы системы – https://www.youtube.com/watch?v=9e_SPJ1fb0M
Процент верного считывания штрих-кода – 99,7
Статус – Завершено.
2. Системы контроля качества офсетной печати
Задачи решаемые системой: Подача сигнала оператору машины офсетной печати при отклонении результатов печати от эталонного изображения.
Рабочее окно интерфейса пользователя системы с результатом сравнения листов с эталоном (сравнивается каждая ячейка отдельно)
Статус – Отладка работы системы и испытания.
3. Серверное программное обеспечение по поиску и распознаванию лиц для системы «Умный домофон»
Задачи решаемые программным обеспечением:
1) Поиск и распознавание лица жильца подъёзда;
2) Подача сигнала на открытие двери, если аутентификация прошла положительно.
Результат аутентификации
Статус – Завершено.
4. Программное обеспечение и метод визуализации повреждений костных структур глазницы
Задачи решаемые программным обеспечением:
1) загрузку многосрезового изображения костей черепа пациента в стандарте DICOM, полученного с рентгеновского томографа;
2) визуализацию мультипланарной реконструкции срезов в стандартных ортогональных проекциях, – аксиальной, сагиттальной, фронтальной;
3) расчёт уровня дистопии, а также костного и мягкотканного объёмов глазниц; генерацию послойного рисунка повреждения костей глазницы;
4) создание трёхмерной модели повреждения костей глазницы и в формате костей лицевого черепа пациента STL;
5) визуализацию и редактирование трёхмерной модели повреждения костей глазницы и костей лицевого черепа пациента; расчёт площади повреждения.
Результат поиска глазных яблок и глазниц нейронной сетью
Видео с демонстрацией работы системы – https://youtu.be/XNFo3uxxwSs
Статус – Завершено.
1.2 Инициативные технологии в области технического зрения и машинного обучения, освоенные нашей командой
1. Поиск фигуры человека в видеопотоке
Результат поиска людей в помещении
2. Подсчёт количества труб в пачке
Результат поиска труб на фотографии
1.4 Используемые инструменты и технологии
Языки программирования:
- Python
- C#
Другие средства и библиотеки:
- OpenCV
- Библиотека распознавания штрих-кода
- MySQL
- Нейронная сеть Yolo v3
- .NET
- Keras
- TensorFlow
- NumPy
- Anaconda
