Компьютерное зрение для робота-сортировщика компании ECOBOT
ECOBOT: Робот, который автоматически сортирует мусор с помощью системы искусственного интеллекта и компьютерного зрения.
Как это работает?
Компания ECOBOT придумала систему, которая принимает физический пакет с мусором, открывает его и распределяет содержимое по конвейеру. Над конвейером установлены роботизированная рука (роборука) и камера, которые с помощью компьютерного зрения определяют и классифицируют виды мусора: пластик, стекло, металл, картон. Роборука затем захватывает мусор и переносит его в соответствующий контейнер для дальнейшей переработки.
Задача
Обучить искусственный интеллект распознавать объекты и интегрировать его в систему управления механической рукой.
Решение
Итак, давайте разбираться: вы кинули мусор на стол. И в этот самый момент начинается магия. ECOBOT распознает и классифицирует предмет.
Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После того как мусор идентифицирован, система рассчитывает траекторию и передает команду роборуке, которая забирает предмет со стола и помещает его в соответствующий контейнер.
Используемые технологии
CenterNet
ResNet50
Jetson Nano
Robot Operating System
Сложность
Задача робота не только найти мусор на изображении и определить его класс, но и на основании этого понимания дать команду роборуке. Поэтому после обнаружения изображения искусственный интеллект осуществляет пересчет координат и дает команды вида «повернись на 15 градусов», «опустись вниз», «на смещении в 10 см сделай захват», «положи в левую коробку».
И чтобы рука выполнила команду, необходима суперточность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться точно определять координаты объектов на изображении, анализируя каждый пиксель фотографии.
Процесс работы
Захват видео с камеры.
Распознавание. (Детекция и классификация объектов на изображении).
Пересчет координат. То есть их преобразование из пикселей на картинке в управляющие сигналы для робота.
Соединение всех шагов в физические команды для системы, которая контролирует робота. Разработкой этой системы занимаются наши коллеги-робототехники.
РЕЗУЛЬТАТЫ
Мы разработали систему управления роботом с вращающимся столом. Наш искусственный интеллект способен:
обрабатывать 4 кадра в секунду;
распознавать 8 типов объектов.
Но самое крутое, что данная технология может быть использована и в других отраслях и даже с большим количеством объектов.
Компьютерное зрение находит применение практически в любой сфере. Оно помогает:
находить товары с дефектом на конвейерах;
подсчитывать количество продукции на складах;
оценивать состояние дорог;
распознавать изображения и видео, и многое другое.
Везде, где нужно физически посмотреть и проанализировать большое количества объектов, помогут роботы.
Другой пример использования компьютерного зрения в нашей работе — проект «АртРегистратор».