ECOBOT: Робот, который автоматически сортирует мусор с помощью системы искусственного интеллекта и компьютерного зрения.
Как это работает?
Компания ECOBOT придумала систему, которая принимает физический пакет с мусором, открывает его и распределяет содержимое по конвейеру. Над конвейером установлены роботизированная рука (роборука) и камера, которые с помощью компьютерного зрения определяют и классифицируют виды мусора: пластик, стекло, металл, картон. Роборука затем захватывает мусор и переносит его в соответствующий контейнер для дальнейшей переработки.
Задача
Обучить искусственный интеллект распознавать объекты и интегрировать его в систему управления механической рукой.
Решение
Итак, давайте разбираться: вы кинули мусор на стол. И в этот самый момент начинается магия. ECOBOT распознает и классифицирует предмет.
Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После того как мусор идентифицирован, система рассчитывает траекторию и передает команду роборуке, которая забирает предмет со стола и помещает его в соответствующий контейнер.
Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После того как мусор идентифицирован, система рассчитывает траекторию и передает команду роборуке, которая забирает предмет со стола и помещает его в соответствующий контейнер.
Используемые технологии
- CenterNet
- ResNet50
- Jetson Nano
- Robot Operating System
Сложность
Задача робота не только найти мусор на изображении и определить его класс, но и на основании этого понимания дать команду роборуке. Поэтому после обнаружения изображения искусственный интеллект осуществляет пересчет координат и дает команды вида «повернись на 15 градусов», «опустись вниз», «на смещении в 10 см сделай захват», «положи в левую коробку».
И чтобы рука выполнила команду, необходима суперточность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться точно определять координаты объектов на изображении, анализируя каждый пиксель фотографии.
И чтобы рука выполнила команду, необходима суперточность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться точно определять координаты объектов на изображении, анализируя каждый пиксель фотографии.
Процесс работы
- Захват видео с камеры.
- Распознавание. (Детекция и классификация объектов на изображении).
- Пересчет координат. То есть их преобразование из пикселей на картинке в управляющие сигналы для робота.
- Соединение всех шагов в физические команды для системы, которая контролирует робота. Разработкой этой системы занимаются наши коллеги-робототехники.
РЕЗУЛЬТАТЫ
Мы разработали систему управления роботом с вращающимся столом.
Наш искусственный интеллект способен:
Наш искусственный интеллект способен:
- обрабатывать 4 кадра в секунду;
- распознавать 8 типов объектов.
Но самое крутое, что данная технология может быть использована и в других отраслях и даже с большим количеством объектов.
Компьютерное зрение находит применение практически в любой сфере. Оно помогает:
- находить товары с дефектом на конвейерах;
- подсчитывать количество продукции на складах;
- оценивать состояние дорог;
- распознавать изображения и видео, и многое другое.
Везде, где нужно физически посмотреть и проанализировать большое количества объектов, помогут роботы.
Другой пример использования компьютерного зрения в нашей работе — проект «АртРегистратор».
Другой пример использования компьютерного зрения в нашей работе — проект «АртРегистратор».
Кто работал над проектом
- Андрей Татаринов, основатель Epoch8;
- Анна Закутняя, ML-инженер;
- Александр Козлов, ML-тимлид.
