Кейсы

Компьютерное зрение для приемки грузов на склад для стартапа

Стартап, работающий в сфере складской логистики, обратился к нам с задачей автоматизировать приёмку грузов.

Прежде процесс был полностью ручным: сотрудники проверяли упаковку, фиксировали вес, осматривали на наличие дефектов, вручную заполняли карточку груза и вводили данные в систему.

Команде требовалась система, которая:

  • фиксирует поступление груза;
  • определяет тип упаковки;
  • находит дефекты и повреждения;
  • измеряет вес и габариты;
  • автоматически формирует полную карточку груза для ERP.

Решение должно было быть быстрым, точным, устойчивым к росту объёмов и пригодным для развёртывания на других складах.

Решение

Мы разработали AI-систему инспекции, объединяющую компьютерное зрение, машинное обучение, ROS, 3D-моделирование и физические устройства (камеры, весы, сканеры).

Система построена как автономный модуль и легко встраивается в существующие складские процессы без необходимости полной перестройки инфраструктуры.

Инспекция груза проводится с помощью прямоугольной металлической конструкции, которую мы называем стендом. На вершинах каждой из сторон стенда закреплены камеры, обеспечивающие круговую съёмку. В центре конструкции установлены весы для взвешивания.

После инспекции в карточке груза будет храниться информация обо всех его внешних дефектах, типе его упаковки, габаритах, весе и количестве грузовых мест в его составе.

Разработанная нами система обеспечивает:

  • Круговой обзор (360°) груза: фотофиксация груза с помощью камер.
  • Определение веса: взвешивание каждого груза для точного учета.
  • Нахождение дефектов: система обнаруживает и классифицирует повреждения на упаковке или самом товаре.
  • Определение габаритов: измерение размеров груза (длина, ширина, высота) с точностью до нескольких сантиметров.
  • Определение типа упаковки.
  • Считывание QR-кода, штрих-кода и Data Matrix для уникальной идентификации грузов в любых ERP-системах заказчиков.
  • Расчет количества грузовых мест: определение количества отдельных единиц внутри партии груза.
  • Хранение карточек груза: система автоматически собирает и хранит все данные о грузах в едином формате, что позволяет быстро получить необходимую информацию.
  • Автоматическая генерация отчетов: cистема автоматически формирует подробные отчеты о состоянии каждого груза.

Мы использовали:

  • Label Studio — интерфейс для работы модератора с открытым исходным кодом.
  • Datapipe — ETL с автоматическим трекингом зависимостей данных, с помощью которого производится интеграция новых данных и обучение модели.
  • YOLOv5 – YOLOv8 — модели компьютерного зрения, используемые в проекте для детекции и сегментации.
  • Django Administration — интерфейс администратора с открытым исходным кодом.

Инспекция груза: как это работает

Как это работает:

  • 1. Груз поступает на склад, и его идентифицируют с помощью сканирования QR-кода (или Data Matrix). Все последующие данные: вес, тип упаковки, габариты, дефекты – автоматически привязываются к этому коду. Так мы отслеживаем информацию о грузе на каждом этапе обработки и доставки.
  • 2. Груз помещают на весы и взвешивают.
  • 3. Камеры делают круговую съёмку.
  • 4. Модели сегментации определяют тип упаковки.
  • 5. Модель детекции ищет дефекты.
  • 6. Построенная 3D-модель позволяет точно определить габариты и количество единиц груза.
  • 7. Результаты инспекции собираются в карточку груза и автоматически передаются в ERP-систему компании.
Весь процесс инспекции занимает меньше 15 секунд!

Контроль качества и дообучение моделей

В логистике и складских операциях со временем появляется всё больше видов упаковки и возможных дефектов. Модель машинного обучения, обученная на одних видах упаковки или дефектов, со временем начинает терять точность при использовании на новых видах.

Чтобы этого не происходило, мы используем процесс регулярного дообучения модели. Это позволяет системе адаптироваться к изменениям, появлению новых грузов, упаковок и дефектов без необходимости строить всё заново.
Для контроля качества работы нашей системы инспекции мы создали процесс мониторинга и регулярного дообучения моделей. Он состоит из нескольких этапов:

  • Непрерывный сбор данных. Мы устанавливаем камеры и стенды как у клиентов, так и в собственной лаборатории. Система регулярно собирает изображения и другие данные с реальных грузов.

  • Анализ и идентификация ошибок. Раз в неделю мы просматриваем свежие данные и проверяем, где модель ошибается:

неправильно измеряет размеры;

пропускает дефекты;

путает типы упаковки.


  • Маркировка ошибок. Обнаруженные проблемы мы помечаем специальными тегами. Это помогает подготовить правильные данные для дообучения модели.

  • Обновление модели. Мы дообучаем модель только на новых данных. Для этого используем специальный инструмент Datapipe, который автоматически добавляет новые примеры в общий набор, не трогая остальную часть. Это как добавить фотографии в альбом, не переснимая всё заново.

  • Повторная проверка. После обновления модели проходит новый раунд мониторинга, чтобы убедиться, что качество действительно улучшилось.
Процесс дообучения позволяет адаптировать модель под специфические условия или задачи, которые не были охвачены в исходной обучающей выборке. Например, один из клиентов заказчика использует зеленые транспортировочные паллеты для перевозки грузов. Изначально модель не обучалась находить их, но благодаря системе дообучения это достаточно легкий процесс. Когда мы добавляем эти новые данные, Datapipe автоматически обновляет модель.
Этот циклический процесс помогает поддерживать высокое качество работы моделей и своевременно устранять возникшие проблемы.

Метрики качества моделей

Для оценки производительности модели необходимо регулярно анализировать её ключевые метрики. Для этого рассчитывают следующие показатели:

  • Precision и Recall — для оценки точности и полноты детекции объектов.
  • F1-score как гармоническое среднее Precision и Recall показывает, насколько точно и полно модель распознаёт данные. Чем ближе значение к 1, тем лучше работает модель.
  • Взвешенный (weighted) и макро (macro) F1-score — для общей оценки работы модели: взвешенный F1-score учитывает частоту каждого класса, показывая, как модель справляется с каждым из них, а макро F1-score оценивает точность по каждому классу независимо от их частоты.

Для мониторинга метрик мы используем платформу Metabase. Она удобна в использовании и прекрасно подходит, чтобы отслеживать показатели качества работы моделей в динамике.
Обратите внимание на рост графика «зеленые паллеты» после этапа дообучения: показатель F1-score сразу же вырос до 0,7–0,8, что свидетельствует об эффективности подхода и высокой производительности моделей.

Преимущества AI-системы инспекции груза

1. Объективность

Человек субъективен в своих суждениях, а также подвержен таким факторам, как усталость и невнимательность, что влияет на качество проводимой им проверки. ИИ-система применяет единые стандарты и критерии оценки к каждому грузу. Она анализирует груз строго на основе полученных данных и настроенных параметров, тем самым минимизируя риск ошибок или нарушений безопасности.

2. Экономичность

Несмотря на первоначальные вложения в оборудование и настройку автоматизированной системы, в долгосрочной перспективе она оказывается более выгодной, чем использование человеческого труда. Ее внедрение сокращает затраты на обучение персонала, минимизирует ошибки и снижает вероятность простоев из-за человеческого фактора. Также система легко масштабируется.

3. Безопасность

В некоторых отраслях грузы могут содержать опасные материалы, представляющие угрозу для здоровья. Особенно это актуально при работе с химикатами и легко воспламеняющимися веществами. Малейшее повреждение упаковки в таких случаях может привести к серьезным последствиям. Поэтому автоматизированная проверка грузов гораздо безопаснее, чем осмотр вручную.

Заключение

Наша команда успешно справилась с поставленными задачами и создала систему автоматизированной инспекции груза. С помощью компьютерного зрения и машинного обучения наша система собирает все необходимые данные о грузе и формирует отчет о его состоянии. А постоянное дообучение моделей позволяет системе работать стабильно и адаптироваться под новые требования заказчиков.
Подробнее о том, как выстроена наша система инспекции груза, вы можете почитать в статье из нашего блога.
Благодарим команду разработчиков, воплотивших проект в реальность:

  • Андрей Татаринов, СЕО и СТО epoch8.co и AGIMA.AI.
  • Инженерная команда: Арсений Корягин, Александр Козлов, Дмитрий Лесничий, Тимур Шейдаев, Ренат Шакиров, Лев Евтодиенко, Александр Коротаевский.
⭐️ Компьютерное зрение ROS