Данные и разметка для распознавания товаров | Сколько нужно и почему это важно

Почему системе распознавания полок нужны тысячи реальных фото и ручная разметка. Разбираем объём данных, ошибки разметки и способы ускорения обучения моделей.

Зачем вообще нужны данные и разметка?

Без качественных данных и разметки даже самый совершенный искусственный интеллект в мире не разберется с тем, что лежит у вас на полках.

Почему нельзя просто включить систему и показать ей стеллажи с товарами?

Компьютер видит мир не человеческими глазами, как бы нам того не хотелось. Он видит пиксели, и каждый пиксель хранит в себе какую-то информацию. И чтобы понять, что за этим скрывается, ему нужен учитель, который это объяснит.

Если компьютер не научить заранее, какие банки бывают, как выглядят разные упаковки, где коробка с чаем, а где пачка сахара, он будет просто гадать, а не узнавать товары.

Представьте, что наша модель машинного обучения - это ребенок.
И наша задача научить его отличать кошек от собак.

Как это легче всего сделать? Мы можем взять много фотографий кошек и собак и показать ему их. Эти изображения - ничто иное, как данные. От того, насколько качественные фото вы покажете ребенку, будет зависеть его способность узнавать этих животных на новых картинках или на улице.

Но достаточно ли просто показать ребенку фото животных? Как ему понять, где какое животное изображено?

Очевидно, что мы должны подписать эти картинки: “кошка”, “собака”. Такие надписи в машинном обучении называются разметкой.
Таким же образом, мы обучаем ИИ-систему: мы показываем тысячу разных картинкой с надписями (данные с разметкой), чтобы она научилась видеть разницу между тем или иным предметом.

Чем реальные фотографии отличаются от идеальных картинок для обучения?

Недостаток идеальных картинок в их…идеальности.
Мы разрабатываем системы, которые должны работать в условиях реальной жизни, которая всегда далека от идеала.

И тем более далек от идеала обычный магазин:

кто-то поставил коробку боком,
упаковка чуть помялась,
освещение разное утром и вечером,
на полке иногда стоит сразу несколько вариантов одной позиции.

Если обучить систему на идеальных данных, на практике она будет ошибаться чаще, чем помогать.
Хорошая система распознавания должна работать именно в таких условиях. Поэтому мы обучаем ее на самых обычных фото, сделанных обычными людьми.

Сколько и какие данные требуются?

Главный вопрос, который слышит любая команда автоматизации: “Сколько снимков нужно? Можно ли просто загрузить фотографий сто и закончить на этом?”

Краткий ответ: “Нет, нельзя”.
Основное правило здесь: мало данных = много ошибок.
На примере сотен фотографий система максимум выучит типовые сценарии и будет ошибаться на каждом втором реальном случае, который хоть немного выбивается из привычного шаблона.

Объем необходимых данных зависит от многих факторов, в том числе от характерных особенностей вашего бизнеса. В ритейле постоянно появляются новые упаковки, изменяется ассортимент, меняется схема выкладки. Всё это требует постоянно пополнения базы примеров.

Какой минимум нужен для старта?

Фотографии из реальных магазинов. Чем больше, тем лучше. И речь не о десятках-сотнях, а о тысячах фотографий. Под разным освещением, с разных ракурсов.
Полный каталог товаров с фотографиями упаковок. Важно научить систему отличать две банки кофе разного объема. Или йогурт разного вкуса.
Планограмма. Схема выкладки служит навигатором для системы распознавания. Не обязательно, но очень помогает иметь такой инструмент под рукой.

От чего зависит количество необходимых данных?

Ассортимент. Чем больше у вас товаров, тем больше примеров нужно системе, чтобы научиться их отличать. Для продуктового с 500 позициями и для гипермаркета с 10 000 — разница в несколько раз.
Типы полок и выкладки. Полки бывают разной высоты, длины, с разными перегородками, выкладка часто меняется от магазина к магазину. Это всё влияет на то, как товары попадают в кадр.
Освещение и планировка. Один и тот же товар выглядит по-разному под лампой и у окна, на прямой полке и в углу, утром и вечером, под прямым и непрямым освещением.

Если хочется, чтобы система действительно работала и не требовала постоянной ручной доработки, не стоит экономить на объёме данных и их качестве.
Не переживайте! Это вложение быстро окупится. Ведь по итогу система будет делать меньше ошибок, потери будут сокращаться, а прибыль - возрастать.

Как устроен процесс ручной разметки

Ручная разметка - это тот самый этап, который определяет всю дальнейшую работу системы. Это - основа обучения моделей.

Как это выглядит на практике?

Человек открывает фотографию полки с товарами.
Находит на ней каждый товар и аккуратно его обводит рамочкой или контуром.
К каждому выделенному товару присваивает правильную позицию из каталога магазина. Не просто “это коробка”, а это - “чай Lipton, чёрный, 100 пакетов”.
Сохраняет разметку для обучения системы и последующей проверки.

Это все равно, что объяснять новому стажёру, что где стоит и как отличить похожие упаковки между собой. Процесс практически идентичный.

Почему важно работать именно с каталогом магазина?
Потому что только так система учится видеть не просто форму, а понимать, какая именно позиция стоит на полке.

Два похожих пакета риса могут быть разными по коду, бренду и весу. Только разметка с привязкой к каталогу даёт возможность точно считать остатки, контролировать выкладку и проводить точную аналитику.

Сколько людей и времени уходит на разметку?

Маленький магазин (до 500 позиций): разметить базу можно силами 1–2 человек за несколько дней.
Крупная сеть или гипермаркет: тут потребуется команда из нескольких разметчиков и недели работы. Особенно если ассортимент обновляется часто.

Обычно применяется гиборидный подход: часть работы можно отдавать подрядчику, часть – на выполнение своим сотрудникам.

Как можно ускорить и автоматизировать разметку

Все хотят сделать разметку быстрее и проще, ведь времени и бюджета всегда мало. К счастью, есть инструменты, которые облегчают этот процесс и реально экономят недели и месяцы работы.

Полуавтоматическая разметка

Сейчас часто используется подход “машина помогает — человек проверяет”:

Система сама находит и выделяет большинство товаров на фото.
Разметчик проверяет и подправляет: если что-то не так, дорисовывает вручную, если всё правильно — просто подтверждает.

В таком режиме один сотрудник размечает в несколько раз больше снимков за смену, а устает меньше

Active Learning: как уже размеченные данные помогают ускорять разметку

Чем больше система натренировалась на прошлых фотографиях, тем лучше она распознаёт новые. Новички могут начать с фото, где система уже сделала черновую разметку, – остаётся только откорректировать спорные моменты.
Всё, что понятно и безошибочно, идёт в обучение, а всё сложное — в ручную работу.

Почему без человека пока никак

Даже при всей мощи современных алгоритмов человек по‑прежнему незаменим. Разберем, почему.
Автоматизация – это не магия. Даже лучшие алгоритмы иногда ошибаются: не замечают часть товара, путают похожие позиции, теряются на новых упаковках.

Где автоматика бессильна?

Сложные и похожие товары. Есть позиции, которые различаются только оттенком или одной цифрой на этикетке. Компьютерной системе тяжело это понять без помощи человека.
Группированные товары. Когда набор объектов можно считать за один товар? Например, пачка бумажных платочков является единицей торговли или упаковка таких пачек?
Новые товары и упаковки. Каждый месяц появляются новые продукты, временные промо-упаковки, изменённый дизайн, - и на этих данных система пока не обучена.
Форс-мажор. Пачку поставили боком, поставщик прислал новый товар без предупреждения, деформированный товар, – ни одна нейросеть не догадается, как правильно отметить это на фото.

Когда без человека не обойтись?

Человек необходим для первичной разметки, так как системе не на чем учиться изначально.
Он такж нужен для проверки и исправления сложных случаев, которые не может корректно обработать даже обученная модель.
И наконец, человек задает правила и контекст, решая, как размечать неочевидные ситуации. Например, считать ли упаковку из шести бутылок одним товаром или шестью отдельными?

Современные инструменты разметки снимают до 80% рутины, но финальное слово остается за человеком.

Ошибки разметки и их последствия

Любая неточность на этапе разметки может больно ударить по всей автоматизации.

Классические ошибки в разметке

Неправильный контур. Обвели товар неаккуратно, зашли за край и захватили соседний товар или часть полки? Система будет учиться на ошибочных примерах.
Неверный артикул. Разметили не тот товар, перепутали похожие упаковки, привязали к каталогу неправильный код. Итог: система потом тоже путает.
Человеческий фактор. Человек может устать, отвлечься, и в результате пропустить товар или отметить что-то лишнее.

Чем опасны эти ошибки для всей системы?

Ложные метки в обучении. Одна неточная разметка портит сразу сотни будущих распознаваний. Система запоминает ошибку и начинает повторять её снова и снова.
Снижение общей точности. Даже 2–3% “грязных” данных могут снизить качество работы модели в разы. В итоге приходится больше дообучать, вручную исправлять и тратить время на проверки.

Как устроен контроль качества разметки

Двойная проверка. Каждое фото или часть выборки проверяет второй человек. Если есть расхождения, то спорные случаи обсуждаются, а стандарты – уточняются.
Выборочная ревизия. Раз в неделю или месяц старший разметчик выбирает часть данных и перепроверяет: всё ли правильно, не накопилось ли системных ошибок.
Постоянная связь с разработчиками. Ошибки быстро выявляются и возвращаются в процесс разметки для исправления, чтобы автоматизация не нарушилась.