Хотел сравнивать йогурт с йогуртом, а не с гречкой. Открыл базу — а категорий-то и нет

В прошлый раз мне тут прилетело: кетчуп и гречку одной линейкой мерить нельзя. Справедливо, спорить не о чем.

Трое независимо предложили примерно одно. dinar_007 - два уровня: жёсткий порог как предохранитель, а сверху место товара в своей категории. Neusser показал Nutri-Score, где категорийные шкалы вообще только для напитков, сыров и жиров, отсюда и знаменитое оливковое масло с C при коле с B. economist75 зашёл со стороны металлургии: четыре элемента у верхней границы - брак, даже если по отдельности всё в допуске.

Сел делать. Нужна ерунда - знать категорию товара.

Открыл базу. И вот тут всё встало.

У меня 134 тысячи позиций, и категории к ним приехали из десятка мест: выгрузки магазинов, нацкаталоги, прайсы производителей. Каждый резал по-своему. В “Бакалее” лежат макароны, специи, сахар, крупы и зачем-то консервы. Считаю среднее по такой куче - и что дальше? У сахара сто грамм сахара на сто грамм, он в своей же категории вечный последний, а рядом лавровый лист с нулями во всех полях. Таким средним только пугать.

Разложить руками 134 тысячи? Ну нет!

Пока сидел и думал, посчитал заодно составы по всей базе. И вот эта цифра меня подкосила.

Хотя бы одна Е-добавка есть у 15 880 товаров из 78 588 с составом. Двадцать процентов. Я был уверен, что больше, сильно больше - вокруг же только и разговоров, что еда сплошная химия.

Дальше смешнее. Состав из одного слова (“Фасоль белая”) - 11 938 карточек. Из двух - ещё 6 532. Каждый четвёртый товар это просто сырьё, там сравнивать нечего в принципе.

А на другом краю 34 711 позиций, где ингредиентов десять и больше. Вот ради них сканер и писался.

Между этими двумя кучами - узкая полоска, где категорийное сравнение реально что-то дало бы. Для фасоли оно бесполезно, человек и так в курсе, что в фасоли фасоль.

К чему пришёл, и это проще всех трёх советов.

Пороги оставляю - они предохранитель, категории им не нужны. Сверху вместо шкалы простая вещь: сколько ингредиентов и сколько из них добавки. Три строчки в составе и двадцать - разный разговор, и чтобы это увидеть, знать “бакалея или молочка” не надо вообще.

А категорийное сравнение включу точечно. Йогурты, газировка, сыры, колбаса - там, где категория не вызывает вопросов. В Nutri-Score, кстати, ровно так и сделано, три шкалы. Подозреваю, не от лени.

Индекс из металлургии отложил. Ему нужны согласованные пороги сразу по всем полям, а у меня натрий заполнен у трети карточек: техрегламент не требует выносить соль отдельной строкой, производители и не выносят.

Теперь вопрос, ради которого всё это и пишу. Кто чинил мусорные категории в чужих выгрузках - чем? Классификатор по названию и составу, ручная разметка верхушки, или плюнуть и жить на абсолютных порогах?

Особенно интересно от тех, кто сшивал каталоги из разных мест. У меня их около десяти, и каждый уверен, что его дерево - единственно верное.