Экспресс-лаборатория внутри комбайна: как научить технику оценивать зерно каждые 6 секунд

Во время уборки зерно в комбайне проходит долгий путь: от жатки через барабан, решётку и домолот до зернового элеватора и бункера. Весь этот путь нужен не просто так, а для того, чтобы максимально очистить зерно и при этом сохранить его целостность, ведь от этого напрямую зависит цена продажи. Но узнать, насколько хорошо прошла очистка, обычно можно только постфактум: на элеваторе или в лаборатории, когда повлиять на результат уборки уже нельзя.

Рассказываю, как мы создали систему Crop Control, которая доустанавливается на комбайн (даже если раньше на нём не было никакой автоматики) и позволяет мониторить качество и количество зерна прямо во время движения. Мониторинг количества нужен, чтобы понимать, сколько урожая собрано с конкретного поля: урожайность - одна из ключевых метрик оценки продуктивности уборочной кампании в целом. А мониторинг качества нужен для того, чтобы вовремя повлиять на собираемую продукцию, например скорректировать настройки комбайна, и не дать испортить уже намолоченное зерно.

Из чего состоит система

Система состоит из нескольких узлов.

Первый - модуль оценки качества зерна. Он устанавливается на зерновой элеватор комбайна и отбирает пробу зерна прямо из потока, который идёт после очистки.

Второй - датчик уровня зерна. Он ставится рядом с бункером, а от него внутрь бункера, от низа до самого верха, отходят два сенсора в виде алюминиевых шин. С их помощью система определяет уровень заполнения зернового бункера.

Третий - датчик мгновенного объема зерна. Он устанавливается на зерновой элеватор рядом с модулем оценки качества зерна и предназначен для оценки объема зерна на лопатках элеватора.

В зависимости от выбранной клиентом конфигурации (автономный вариант или совместно с автопилотом) в комплект также может входить навигационный блок.

Как зерно проходит через систему

Жатка срезает колосья, они попадают в барабан (рис. 5), после барабана зерно идёт на решёта, затем на домолот, если он есть на комбайне, оттуда на зерновой элеватор и дальше к выгрузному шнеку.

Cognitive Crop Control анализирует зерно сразу в двух точках этого пути.

Первая точка - пробоотборник на зерновом элеваторе. Во время монтажа в элеваторе делаются два отверстия, через которые система с дискретностью примерно раз в 6-8 секунд отбирает пробу зерна, анализирует её и возвращает обратно в поток. Там же, на элеваторе, установлена пара оптических датчиков, которая определяет высоту зерна на лопатках элеватора. Это косвенно позволяет картировать мгновенную урожайность.

Вторая точка - бункер-накопитель, где установлен датчик уровня зерна.

Какие параметры измеряет система и что они значат на практике

Часть параметров система выводит механизатору мгновенно, прямо во время движения, а часть, которая носит накопительный характер, агрегируется и показывается уже в агросервисе, поскольку моментально оценить, например, урожайность в конкретной точке поля без поправки на общую картину, зачастую физически невозможно.

Мгновенно на экран выводятся: влажность зерна, температура зерна, битость, сорность и уровень заполнения бункера, а также фотоизображение зерна (рис. 6).

Влажность и температура. Температуру система измеряет для того, чтобы точнее определять влажность. Сама влажность определяется емкостным методом: в модуле оценки качества зерна стоит пара обкладок конденсатора, по которым определяется диэлектрическая проницаемость среды, а из неё уже вычисляется влажность с поправкой на культуру.

Фотоизображение. Выводится в трёх режимах на выбор пользователя: обычное изображение, детекция (система выделяет зёрна и определяет их габариты и размер) и сегментация (система показывает обнаруженные дроблёные и битые зёрна, а также зерновую и незерновую примесь). Для обучения моделей был собран большой датасет по каждой культуре зерна (на рис. с 7 по 17 примеры некоторых из них), и под каждую культуру обучена своя нейросеть. 

Битость и сорность. Эти параметры определяются по фотоизображению нейросетевыми методами. Битые зёрна напрямую влияют на цену зерна при продаже, поэтому фермерам этот параметр особенно интересен. Сорность (зерновые и незерновые примеси) влияет на определение класса зерна, и, что важно, её можно скорректировать ещё во время уборки, если вовремя обнаружить превышение (рис. 18).

Уровень заполнения бункера. Нужен механизатору, чтобы вовремя остановить процесс заполнения. Штатные системы такого рода уже есть на многих комбайнах, но мы реализовали собственное решение для этой задачи, включая уведомление механизатора.

Отдельно, уже в агросервисе (рис. 19), а не на экране механизатора, доступна урожайность. Она агрегируется по мере прохождения комбайном всего поля и превращается в тепловую карту урожайности с разбивкой на участки. Агроном может сопоставить эту карту с картами почвы (в том числе с данными другого нашего продукта, почвенного робота РКААП) и подготовить на следующий сезон карту для дифференцированного внесения удобрений, тем самым экономя на них. Раньше для этого агроному приходилось делать два-три замера вручную по полю и по ним оценивать ситуацию в целом; система даёт куда более плотную и честную картину, с разбивкой на каждые 10-20 метров поля.

Дополнительный, не всегда очевидный эффект от контроля качества и количества зерна: он помогает предотвращать подмену зерна при выгрузке, когда вместо намолоченных нескольких тонн качественного зерна на элеватор случайно (или нет) попадает более дешёвая кормовая масса.

Как устроен принцип измерения

Систему можно назвать многосоставной: за каждый параметр отвечает отдельный измерительный узел, кроме фотоизображения, с которого сразу можно снять сразу несколько параметров (размер зерна, битость, сорность и другие).

Физические характеристики, температура и влажность (через диэлектрическую проницаемость), измеряются отдельными датчиками. Остальные параметры, требующие визуального анализа, определяются оптически: пара оптических датчиков на элеваторе и камера с искусственным подсветом внутри модуля делают качественные снимки в высоком разрешении, которые затем пропускаются через нейросеть.

Инференс моделей происходит на отдельном вычислителе, установленном прямо в модуле оценки качества зерна на элеваторе. Это сделано намеренно: так расчёты не отнимают ресурсы у вычислителя автопилота, который в это же время анализирует изображения с камер вождения на крыше комбайна.

Что видит механизатор в кабине

Если на комбайне установлен автопилот Cognitive Agro Pilot, у механизатора есть планшет с экраном и вкладкой "Колосок" в приложении. Открыв её во время движения, пользователь видит интерфейс с фотоизображением зерна (можно переключать режим отображения), показателями влажности и битости с сорностью в процентах, температуры в градусах Цельсия и уровня заполнения бункера от 0 до 100% (рис. 20).

Отдельно выводится поле с рекомендациями: короткие и понятные инструкции о том, что стоит сделать при превышении или недостижении заданных порогов. Например, при росте доли дроблёного зерна система советует увеличить зазор между барабаном и подбарабаньем или снизить скорость обмолота, а при превышении сорности, увеличить силу выдува. Поскольку картинка обновляется каждые 6-8 секунд, механизатор в реальном времени видит, помогла ли внесённая корректировка.

Куда уходят данные

Данные сначала попадают на планшет механизатора, чтобы решение по настройке узлов комбайна можно было принять мгновенно, пока ещё можно предотвратить порчу зерна. Параллельно данные по телеметрии уходят на сервер, где становятся доступны владельцу хозяйства и агроному в виде тепловых карт и графиков в агросервисе. Там же данные с Crop Control объединяются с данными от автопилота и от почвенного робота РКААП в единую плотную карту телеметрии по полю.

Чем это отличается от аналогов

У элеваторных систем контроля качества есть принципиальное ограничение: они работают уже после уборки, когда повлиять на неё нельзя. Смысл Crop Control именно в том, чтобы дать эту информацию в моменте, ещё во время движения комбайна по полю.

Среди решений для контроля качества зерна прямо в комбайне есть, например, система Grain Sense (Grain analyzer) от John Deere. Она использует высокоскоростную камеру (порядка 120 кадров в секунду), прижатую к зерновому элеватору: зерно на лопатках элеватора иногда прижимается к стеклу, и в эти моменты камера успевает сделать снимок. У такого подхода есть минусы: обработка потока с такой частотой требует мощного вычислителя и заметно нагружает энергосистему комбайна, а плотное прилегание зерна к стеклу обеспечивается не всегда, из-за чего сложнее точно восстановить реальные размеры зерна в пересчёте из пикселей в миллиметры. Кроме того, эта система не переносится на комбайны других производителей.

Cognitive Crop Control устроена иначе: за счёт пробоотборника система физически извлекает пробу зерна из потока и полностью анализирует её каждые 6-8 секунд, по сути работая как экспресс-лаборатория прямо на комбайне. Все параметры при этом измеряются по одной и той же пробе в одной точке, что даёт согласованный срез данных. Для сравнения: у некоторых конкурирующих решений датчики влажности, температуры и оптики расположены в разных узлах комбайна, и путь зерна от жатки до бункера занимает порядка 10-15 секунд, поэтому объединить их показания в срез одной и той же пробы честно не получается.

Инженерные сложности

Самой сложной технической задачей за всё время разработки, на неё ушло около четырёх лет, стало предотвращение застревания пробы зерна внутри пробоотборника. На всём тракте обработки зерна в комбайне что-то постоянно механически воздействует на зерно: его проталкивают лопатки элеватора, шнек, решёта. А в пробоотборнике специально не стали ставить механический ворошитель, как это сделано у одного из зарубежных конкурентов, потому что такой ворошитель сам может доламывать зерно, уплотнять пробу или выжимать сок из повреждённых зёрен, что портит оптическую картину для нейросети.

Решение нашли в конструкции: добавили ротор с вращающимися резиновыми лопатками изменяемой геометрии (рис. 21). Она позволила устройству справляться и со сложными для проталкивания культурами вроде сои и нута, которые по плотности могут вести себя почти как камни и заклинивать обычный мотор, и при этом обеспечила постоянное обновление пробы перед камерой.

С вибрацией тоже пришлось поработать: изначально массу зерна планировали измерять тензодатчиками, но они оказались слишком чувствительны к вибрации, и от них отказались в пользу косвенного расчёта массы и объёма по всему набору измеряемых параметров.

Пыль решилась почти сама собой: каждая новая проба зерна как бы полирует стекло, сбивая пыль от предыдущей. Больше сложностей доставляло налипание грязи на стекло, для этого предусмотрен регулярный уход: стекло модуля нужно чистить примерно раз в день по инструкции по эксплуатации, как лобовое стекло автомобиля. Прямой солнечный свет на работу системы не влияет: камера находится в полностью герметичном закрытом корпусе.

Совместимость и условия эксплуатации

Система подходит не для всех комбайнов: важно, чтобы в подкапотном пространстве между капотом и зерновым элеватором была плоская площадка для монтажа без мешающих подвижных узлов и рычагов в этом месте (рис. 22). Большая часть модельного ряда Ростсельмаша и Гомсельмаша, а также значительная часть техники класса Class, этому требованию соответствует и позволяет установить систему без доработки капота.

Электропитание стандартное для агротехники: от 9 до 36 В, то есть система работает от штатных аккумуляторов на 12 и 24 В. По температуре система рассчитана на широкий диапазон, но у уборки в минусовую температуру есть естественное ограничение: при уборке мокрого зерна в снег с дождём возможно налипание и намерзание зерна на металлические поверхности тракта, причём это касается не только системы, но и самого комбайна. Формально это уже нарушение технологии уборки, но на практике в сложных климатических зонах хозяйствам иногда приходится убирать и в таких условиях.

Монтаж

Сейчас монтаж занимает от 8 до 16 часов, и команда постоянно работает над сокращением этого времени (рис. 23): недавно удалось снизить типовой срок с 16 до 8 часов. Больше всего времени обычно уходит не на сам монтаж, а на организационные моменты: для крепления одного из узлов анализатора качества зерна нужно приварить уголок кронштейна, а поиск сварочного аппарата и сварщика в хозяйстве часто оказывается узким местом.

На старте у части механизаторов встречалась настороженность к системе, в первую очередь из-за того, что она вносит дополнительный контроль над процессом уборки. Со временем это отношение меняется, как когда-то люди привыкли к камерам видеонаблюдения на дорогах и в общественных местах. Основная часть возражений связана не столько с самой системой, сколько с естественной осторожностью к новому и пока непривычному инструменту; после того как механизаторы и агрономы начинают работать с системой, они, по наблюдениям команды, быстро привыкают и уже не хотят возвращаться к работе без неё.

Первые результаты

Один из первых кейсов, когда система принесла коммерческую пользу фермеру, произошёл ещё на раннем этапе тестирования продукта. У клиента, убиравшего сою, система зафиксировала повышенную дроблёнку зерна прямо в кадре. Команда, на тот момент автоматических уведомлений ещё не было, вручную написала клиенту в мессенджер и приложила фотографию. Буквально через 20 минут после корректировки настроек комбайна в кадре вместо дроблёной сои уже шла целая соя в стручках. Сейчас похожие ситуации отслеживаются автоматически, через систему предупреждений и алертов.

Куда движется система дальше

В ближайших планах, географическое расширение: помимо России мы готовим испытания в Бразилии и ЮАР, где придётся адаптировать систему под другие условия эксплуатации (более длинный сезон уборки, иной температурный диапазон) и под новые культуры, в том числе сахарный тростник. Среди метрик в разработке, определение содержания протеина в зерне: это одна из ключевых характеристик для определения класса зерна, и команда продолжает работу над тем, чтобы дотянуть точность этого параметра до нужного уровня.

Что касается индустрии контроля качества урожая в целом, по мнению команды, движение идёт в сторону полной автоматизации: от системы, которая только выдаёт рекомендации механизатору, к системе, которая сама может влиять на настройки узлов комбайна, зазор между барабаном и подбарабаньем, силу выдува, обороты обмолота и скорость движения, реагируя на изменение качества зерна в реальном времени.