«Железо» под давлением: как протестировать тысячи плат для базовых станций

Привет, Хабр. Меня зовут Алексей Зайцев, я системный архитектор в отделе проектирования телеком‑платформ, а это шестая статья цикла про разработку базовых станций в YADRO. 

За последние пару лет наши платы BBU прошли стадии EVT (Engineering Validation Test), DVT (Design Validation Test), PVT (Production Validation Test) и наконец MP (Mass Production). К этому моменту мы выпустили уже несколько тысяч плат, а эксплуатация базовых станций YADRO сейчас охватывает 37 регионов России. Но этому результату предшествовал тяжелый и кропотливый этап — разработка собственных тестовых стендов, на которых мы могли бы проверить каждую плату и модуль. Почему не блок целиком?

Цифровой блок обработки базовой станции (BBU, Baseband Unit) поставляется операторам сотовой связи модулями, а не в виде единого полностью укомплектованного шасси. Функционально тестировать BBU как единое готовое устройство на заводе перед отгрузкой нецелесообразно — каждую плату мы проверяем автономно и независимо. Об этом сегодня и поговорим.

Поставка BBU по модулям — классический подход

Прежде чем перейти к тестовым стендам, поясню, почему мы поставляем Baseband Unit операторам по модулям. На самом деле это классический подход, им пользуются мировые производители телеком‑оборудования — Nokia, Huawei и другие. 

Операторы получают от нас корпус, в котором установлены:

• объединительная плата (backplane): она соединяет между собой все платы, которые вставляются в этот корпус;

• модуль ввода питания -48В и модуль вентиляции (вентиляторы и их плата‑контроллер).

Опционально в корпусе могут быть:

• до двух модулей контроля внешних аварий (по 16 каналов на каждую);

• модуль внешней синхронизации — к нему подключается внешняя антенна ГЛОНАСС;

• до двух модулей управления (CB);

• до шести модулей обработки сигнала (BB). 

То есть корпус, ввод питания и вентиляторы — это обязательный комплект, а вот платы контроля аварий и модуль синхронизации — по желанию оператора. Обычно ставят один модуль аварий для контроля состояния климатического шкафа и модуль синхронизации для подключения антенны ГНСС. 

Емкость базовой станции определяют модули управления и обработки сигнала. От этого зависит, сколько абонентов может обслуживать базовая станция. В минимальной конфигурации используется один модуль управления и один обработки, но все зависит от потребностей оператора. Эти модули оператор устанавливает уже сам. 

Следовательно, мы не можем протестировать BBU как полностью укомплектованное и готовое к работе устройство перед отгрузкой — зато отдельно проверяем каждый модуль. И для этого нам нужны надежные тестовые стенды. 

Мы ищем инженеров в команду: вы могли бы разрабатывать телекоммуникационное оборудование с нами. Открытые вакансии можно посмотреть на карьерном сайте.

Горящие вакансии:
— инженер по тестированию;
— инженер по тестированию цифровых модемов;
— инженер по полевым испытаниям.

Какие у нас были требования к тестовым стендам

Перечислю семь принципов, от которых мы отталкивались во время разработки наших тестовых стендов.

• Универсальность. Стенды должны быть универсальными и позволять тестировать как платы, так и модули (плата с установленными механическими компонентами: радиатор, передняя панель и так далее). Они используются на SMT/FAS, FA, в ремонтном центре и отделе исследований и разработок R&D.

• Универсальный конструктив и модульность. Стенды должны быть максимально взаимозаменяемы. Чтобы превратить один стенд в другой, нам достаточно переставить несколько деталей или модулей. Если бы мы разрабатывали под каждую плату уникальный корпус со своей механикой и электроникой, такие стенды было бы крайне трудно сопровождать, процесс разработки занимал бы много времени, а итоговая стоимость стендов была бы в разы выше.

• Минимизация ручных операций и полная автоматизация. В идеале — полностью исключить ручной труд: перестыковку кабелей, перекладывание платы, соединение разъемов. Оператор лишь устанавливает плату, запускает тестирование, а дальше все происходит полностью в автоматическом режиме.

• Единое решение для тестирования разных модулей (DFT — Design for Testability). Подготовка к тестированию начинается на этапе разработки платы. Если сделать кучу плат, и только потом думать, как их тестировать, ничего хорошего не получится. У нас заранее закладываются единые подходы к прошивке ПО, контрольным точкам, диагностическим разъемам и их расположению.

• Ремонтопригодность. На серийном производстве стенды считаются расходным материалом. Ремонт не должен требовать редких комплектующих или сложной процедуры замены компонента.

• Удобство модернизации и обновления ПО. На этапах отладки стенда выходит множество версий прошивок: микроконтроллеры, ПЛИС, одноплатные компьютеры. Обновление должно происходить централизованно и удобно, без необходимости бегать по цеху к каждому стенду с программатором.

• Безопасность эксплуатации. Этот пункт — база: соблюдение всех стандартов защиты персонала на производстве.

Из чего состоит стенд

У наших стендов гибридная комплектация: где‑то использовали готовые покупные решения, где‑то — свои. Так, сами разрабатывали основную плату управления стендом и переходные платы для подключения тестируемых модулей.

Переходные платы сделали пассивными: на них находятся различные соединители, без активных компонентов и даже без подтягивающих резисторов. С одной стороны они подключаются к изделию, с другой — кабелями к плате управления. Это упрощает замену: если износился разъем, не нужно заменять сложный и дорогостоящий электронный узел.

Стенды состоят из следующих подсистем:

• Компоненты электропитания и защиты: сетевой шнур, сетевой фильтр с предохранителем и кнопкой, аварийная грибовидная кнопка с фиксацией, силовые шины. 

• Источники питания: блок на 24В (питание шаговых двигателей), блок на 48В (питание платы управления или обработки сигналов), два блока на 12В (первый блок — питание плат аварий, синхронизации и вентиляторов, второй — питание электроники стенда).

• Механика и приводы: два шаговых двигателя, два драйвера управления шаговыми двигателями, пять индуктивных датчиков приближения. 

• Охладители и вентиляторы: корпусные вентиляторы, вентилятор для проверяемых плат, вентилятор электронной нагрузки, вентилятор одноплатника. 

• Управление и сенсоры: плата управления, одноплатный компьютер, модуль программатора, сканер штрихкодов, цифровые датчики температуры/влажности, сигнальные лампы (зеленая, желтая, красная).

• Специализированные приборы: спектроанализатор светодиодов (с 9 наконечниками), программный трансивер для тестирования ГНСС (SDR, Software Defined Radio ), аттенюатор 30 дБ, устройство развязки по постоянному току (DC‑block), коаксиальные кабели SMA и MCX‑MCX, пружинные тестовые SMA‑зонды. 

Плата управления стендом

Начнем с характеристик:

• Управление через Raspberry Pi 5 по Ethernet.

• Связь с DUT через FPGA (обновление прошивки через RPi). 

• Встроенный программатор JTAG/SPI на FT232H. Нужен для программирования плат аварий, синхронизации, вентиляции.

• Ethernet‑коммутатор с возможностью физического отключения портов (5+1 порт) при помощи внешних ключей.

• Выдача и контроль питания для всех типов DUT (5 каналов 12В, 1 канал -48В).

• Три канала электронной нагрузки на основе MOSFET (до 5А каждый).

• 20 каналов АЦП 12 бит.

• Имитатор датчиков типа СК — 16 каналов.

• Генерация и прием синхросигналов 1PPS, SyncE, TRC, 10 МГц, ToD. Суммарно 70 LVDS каналов.

• UART — 18, I2C — 12, GPIO — 100+.

• Управление периферией стенда: вентиляторы, лампы, шаговики, индуктивные датчики, датчики температуры, СК и так далее.

По характеристикам вы уже видели, что стенд управляется одноплатным компьютером Raspberry Pi по Ethernet. При этом одноплатник практически ничем не управляет напрямую: к нему подключены только индикаторные лампы режима работы, программатор, сканер QR‑кодов и SDR. Всем остальным управляет ПЛИС — по сути, это южный мост, если говорить в терминах материнской платы ПК. Одноплатник управляет ресурсами ПЛИС по I2C и может обновлять ее прошивку, хранящуюся во внешней SPI‑Flash.

А вот из чего состоит прошивка ПЛИС:

• мультиплексоры I2C шины;

• расширители портов GPIO с управлением по I2C;

• коммутаторы UART;

• контроллер управления вентиляторами;

• имитатор вентилятора — выдает сигнал оборотов в ответ на входной сигнал ШИМ;

• контроллер Onewire датчиков температуры и влажности;

• многоканальный частотомер для замера таковых сигналов 156 Мгц, 2.048 МГц и 1 Гц;

• генератор сигналов — те же 156 МГц, 2.048 МГц и 1 Гц;

• контроллер управления шаговыми двигателями: выдает сигналы шага, направления и следит за ошибками от драйверов и индуктивными датчиками приближения.

Подытожим: связь Raspberry Pi с ПЛИС идет преимущественно по I2C. Внутри ПЛИС реализованы мультиплексоры, расширители ввода‑вывода и специализированные контроллеры. Их основные задачи:

• коммутация служебных интерфейсов;

• генерация и измерение сигналов синхронизации;

• управление вентиляторами и имитация их работы;

• управление механикой стенда.

Например, при эмуляции вентилятора стенд формирует сигнал обратной связи об оборотах в зависимости от управляющего ШИМ‑сигнала.

Одна из задач — эмулировать работу вентиляторов. У нас есть модуль с вентиляторами, и мы проверяем, что его плата контроллера адекватно отдает ток на каждый вентилятор (а они мощные, по 5 ампер на каждый) и что все цепи питания работают стабильно. Нагрузка регулируется от 0 до 5А. Рама стенда выполнена из конструкционного профиля и позволяет эффективно рассеивать тепло, а температура за время тестирования поднимается всего на пару градусов. 

Как выглядят стенды

С платами разобрались, теперь покажу, как выглядят наши тестовые стенды. 

На таких стендах мы тестируем платы CB, BB, аварий и синхронизации. Слева — модель с САПР, справа — версия «в железе»: 

А это стенд проверки вентиляторов и модуля вентиляции: 

Для вентиляторов проверяются потребляемый ток, обороты и реакция на ШИМ.

Сначала мы сделали стенд для вентиляторов в трех вариантах использования: отдельные вентиляторы, плата управления и модуль в сборе. Но на производстве стенд адаптировали под конкретные участки: после монтажа проверяют плату управления, после сборки — готовый модуль. Отдельная проверка вентиляторов оказалась невостребованной: их проверяют уже в составе изделия. Так часть предусмотренных возможностей оказалась избыточной для реального технологического маршрута. Когда тестировали модуль, оказалось, что одна из лопастей одного вентилятора отсутствовала, и это привело к сильной вибрации. Поэтому в следующей версии нас попросили добавить защиту от таких ситуаций. 

Как проверяем платы

Условно платы BBU делятся на две группы: 

• простые: без SoC;

• сложные: с SoC, это CB и BB. 

Этапы проверки у них разные.

Маршрут проверки простых плат

К этой группе относятся, например, плата управления вентиляторами, контроля аварий и синхронизации. Их проверка занимает примерно 5–10 минут.

После SMT‑монтажа плата поступает на контроль AOI и дополнительный рентген‑контроль особо важных элементов на платах, а дальше отправляется на стенд.

• Все простые платы работают от 12 В. Первым делом мы проверяем, что нет короткого замыкания по входу и плата потребляет столько, сколько ожидается.

• Проверяем, что все вторичные источники питания на плате работают. Измеряем их при помощи АЦП в составе стенда.

• Проверяем базовые сигналы управления, шины I2C и микросхемы защиты.

• Записываем по I2C инвентарную информацию платы в EEPROM.

• Прошиваем микросхему SPI‑flash микроконтроллера или ПЛИС (по JTAG) через встроенный программатор.

• Проверяем взаимодействия с МК/ПЛИС (чтение статуса, версии ПО, сброс). Проверка дискретных сигналов, определяющих идентификатор платы. 

• Проводим специфические функциональные тесты: нагрузка силовых каналов вентиляторов, генерация аварий и так далее.

• Проверяем внешнюю индикацию на лицевой панели — не глазами оператора, а автоматизировано. На передних панелях стоят красный, желтый и зеленый светодиоды. Свет от каждого поступает в специальный многоканальный анализатор светодиодов. Тестируется цвет, температура свечения, яркость, качество сборки модуля и световода.

Маршрут проверки сложных плат 

Сложные — это платы с SoC.

Сначала прошиваем в SPI‑Flash recovery‑образ управляющего контроллера до установки на плату (в автоматической системе программирования и упаковки микросхем перед пайкой). Потом идет SMT‑монтаж, AOI‑контроль и рентгеновский контроль пайки (X‑ray BGA‑корпусов) и установка платы в стенд.

Что происходит на стенде:

• Записываем FRU без подачи основного питания: через верхний диагностический подпружиненный разъем (Pogo‑коннектор) подается питание только на чип памяти FRU. Это нужно, чтобы при последующей загрузке управляющий контроллер сразу «знал», на какой конкретно плате он установлен.

• Подаем первичное питание -48 В, проверяем потребление и отсутствия короткого замыкания. 

• Проверяем базовые вторичные напряжения, необходимые для старта ПЛИС, BMC и Ethernet‑коммутатора.

• Раскатываем Recovery‑образ управляющего контроллера: прошивка ПЛИС, загрузчики (bootloader) SoC, конфигурация регуляторов напряжения (VRM) и запись зарезервированных MAC‑адресов. Ход процесса контролируем по логам UART в консоли через диагностический разъем.

• Проверяем межплатные сигналы, ID, сенсоры и дискретные линии. Стенд имитирует внешнее окружение.

• Включаем хост‑процессоры и загружаем операционную систему по сетевому интерфейсу.

• Проводим базовые тесты вычислителя: проверка оперативной памяти (DRAM), накопителей, процессорных ядер и их частот.

• Проверяем внешние интерфейсы: I2C, UART, Ethernet internal/external, высокоскоростные линии к объединительной плате.

• Проверяем SFP при помощи SFP‑loopback своей разработки с функцией имитации потребляемой мощности.

• Тестируем систему синхронизации. 

• Контролируем оптическую индикацию — автоматически, аналогично простым платам.

• Устанавливаем финальный заводской образ (Factory Image) на eMMC, выполняем провижининг секретов, прошиваем ключи безопасности, выполняем итоговый Sanity Check.

Конструктивные решения и специализированные модули

Линейная механика. Использование двух шаговых двигателей, драйверов (управление сигналами STEP/DIR/EN), пяти индуктивных датчиков положения и двух шарико‑винтовых передач (ШВП) с линейными подшипниками качения. От рычажных систем отказались из‑за люфтов и сложностей в настройке. Привод опускает верхний прижим с платой POGO‑пинов, сканером QR и вентилятором охлаждения, поджимает плату к разъемам Backplane и Frontplane. Положение шаговых двигателей контролируется индуктивными датчиками. 

Переходные платы. Пассивные коммутаторы без активных компонентов. Связаны со стендом шлейфами IDC и кабелями MCIO (MCI) для высокоскоростных сигналов и Ethernet. Разъемы на переходных платах — расходный материал, так как ламели стираются или ломаются при частом использовании. Для простых плат используется 20-контактный Pogo‑адаптер, для плат управления и обработки сигналов — 40-контактный. На случай работы в лаборатории разработаны компактные гибко‑жесткие переходники для подключения стандартного программатора.

Игольчатые коннекторы силовых разъемов. Ответные части для разъемов Micro‑Fit 3.0 выполнены в виде подпружиненных иголок P100-A2 (длина 33.35 мм, диаметр 1.36 мм) с внутренним конусом 1.5 мм. Игла упирается прямо в штырь Micro‑Fit, компенсируя неточности механики. Поврежденная игла легко заменяется из гильзы пинцетом.

Быстросъемные СВЧ‑разъемы SMA. Адаптеры (SMA to MCX) с двумя подвижными подпружиненными частями (центральная игла и конус). Позволяют стыковаться с девятью плотно расположенными разъемами SMA на плате синхронизации без необходимости крутить кабели руками. Процент сбоев контакта — менее 1%.

Специализированные SFP‑модули. Для проверки портов SFP (до 25 Гбит/с) используем модули петля порт‑в-порт и одинарный loopback. Они построены на микроконтроллере в BGA‑корпусе (ширина платы всего ~1 см). Оснащены регулируемой электронной нагрузкой до 3 Вт, RGB‑индикатором, управляются по I2C, контролируют сигналы LOS, Tx_Fault, Mod_Abs, Tx_Disable, RS0/RS1 и проверяют питание под нагрузкой. Одинарный loopback подходил не для всех случаев, поэтому перешли на спаренные модули порт‑в-порт.

Анализатор светодиодов. Многоканальные анализаторы светодиодов позволяют полностью автоматизировать проверки и свести человеческий фактор к нулю. По пластиковому оптоволокну и оптическим головкам свет передается в прибор, определяющий координаты цвета RGB, насыщенность (HSI), длину волны, цветовую температуру CCT, координаты CIE и частоту моргания.

Имитатор ГНСС на базе Pluto+ SDR. Прибор на базе AD9361 и Zynq 7020. Из‑за отсутствия возможности вывести антенну на улицу в цеху завода и помех навигации, транслируется ранее сформированный бинарный файл (3–5 ГБ) с имитацией сигналов ГЛОНАСС через аттенюатор 30 дБ и DC‑block на разъем платы. Тестируемые приемники фиксируют координаты и точное время за 6–8 минут.

Прошивка FPGA/MCU на простых платах. Простые платы с FPGA/MCU прошиваем через унифицированный 20-контактный соединитель в виде металлизированных площадок. Для подключения в стенде и при наладке/ремонте используем два варианта плат с POGO контактами. В стенде стоит адаптер на основе FT232H, он подключен к RPi.

Какие уроки мы усвоили во время тестирования

Ниже приведу несколько выводов, в правильности которых мы убедились на собственном примере: когда тестировали первые образцы в лаборатории.

Размещать QR‑код и серийный номер платы нужно правильно. Любая проверка начинается со считывания QR‑кода платы. Без идентификации изделия тест не запускается. Мы установили готовый USB‑сканер: сам по себе он работал хорошо, но расположение этикеток на плате создало проблемы. На одной плате QR‑код оказался слишком близко к блестящему радиатору. На другой часть этикетки закрывала металлическая деталь. Если наклейку размещали в неверной ориентации, код было невозможно считать.

Рабочее положение сканера удалось подобрать, но вывод простой: место для маркировки нужно согласовывать с механикой изделия и стенда. Важно оставить свободную область и учесть соседние компоненты.

Для следующей версии мы рассматриваем камеру Raspberry Pi с распознаванием через OpenCV. В предварительных испытаниях решение показало хорошие результаты даже в условиях сильных засветов и слабой освещенности. 

Свет в помещении может искажать показания цвета. Еще одна проблема, с которой мы столкнулись, — это засветка оптических наконечников. Светодиоды выведены с платы через световоды, а яркий свет цеха и изгибы оптоволокна делали показания цвета некорректными. Решением стали разработка светонепроницаемого защитного кожуха (желтый корпус на 3D‑модели ниже) и обязательная калибровка каждого стенда по эталонному образцу (Golden Sample).

Кабели и разъемы — это расходники. Даже специально изготовленные мягкие кабели постепенно выходят из строя при повторяющихся сгибаниях и скручиваниях. Контакты соединителей изнашиваются — это приводит к росту сопротивления контакта и, как следствие, ошибкам в некоторых тестах. Поэтому ресурс соединений и кабелей нужно учитывать заранее. Переходные платы, кабели и тестовые контакты должны быть легко заменяемы, а их отказ не должен превращаться в длительный ремонт и простой стенда. На производстве всегда есть golden плата: она используется в случаях, когда возникает ошибка при тестировании, и мы подозреваем, что она ложная и вызвана именно поломкой стенда. Тогда мы повторяем тест конкретно в этом стенде с этой платой. Если ошибка повторяется, стенд уходит в ремонт.

Правильность установки платы должна контролировать механика. Самые наглядные уроки были связаны с поврежденными разъемами. Во время отладки шаговых двигателей в лаборатории плату не до конца задвинули в оснастку, а при движении задней части стенда направляющая попала в соединитель и продавила его. В другом случае плату неправильно установили на позиционирующие штыри, после чего механизм затянули вручную — до повреждения. Дополнительное усилие не остановило оператора. Были и повреждения при извлечении: если тянуть плату за металлическую корзину SFP с перекосом, можно вырвать ее из платы.

Эти случаи определили дальнейшие доработки: дополнительные блокировки движения при неправильном положении изделия и экстракторы для безопасного извлечения. Правильная установка должна проверяться до начала сочленения разъемов. В результате мы стали использовать больше различных механических и электронных защит. 

Тестирование объединительной платы Backplane

Отдельное направление работы — проверка Backplane, объединительной платы BBU. Это почти полностью пассивная плата с большим количеством контактов — суммарно их больше двух тысяч:

• 1022 контакта питания/земли;

• 62 дифпары 25 ГБит/с;

• 56 дифпар 1 ГБит/с;

• 80 дифпар синхросигналов 156 МГц;

• 468 контактов низкоскоростных цепей и дискретных сигналов;

• I2C микросхема FRU+shred;

• все соединители press‑fit.

Решения для Backplane

Сравним методы проверки тестирования высокоскоростных сетей:

• Оптическая инспекция (AOI): не видит недожатые пины внутри разъема (когда пин не выходит наружу).

• Рентген (X‑ray): видит все дефекты (изогнутые, смятые пины), но процесс занимает 5–10 минут на плату, оборудование крайне дорогое и не подлежит масштабированию.

• Векторный анализ (TDR) — идеальная точность и локализация дефектов импеданса. При этом необходимость использования множества СВЧ‑коммутаторов делают стенд неимоверно дорогим.

• Векторный анализатор цепей (VNA) — позволяет исследовать потери, отражения и взаимное влияние линий. Основной недостаток VNA — это необходимость еще большего количества коммутаторов.

• BERT‑тестирование — передача тестовой последовательности с контролем битовых ошибок. Его можно реализовать на специализированных приборах, скоростных приемопередатчиках ПЛИС или компонентах со встроенными генераторами и проверкой PRBS‑последовательностей. У каждого варианта есть ограничения. Специализированные приборы дороги, а при множестве линий потребуется коммутация. Решение на нескольких ПЛИС выглядит доступнее. Использование ретаймеров может быть еще дешевле, но их функции коррекции сигнала способны влиять на результат проверки. При этом BER‑тест сам по себе не показывает, где именно находится дефект.

Окончательный выбор зависит от бюджета и необходимой глубины диагностики. Для большого числа линий придется учитывать еще и стоимость высокочастотной коммутации. 

Сейчас мы используем комбинированный вариант из AOI и X‑ray с AI‑анализом изображение. Это позволяет нам выявить все виды дефекты запрессовки соединителей, а качество самих печатных плат подтверждается полным электротестированием на этапе изготовления. 

На общей платформе мы построили семейство стендов для разных модулей BBU и довели его до использования в серийном производстве: мы протестировали на наших стендах уже примерно 30 тысяч плат всех типов. При этом значительная часть работы оказалась связана с вещами, которые легко недооценить на этапе прототипа: механикой соединений, заменой кабелей, внешним освещением и установкой платы оператором.

Главный вывод такой: тестопригодность складывается из множества факторов — от расположения диагностического разъема и до места для этикетки. Чем раньше эти вопросы попадают в разработку, тем проще получить стенд, который не только успешно проверяет одну плату в лаборатории, но и ежедневно работает на производственной линии. 

Еще статьи из цикла про разработку базовых станций в YADRO:

• «Простая конструкция, но высокая вычислительная мощность: в чем особенность разработки базовых станций».

• «Почему антенны работают на физике XIX века, но требуют технологий XXI».

• «Как базовая станция превращает данные в радиосигнал: разбираем цифровой тракт радиомодуля».