PunchSanwo-Olu gifts Flamingos N10m, iPhones eachInquirerNLEx sees heavy traffic after road crashesBollywood HungamaAkshay Kumar starrer Samuk motion poster unveils alien threat; sci-fi thriller to release in cinemas on May 28, 2027The Jerusalem PostLiberman admits 'no universal draft law' as Knesset defense panel convenes on haredi conscriptionCNN TürkABD'nin üçüncü uçak gemisi Orta Doğu’daSky TG24Esplosione a Roma, ordigno danneggia palazzo in via Treia a S. BasilioZDF heuteAktuelle Pressemitteilungen des ZDFObservador DesportoHabitação: as autarquias lucram e culpam o mercadoABC News (Australia)Conjoined twin girls born in remote Papua New GuineaGolem.deVulcan-Rakete: Amazon verliert 40 Breitband-SatellitenNHK 社会ファッション雑誌元モデルの女性殺害か 内縁の夫逮捕 警視庁Il Fatto Quotidiano“Ha agevolato l’occultamento di capitali di soggetti indagati o condannati per riciclaggio con aggravante mafiosa”: disposta l’amministrazione giudiziaria per Revolut
The Daily Newsstand · Free, Always
Monday, November 16, 2026

FCS Шредингера или безвременная погибель пакетов

Translate

Все мы знаем, что в сети постоянно происходит какая-то дичь чертовщина. Этот случай как раз про то. Есть одинаковые виндовые сервера, подключенные к коммутаторам Cisco и Huawei. Есть хранилище данных, куда надо хорошенечко так что-нибудь залить. И вот ведь какая незадача. Сервер, подключенный к Cisco, делает это быстро и как два пальца об асфальт. А сервер, подключенный в Huawei, начинает что-то там копировать (причем медленно), проходит несколько минут, и копирование вываливается в ошибку. Досадно. Дело за малым: узнать кто виноват и что делать?

Из исходных данных есть доступ к телу сервера, коммутаторам, но нет к хранилищу. Где и в чем проблема совершенно не ясно. Пакеты ведь ходят, копирование идет, сеть значит работает исправно. Понятно, что сначала была проверена коммутация, CRC, дропы, всякие вланы, маршрутизация, балансировки, трассировки и вся прочая банальщина. Везде все красиво. По результатам диагностики дело было переквалифицировано из разряда «щас быстренько починим» в «неведомую хрень». Поэтому дальше действует правило: в любой непонятной ситуации – снимай штаны и бегай дамп.

Самым логичным шагом будет сравнить, как выглядят процессы копирования на здоровом и проблемном серверах. Благо доступ на сервера есть, можно удампиться по самое не хочу.

Смотрим дамп процесса проверки доступа к хранилищу в нормальной ситуации (я его немного подзапорол, поэтому есть черные строчки, по факту там все хорошо).

В адресации 10.х – сервер. 192.168 – хранилище.

Никаких аномалий, быстренько прошлись по классике TCP.

Сервер инициализирует подключение. Идут SYN, SYN-ACK, ACK

Потом сделали TLS-ные дела.

И разошлись миром, сервер заканчивает сессию: идут FIN, FIN-ACK, ACK.  

А теперь смотрим на проблемном. Выглядит как полное очко немного плохо.

Все проблемки начинаются в момент посылки сервером завершающего TCP-сессию пакета с флагом FYN (12 пакет). После чего в течение почти 30 секунд летит веселый разноцветный фарш и все как-то неуклюже завершается через аварийную процедуру RST.

Из самого очевидного - абсолютно не понятно поведение хранилища, почему это оно не отвечает на FIN своим FIN-ACK, молчит несколько секунд, а потом в 16 пакете вообще делает переповтор 11 пакета.

Дальше было изнурительное деланье ума, результатом которого стало гениальное, не меньше: так хранилище не получило FIN-пакет номер 12! Он, выходит, не дошел, потерялся, испарился.

И в этот момент со словами «ага, я так и знал», можно было бы пуститься вскачь проверять счетчики CRC и output drops на портах коммутаторов. Явно где-то у нас недостача образовалась. Но, увы, это уже было сделано в предыдущие пару дней и никаких хищений выявлено не было. Пакеты где-то отбрасываются, но где?

Если до ночи смотреть на дамп, то можно заметить, что пакеты с FIN от сервера вылетают длиной 54 байта. Т.е. ооочень маленькие. Прям меньше меньшего.

Для передачи по Ethernet положен минимальный размер 64 байта, в которые входят 4 байта FCS. Для этого сетевая карта добивает кадр кошачьим заполнителем (padding). По немолодому RFC 948 от 1985 года, заполнитель должен (should be, но не must) быть представлен в виде нулей.

Где-то там же пишут, что контрольная сумма считается по всему кадру, включая заполнитель. И, что еще важно, заполнитель в пути уже не модифицируется, если длина кадра не меняется.

Идем теперь дампить на ближайший к серверу коммутатер, что он там видит и делает.

А происходит следующее. Т.к. сервер подключен тегированным портом, то он дополнительно навешивает заголовок 802.1q, который занимает 4 байта. Т.о. для того, чтобы добить кадр до минимальной длины остается добавить 2 байт заполнителя. Все хорошо.

Далее пакет улетает на коммутатор. Аплинк на коммутаторе нетегированный, поэтому для пересылки кадра дальше он изымает из него 4 байта заголовка 802.1q (там где влан живет). Но теперь пакет снова меньше минимально допустимой длины. Коммутатор берет и добавляет свой padding. Только вот он у него состоит не из нулей, а забит какими-то циферками.

Вот ровно в этом месте родилась теория, что при попадании такого пакета, который условно не соответствует RFC, происходит сброс пакета по полю контрольной суммы на одном из линков. В целом, на этот момент мало кто реагирует. Но есть, видимо, уникальные снежинки, которым это важно.

Как исправить заполнитель на хуавее я, конечно же, не знаю. А когда не знаешь, что делать, переводи порт из транка в аксесс (на сетевушке сервера, естественно, тоже). В этом случае мы весь заполнитель формируем уже на сетевой карте, которая дампом ранее показала свою благонадежность в этом вопросе.

И получаем новую клиническую картинку

Весь заполнитель теперь формируется на сетевой карте и соответствует букве RFC. Хранилище довольно и трафик бежит.

Вот и вся магия.

Кстати, ровно этот же факт объясняет низкую скорость передачи. Пакеты с одними только ACK имеют маленькую длину, из-за чего имеют свойство теряться. Рассинхронизация и закрытие сессии через RST того же поля ягода. Сервер слал все сигнальные сообщения короткими пакетами по 54 байта, из-за этого ни одно не дошло до хранилища.

Собственно, не имея доступа к хранилищу и сети на том конце провода, можно только гадать о произошедшем. Но по собранным уликам можно со 100% вероятностью сделать вывод. Пакеты пропадали из-за неверного подсчета контрольной суммы FCS кадра на одном из узлов. И скорее всего этот узел – сетевая карта хранилища.

Контрольная сумма считается по битам, представленным в пакете. Из головы ничего не берется. Но в случае, когда заполнитель в кадре отличается от нулей, могут происходить такие эксцессы. Казалось бы, коммутатор хуавей виноват, что в качестве заполнителя пихает какие-то рандомные биты. Но в RFC-то написано should, а не must. Так что виновником назначаем сетевую карту, которая считает FCS по неверному алгоритму.

А почему же сервер, подключенный к Cisco работает нормально?  Вероятно, потому что циска эту фичу по многочисленным заявкам в своих софтах устранила. Вот бородатая статья, где исследуется подобная проблема.

https://www.cisco.com/c/en/us/support/docs/ios-nx-os-software/nx-os-software/200692-Troubleshoot-the-Corrupted-Ethernet-Pack.html

Чем руководствовались разработчики ASIC’ов циски и хуавея, почему им оказалось проще вместо нулей забивать кадр тарабарщиной – выяснить пока не удалось. Но причины явно веские. Скорее всего, это как-то связано с режимом коммутации на лету.

А какие еще решения могут быть у проблемы?

Самое банальное и надежное – обновить драйвер сетевой карты (той, что не видит короткие пакеты с кривым заполнителем). Например, для сетевушки HiSilicon Hi1822 такой фокус точно проворачивали, после чего FCS считается верно. Такая же проблема есть с сетевушкой Mellanox (но про нее мне достоверно ничего неизвестно).

А если доступа к сетевушке хранилища нет, и поменять дизайн сети, отказавшись от тегированных пакетов, тоже нельзя? В случае с TCP есть возможность докинуть в заголовок опций. Для Windows, например:

netsh interface tcp set global timestamps=enabled

Команда включает поддержку временных меток TCP (RFC 1323). Нам от этих меток ни тепло ни холодно. Нам балласт нужен.

Смотрим. До включения функции размер TCP-заголовка 20 байт

После включения приросло аж на 10 байт (точнее на 12). С лихвой перекрывает все потребности. Теперь минимальный пакет не 54 байта, а целых 66.

В линуксе эта опция вроде по умолчанию идет.

Но починить какой-нибудь ARP таким образом не удастся, там надо другие фокусы придумывать. Хотя опять-таки – чинить надо сетевую карту, все остальное подорожник разной степени убогости.

В общем, такие дела. Сети раз за разом находят новые места, где сломаться, а нам все пища для кропотливого обдумывания)

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.