Алгоритм терморегулирования в серверных процессорах Intel

При эксплуатации сервера пользователь сталкивается сразу с несколькими показателями температуры процессора. У него возникает ряд вопросов: какие из них имеют практическую пользу? На что ориентироваться? При какой температуре должен срабатывать алерт и когда действительно пора беспокоиться о перегреве?

Меня зовут Павел Гуделёв, я руковожу центром компетенций L3 в YADRO. Наше подразделение регулярно получает от заказчиков запросы и эскалации, связанные с предполагаемым перегревом процессоров в серверах. При разборе таких случаев мы заметили, что заказчику не всегда очевидно, как работает терморегулирование процессора, на какие показатели стоит смотреть и какие значения действительно говорят о перегреве. В результате нормальные рабочие показатели иногда считают проблемными. 

При этом найти понятное и достоверное описание, как это работает, оказалось непросто. Материалов в интернете много, но в них встречаются ошибки и некорректные трактовки. Информация и утверждения, верные для одной серии процессоров, нельзя напрямую применять к процессорам другой. А еще процессоры постоянно развиваются, поэтому то, что верно для одного поколения, может не работать для следующего.

Я решил написать эту статью, в которой постараюсь просто описать работу системы терморегулирования в процессорах Intel Xeon Scalable v2 (Cascade Lake) и Intel Xeon Scalable v3 (Ice Lake), опираясь только на официальные источники информации. Ссылки на них приведены в конце статьи. При расхождении вариантов перевода терминов на русский язык их оригинальное название привожу в скобках. 

Какова практическая ценность открытой спецификации для системных администраторов?

Слепо доверять открытой спецификации Intel не стоит. Почему? Наиболее распространенный показатель температуры, упоминаемый в публичной документации (public datasheet), — T_CASE. Он описывает максимальную ожидаемую температуру в центре встроенного распределителя тепла (IHS, далее — распределитель) при 100%-ной нагрузке и расчетной тепловой мощности (TDP).

T_CASE больше предназначен для производителей серверов и систем охлаждения процессоров: это лишь приблизительная максимальная температура распределителя. При эксплуатации сервера температуру распределителя практически невозможно напрямую измерить. Также T_CASE — это не максимально допустимая температура кристалла процессора. 

Показатель T_CASE не имеет практического значения для конечного потребителя сервера. А начиная с версии Intel Xeon Scalable v4 (Sapphire Rapids) открытая спецификация процессоров включает в себя также значение температуры DTS Max (ее рассмотрим ниже), больше не полагаясь исключительно на T_CASE.

Термины и определения

Начнем с терминологии. В этой статье:

• TDP (Thermal Design Power) — расчетная тепловая мощность, выраженная в ваттах, которую процессор рассеивает при работе на базовой частоте со всеми активными ядрами при максимальной теоретической нагрузке. Базовая частота — параметр, указанный в спецификации как Processor Base Frequency (GHz). С помощью значения TDP определяются параметры системы охлаждения: она должна рассеивать тепла не меньше, чем TDP. TDP — не максимальная тепловая мощность. Например, при включенном Intel Turbo Boost мгновенная тепловая мощность может превышать значение TDP на некоторое время.

• Thermal Monitor — функционал управления энергопотреблением процессора, предназначенный для снижения температуры при достижении  определенного порога.

• TCC (Thermal Control Circuit) — cхема терморегулирования, используемая thermal monitor для снижения температуры кристалла процессора, когда та близка к рабочим пределам (operating limits).

• PECI (Platform Environment Control Interface) — одноконтактная шина (интерфейс), обеспечивающая связь между процессором/компонентами микросхем (чипсетом) и внешними устройствами мониторинга и термоконтроля. С помощью PECI подключенные к чипсету устройства могут получить доступ к значениям из внутренних регистров процессора.

• IHS (Integrated Heat Spreader) — встроенный распределитель тепла, неотъемлемая часть процессорного пакета (processor package) для улучшения тепловых характеристик пакета в целом. Неравномерное тепло от кристалла процессора (processor silicon die) передается к верхней части распределителя, который рассредоточивает тепловой поток по бо́льшей площади поверхности. Компоненты внешней системы охлаждения взаимодействуют непосредственно с поверхностью встроенного распределителя тепла. Проще говоря, встроенный распределитель тепла — это металлическая внешняя крышка на корпусе процессора, которая имеет непосредственный контакт с кристаллом и защищает его.

Как измеряется температура процессора (DTS)

Для контроля температуры кристалла (die) процессоров Intel Xeon Scalable в каждом ядре имеется специальный цифровой датчик температуры (Digital Temperature Sensor, DTS). Это АЦП, который калибруют на заводе-изготовителе: преобразуют аналоговое значение напряжения в цифровое значение температуры, которое сохраняется во внутренних программно-доступных регистрах процессора. Причем это не абсолютное значение температуры для датчика DTS, а отрицательное отклонение текущего значения температуры кристалла от значения температуры активации TCC (Thermal Control Circuit Activation Temperature, T_PROCHOT или DTS Max). 

Под температурой кристалла процессора обычно имеют в виду температуру, соответствующую в конкретный момент температуре кристалла самого горячего ядра.

То есть если значение температуры активации cхемы терморегулирования TCC — 100 °С, а значение текущей температуры кристалла — 85 °С, то во внутренних регистрах для датчика DTS будет записано значение –15 °С. То есть датчик DTS используется не для контроля текущих абсолютных значений температуры, а для отслеживания отклонений температуры кристалла от определенных порогов и управления механизмами терморегулирования процессора. 

Значение DTS доступно для чтения по интерфейсу PECI с помощью команды GetTemp(). Несмотря на использование знакового разряда значение, возвращаемое из PECI, является отрицательным. 

Рассмотрим, что такое температура активации TCC, а также как контрольные точки связаны с thermal monitor.

Тех, кто готов решать вопросы на уровне терморегулирования процессоров в серверах и не только, зовем к себе в команду! Откликайтесь на вакансию «Инженер-эксперт L3».

Контрольные точки, используемые системой терморегулирования процессора

В процессоре заданы три контрольных точки с температурными порогами. При превышении каждого из них система терморегулирования реагирует заранее определенным способом, чтобы снизить температуру процессора. Мы в деталях рассмотрим три точки: TCC Activation Temperature, T_CONTROL и THERMTRIP.

Начнем с точки температуры активации TCC. Это единственная точка в процессорах Intel Xeon Scalable, которая задана абсолютным значением, а две других точки задаются смещением (отклонением) от нее.

Контрольная точка № 1: TCC Activation Temperature, TPROCHOT или DTS Max

Температура активации TCC (TCC Activation Temperature) — максимально безопасная рабочая температура кристалла, превышение которой запускает функционал управления энергопотреблением процессора (thermal monitor). В примере выше это были условные 100 °С, от которых задается значение датчика DTS (–15 °С). 

Значение температуры активации TCC содержится в регистрах процессора в программно-считываемых полях. Калибруется это значение индивидуально, однако ввиду производственных отклонений фактическая температура активации TCC может оказаться выше значения, заданного в регистрах. Поэтому значение в регистрах должно иметь запас относительно фактической точки срабатывания TCC.

Зачастую в документации и выводе различных утилит точка температуры активации TCC упоминается как точка T_PROCHOT. 

Intel(R) Power Thermal Utility - Server Edition v2.3.1
Release Date: 12/04/2020
Copyright (C) 2020 Intel Corporation. All rights reserved.


>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> System Info:                   <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
Host Name:                           ubuntu
…………………………………………
Kernel Version:                      Linux 5.15.0-25-generic #25-Ubuntu SMP Wed Mar 30 15:54:22 UTC 2022
…………………………………………
Processor(s):                        2 Processor(s) Installed.
DIMM(s):                             12 DIMM(s) Installed.
Total System Memory:                 772612 MB
Available System Memory:             769251 MB


>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Processor: [CPU_0] <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
CPU ID: 0x00050657 (Family 6 Model 55h Stepping 7)
CPU Brand Name: Intel(R) Xeon(R) Gold 6248R CPU @ 3.00GHz
CPU Code Name: Cascade Lake
…………………………………………
Tprochot: 95 C
…………………………………………

Также в различных спецификациях эта точка упоминается как DTS Max: например в публичной спецификации процессоров Intel Xeon Scalable v4 (Sapphire Rapids) и выше.

Запуск и исполнение thermal monitor

Когда значение датчика DTS становится равным нулю, отправляется служебный сигнал PROCHOT_N (или PROCHOT#). Этот сигнал не может быть ни проигнорирован, ни отключен извне. Затем для снижения температуры кристалла активируется функционал управления энергопотреблением процессора (thermal monitor). Для этого используются различные методы понижения температуры: модуляция тактовой частоты или одновременное регулирование рабочей частоты и входного напряжения питания процессора. Эти методы могут использоваться как совместно, так и по отдельности. Логика принятия решения о применении конкретного метода встроена в процессор. 

Метод модуляции тактовой частоты

В период действия сигнала PROCHOT_N процессор начинает пропускать часть тактов за счет тактирующего сигнала прореживания. При этом номинальная тактовая частота не изменяется, но процессор за единицу времени выполняет меньше операций. Поэтому его эффективная производительность снижается, а вместе с ней уменьшается и тепловыделение. Это позволяет снизить температуру процессора.

Метод регулирования рабочей частоты и входного напряжения питания процессора

В период действия сигнала PROCHOT_N процессор снижает тактовую частоту и напряжение питания. Сначала уменьшается коэффициент умножения, из-за чего снижается тактовая частота процессора. При достижении определенных значений частоты ступенчато снижается и напряжение питания. Чем ниже частота и напряжение, тем меньше энергопотребление и тепловыделение процессора. Поэтому температура кристалла снижается. После отключения сигнала PROCHOT_N процессор поэтапно повышает напряжение питания и тактовую частоту, возвращаясь к номинальным значениям.

При понижении температуры кристалла и ее возвращении в рамки рабочих значений сигнал PROCHOT_N (PROCHOT#) отключается. Функционал управления энергопотреблением процессора (thermal monitor) останавливается.

Контрольная точка № 2: TCONTROL

Точка T_CONTROL предназначена для использования в системах регулирования скорости вращения вентиляторов (Fan Speed Control, FSC), чтобы обеспечить баланс между уровнем акустического шума системы и эффективностью охлаждения процессора за счет вентиляторов системы охлаждения.

T_CONTROL — статическое отрицательное смещение относительно точки температуры активации TCC (T_PROCHOT). Значение T_CONTROL всегда отрицательное и тоже записывается в регистры процессора, а также указывается в спецификации (хотя там порой значение этой точки указывается как положительное число). Например, для большинства процессоров семейства Intel Xeon Scalable v2 (Cascade Lake) значение T_CONTROL равно –10 °С. Для процессора Intel Xeon Gold 6248R значение точки T_PROCHOT равно 95 °С. Это значит, что точка T_CONTROL будет достигнута процессором при температуре кристалла 85 °С, или когда значение датчика DTS будет равно –10 °С.

Значение точки T_CONTROL является пороговым для системы регулирования скорости вращения вентиляторов, когда:

1. Значение датчика DTS меньше или равно значению T_CONTROL. В этом случае система регулирования скорости вращения вентиляторов может регулировать скорость вращения для снижения уровня акустического шума.

2. Значение датчика DTS больше значения T_CONTROL. Тут система регулирования скорости вращения вентиляторов должна установить скорость вращения для наилучшего охлаждения процессора. Уровень акустического шума здесь не важен, надо увеличить скорость вращения вентиляторов до максимальной и охладить процессор.

Текущее значение T_CONTROL доступно для чтения по интерфейсу PECI с помощью команды RdPkgConfig(). Возвращаемое из PECI значение — беззнаковое (положительное), но по определению оно отрицательное.

Контрольная точка № 3: максимально допустимое значение, THERMTRIP

Когда температура кристалла процессора достигает величины, превышение которой может привести к повреждению самого кристалла, процессор отправляет в систему аварийный сигнал THERMTRIP_N (или THERMTRIP#). 

Точное значение температуры, при котором происходит генерация сигнала THERMTRIP_N, задается в процессе калибровки процессора и не может быть изменено. Это значение различно для разных моделей процессоров, и для процессоров семейства Intel Xeon Scalable Processors вовсе неизвестно. В документации есть лишь отсылки вида «некоторые более высокие пороговые значения».

При активации данного сигнала процессор останавливает выполнение всех текущих процессов и выключается — происходит его аварийное отключение. Этот сигнал, как и  PROCHOT_N, отвечающий за активацию TCC, не может быть ни проигнорирован, ни отключен извне. Когда использование thermal monitor не позволяет удержать температуру процессора в рабочих пределах, целостность данных не гарантируется.

Сигнал THERMTRIP_N активен до тех пор, пока не будет получен сигнал RESET_N — сигнал глобального сброса. При его подаче происходит сброс процессора в определенное состояние и его внутренние кеши становятся недействительными без возможности восстановления их содержимого. 

Про TjMAX

В открытой спецификации семейства Intel Core Processors поколения 7 и выше можно встретить упоминание контрольной точки T_JUNCTION (Tj_MAX или T_{JUNCTION max}). И определена она как максимально допустимая температура на кристалле процессора, что по сути похоже на описание точки генерации сигнала  THERMTRIP_N для Intel Xeon Scalable Processors. 

Однако в документации по терморегулированию семейства Intel Core Processors данная точка больше соответствует точке температуры активации TCC (T_PROCHOT). 

Поэтому, опираясь на документацию, здесь предпочтительно трактовать Tj_MAX в настольных процессорах Intel 7 поколения и выше как аналог T_PROCHOT в серверных процессорах.

Практическая реализация в системах

Каждый производитель BMC самостоятельно определяет, какие сенсоры использовать и какие пороговые значения для них задать. При этом он учитывает особенности аппаратной платформы и собственный опыт, чтобы поддерживать безопасную температуру компонентов и не допускать перегрева системы.

В актуальных версиях BMC наших серверов VEGMAN первого и второго поколения отслеживается текущая температура кристалла процессора (представлена сенсором CPUx_Die), которая вычисляется арифметически. Для этого сенсора заданы следующие пороговые значения:

1. Upper Non-Critical — соответствует значению точки T_CONTROL;

2. Critical — соответствует значению точки  T_PROCHOT – 2 °С.

При мониторинге температуры процессора не получится ориентироваться на одно значение, взятое из спецификации или показаний утилиты. Разные температурные точки могут называться по-разному, но при этом быть предназначены для одних и тех же задач. Какие-то используются самим процессором для управления тепловым режимом, другие — системой охлаждения, а некоторые связаны с аварийной защитой. 

Поэтому высокая температура сама по себе еще не означает перегрев или неисправность. Важно понимать, что именно измеряет конкретный сенсор, относительно какой точки задан его порог и какая реакция системы предусмотрена при его достижении.

Заключение

Прежде чем завершить статью, предлагаю кратко подытожить что мы рассмотрели. Алгоритм работы представлен на схеме, а детали о каждой точке — T_PROCHOT (TCC Activation Temperature), T_CONTROL и THERMTRIP — в виде небольшой шпаргалки приведены в таблице ниже:

Источники

• Intel® Xeon(R) Gold 6248R (Cascade Lake)

• Intel® Xeon(R) Gold 6448H (Sapphire Rapids)

• Intel® Core™ i7-7700 (Kaby Lake)

• Second Generation Intel® Xeon® Scalable Processors Thermal/Mechanical Specifications and Design Guide 

• 3rd Gen Intel® Xeon® Scalable Processor, Codename Ice Lake-SP Datasheet, Volume One: Electrical

• Спецификации продуктов Intel

• Thermal Design Power (TDP) in Intel® Processors

• Information about Temperature for Intel® Processors