Я специально сломал Linux-сервер. Попробуйте найти причину раньше меня

Я разрабатываю тренажёр, в котором нужно разбираться с поломками серверов. Для этой статьи я воспроизвёл один из сценариев и записал результаты диагностики. Предлагаю пройти его вместе, но с небольшой форой: перед каждой следующей уликой можно остановиться и поставить собственный диагноз.
Итак, ваша роль — дежурный системный администратор. Сервис payments не может связаться с платёжным шлюзом и отвечает 503. Нужно найти причину и восстановить связь.
Сразу обозначу границы эксперимента. Платёжный шлюз — HTTP-мок: он отвечает на проверочный запрос, денег здесь никто не переводит. Команды systemctl и journalctl реализованы совместимыми учебными обёртками, которые управляют процессами и собирают их сообщения.
При этом запросы, ошибки приложения и результаты диагностических команд ниже получены при реальном запуске. Если я показываю только часть вывода, это отдельно отмечено.
Читайте последовательно. В раскрывающихся блоках лежат следующие проверки и разбор. Если хотите поиграть в расследование, не открывайте их, пока не сформулировали свою гипотезу.
1. Сервис запущен, но работать не хочет
Начну с состояния процессов:
systemctl is-active payments dnsmasq
active
active
Оба сервиса активны. То есть payments не просто забыли запустить. Но работающий процесс ещё не означает, что он выполняет свою задачу.
Проверяю его HTTP-эндпоинт:
curl -sS -i http://127.0.0.1:8080/health
HTTP/1.0 503 Service Unavailable
Server: BaseHTTP/0.6 Python/3.11.2
Date: Wed, 18 Nov 2026 05:52:49 GMT
Content-Type: application/json
Content-Length: 115
{"status": "error", "gateway_error": "http://gateway.pay.internal:8443/ping: [Errno -2] Name or service not known"}
У приложения есть конкретная претензия к gateway.pay.internal. На этом шаге я не стал бы искать проблему в HTTP-коде 503: это ответ самого payments на неудачную проверку зависимости.
Посмотрю журнал:
journalctl -u payments -n 8 --no-pager
Из вывода оставлю одну строку с ошибкой; повторяющиеся сообщения опущены:
Nov 18 05:51:55 pay-01 python3[34]: ERROR: payment gateway check failed: http://gateway.pay.internal:8443/ping: [Errno -2] Name or service not known
Здесь нет ни отказа в соединении, ни ошибки сертификата. Приложение сообщает, что не смогло получить адрес по имени. Это сужает поиск, но ещё не объясняет причину.
Вопрос к вам: какие две проверки помогут отделить недоступность самого шлюза от проблемы обращения к нему по имени? Сначала выберите команды и ожидаемые результаты, затем переходите дальше.
2. Проверяем шлюз отдельно от приложения
Следующая проверка
В этой лаборатории я заранее знаю адрес мока из конфигурации стенда: 127.0.0.20, порт 8443. Проверю его напрямую. Все адреса 127.0.0.* здесь относятся к компонентам внутри одного контейнера.
curl --noproxy '*' -sS -i http://127.0.0.20:8443/ping
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.11.2
Date: Wed, 18 Nov 2026 05:52:50 GMT
Content-Type: application/json
Content-Length: 18
{"gateway": "ok"}
Шлюз отвечает. Несмотря на номер порта, это именно HTTP, как и указано в URL приложения. TLS в этой проверке не участвует.
Такой результат подтверждает доступность конкретного эндпоинта по IP из нашего контейнера. Он ещё ничего не говорит о том, какой адрес получает приложение при обращении по имени.
Теперь спрошу DNS:
dig +short gateway.pay.internal
127.0.0.20
Ответ совпадает с адресом, по которому шлюз только что вернул 200.
На этом месте легко решить, что с поиском адреса всё хорошо, а проблема осталась внутри приложения. Но пока мы проверили только запрос, который сделал dig.
Вопрос к вам: достаточно ли успешного dig, чтобы закрыть гипотезу с поиском адреса? Как проверить, получает ли имя тот код, который выполняет запросы приложения? Остановитесь на минуту и выберите следующую проверку.
3. На одном сервере получаются разные ответы
Что получилось дальше
Сравню результат с системным поиском имён:
getent hosts gateway.pay.internal
Команда ничего не вывела и завершилась с кодом 2. Это зафиксированный результат, а не потерянная при копировании строка.
Итак, dig получает адрес, а getent — нет. Для проверки ещё ближе к приложению вызову поиск адреса из Python:
python3 -c 'import socket; print(socket.getaddrinfo("gateway.pay.internal", 8443))'
В stderr:
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/lib/python3.11/socket.py", line 962, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
socket.gaierror: [Errno -2] Name or service not known
Код завершения — 1. Ошибка совпадает с той, которую пишет payments.
Я использую здесь обе проверки осознанно. getent hosts полезен как проверка системного поиска имён, но его путь не следует считать полностью тождественным любому сетевому вызову. Отдельный вызов socket.getaddrinfo подтверждает, что в нашем Python-окружении проблема воспроизводится и без остального кода payments.
Теперь гипотеза «это просто баг приложения» выглядит слабее. Для воспроизведения ошибки не нужны ни его HTTP-обработчик, ни фоновый цикл проверки шлюза.
Вопрос к вам: как могут одновременно быть верны три наблюдения — шлюз доступен по IP, dig знает адрес, а системный поиск и Python его не получают? Сформулируйте объяснение, которое не противоречит ни одному из них, прежде чем открывать следующую улику.
4. Сравниваем ответы по пути
Ещё несколько проверок
Проверю, куда настроены DNS-запросы:
cat /etc/resolv.conf
# Локальный кеширующий DNS (dnsmasq)
nameserver 127.0.0.53
options timeout:2 attempts:2
В стенде 127.0.0.53 — локальный кеширующий dnsmasq, а 127.0.0.2 — отдельный учебный DNS, изображающий корпоративный сервер. Сам по себе адрес 127.0.0.53 здесь не означает, что используется systemd-resolved.
Опрошу каждый DNS явно:
dig +short @127.0.0.53 gateway.pay.internal
127.0.0.20
dig +short @127.0.0.2 gateway.pay.internal
127.0.0.20
Оба возвращают правильный адрес. Я также проверил /etc/hosts: записи для gateway.pay.internal там нет. Устаревшей локальной подменой имени это расхождение не объясняется.
У нас уже есть полезная граница. Прямые DNS-запросы проходят, а вызов поиска адреса из Python завершается ошибкой. Проверять ещё один DNS наугад я бы пока не стал: сначала нужно понять, чем отличаются пути этих двух запросов.
Именно ради этой развилки я выбрал сценарий для статьи. Успешная диагностическая команда иногда отвечает на более узкий вопрос, чем тот, который мы мысленно ей задали. dig успешно выполнил свою работу. Мы ещё не доказали, что приложение делает то же самое.
Вопрос к вам: где задаётся, из каких источников система ищет имена хостов? Какое значение там объяснило бы все наблюдения? Перед раскрытием запишите свой диагноз и минимальное исправление.
5. Одна строка, которая объясняет расхождение
Разбор и исправление
Смотрю порядок поиска имён:
grep -n "^hosts:" /etc/nsswitch.conf
13:hosts: files
Число 13 — номер строки, добавленный grep -n. Сама настройка — hosts: files.
Это и есть поломка выбранного варианта. В /etc/nsswitch.conf строка hosts задаёт источники для системного поиска имён через NSS — Name Service Switch. В нашем контейнере оставлен только files: поиск в /etc/hosts. Там имени шлюза нет, а источник dns из списка убран.
Поэтому исправный DNS не помогает приложению: до него этот путь поиска не доходит.
dig делает прямой DNS-запрос и не использует этот список источников. Отсюда правильный ответ в терминале. А Python-приложение в данном окружении получает адрес через системный резолвер и натыкается на настройку hosts: files. Расхождение между инструментами перестаёт быть противоречием, когда видно, что именно они проверяют.
В реализации сценария выбранный вариант при старте контейнера намеренно заменяет строку hosts, оставляя только files. В учебной вводной это связано со скриптом харденинга. Это заданная поломка тренажёра; я не утверждаю, что такое изменение произошло у какой-то реальной компании.
Для этого контейнера возвращаю второй источник:
sudo sed -i 's/^hosts:.*/hosts: files dns/' /etc/nsswitch.conf
Команда завершилась с кодом 0, stdout пустой. При этом sudo вывел отдельное предупреждение в stderr:
sudo: unable to resolve host pay-01: Name or service not known
Оно относится к собственному имени контейнера pay-01, для которого в /etc/hosts нет записи. Не нужно путать его с именем шлюза: ниже отдельно проверим восстановление gateway.pay.internal и приложения.
На реальном сервере эту замену нельзя копировать бездумно. Команда целиком заменяет строку hosts. В другом окружении там могут быть дополнительные источники и правила обработки ответов. Нужно сначала разобраться с существующей конфигурацией и сохранить необходимые настройки. Здесь показана правка для конкретного учебного контейнера с известным устройством.
Проверяю, что записалось:
grep -n "^hosts:" /etc/nsswitch.conf
13:hosts: files dns
Вопрос к вам: какие результаты докажут, что исправлена причина отказа payments, а не только изменился конфигурационный файл? Прежде чем читать дальше, выберите проверки на уровне поиска имени и самого приложения.
Проверка результата
Повторяю системный поиск:
getent hosts gateway.pay.internal
127.0.0.20 gateway.pay.internal
Теперь адрес получен, код завершения — 0. Вызов Python socket.getaddrinfo в том же прогоне тоже завершился успешно.
Но удачное разрешение имени ещё не заменяет проверку сервиса:
curl -sS -i http://127.0.0.1:8080/health
HTTP/1.0 200 OK
Server: BaseHTTP/0.6 Python/3.11.2
Date: Wed, 18 Nov 2026 05:52:53 GMT
Content-Type: application/json
Content-Length: 39
{"status": "ok", "gateway_error": null}
payments восстановился. Перезапускать его или dnsmasq в этом прогоне не понадобилось. После правки очередная фоновая проверка смогла связаться со шлюзом.
Это видно и в журнале:
journalctl -u payments -n 4 --no-pager
Последняя строка вывода, предыдущие ошибки опущены:
Nov 18 05:52:52 pay-01 python3[34]: payment gateway is reachable again
Штатная проверка сценария в том же прогоне:
sudo /usr/local/bin/check.sh
В stdout:
OK: gateway.pay.internal разрешается верно, payments видит шлюз
Код завершения — 0. Полноты ради, в stderr осталось предупреждение про собственное имя контейнера:
sudo: unable to resolve host pay-01: Temporary failure in name resolution
Оно не помешало проверке шлюза. Скрипт отдельно проверяет отсутствие ручной записи шлюза в /etc/hosts, наличие DNS в порядке поиска, работу dnsmasq, правильный адрес от DNS и getent, а также HTTP 200 от payments.
Повторный запрос к /health через три секунды тоже вернул 200. Это проверка восстановления в рамках нашего прогона; длительную стабильность под нагрузкой такой короткий замер не доказывает.
Я бы вынес из этого случая одну привычку: после успешной проверки полезно проговорить, что именно она подтвердила. Здесь dig доказал, что DNS отвечает на запрос. Он не доказал, что приложение использует DNS при поиске адреса.
В коде стенда payments проверяет шлюз HTTP-запросом с таймаутом две секунды, затем делает паузу две секунды. /health считается успешным, если с последней удачной проверки прошло меньше десяти секунд. Поэтому полученный 200 подтверждает восстановление этой учебной связи. Обработку настоящих платежей мы не проверяли.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.