InquirerDangerous heat index forecast in 3 PH areas on Nov. 17The Jerusalem PostUS releases details of Megaspeed probe, says investigation began in 2024PunchLagos ADC deputy gov candidate warns against rigging, dares riggersCNN TürkSAĞANAK ALARMI! 17 Kasım İstanbul hava durumu son dakika| Bugün hava nasıl olacak? Meteoroloji ve AKOM uyardı!Inquirer EntertainmentKatrina Anne Johnson reflects on 1st week at Miss International 2026 in JapanComplete SportsBest Online Sport Betting Sites That Everyone Must Know OfScreen RantThe Legend Of Zelda: Twilight Princess Officially Returns For New 40th Anniversary CollectionBBC NewsUkraine and Russia trade strikes on key bridgesZDF heuteEntdecken Sie das ZDF-NachrichtenstudioSky TG24Ucraina, massiccio attacchi russi: a Kiev colpiti 2 ponti. Raid su Gazprom in Russia. LIVESoompiLee Min Ki, Kwak Sun Young, And Team Uncover A Shocking Twist In “Crash 2”النهار"أمر جنوني تماماً"... احتجاز بطل الملاكمة السابق ليناريس في تكساس
The Daily Newsstand · Free, Always
Tuesday, November 17, 2026

Отправляю страницы на переобход в Яндекс.Вебмастер скриптом через браузер, потому что API отвечает 504

Translate

В начале ноября я полез проверить, как мой блог выглядит в Яндексе, и обнаружил, что всё вышедшее после 7 октября в поиск не попало. Статьи выходят по расписанию три раза в неделю, они есть в sitemap, IndexNow на каждую отвечает 202, YandexBot по журналу nginx приходит каждый день. А запрос url: по любой новой статье ничего не находит, и так уже месяц.

Помогла кнопка, до которой у меня раньше не доходили руки: отправка на переобход в кабинете Вебмастера. 10 ноября я отправил туда 10 адресов, на следующий день робот забрал 9 из них, а события в API показали «появилась в поиске» у семи. Руками каждый день лень, написал скрипт.

Домен в коде ниже заменён на example.com, остальное взято из рабочего файла почти без правок.

API

У Вебмастера есть метод POST /v4/user/{user_id}/hosts/{host_id}/recrawl/queue/. 10 ноября он на каждый адрес, включая главную, отвечал 504 Gateway Timeout. Самое странное, что остальной API в это же время работал нормально: и список страниц в поиске, и события, и запросы отдавались без проблем. Метод квоты переобхода при этом показывал 150 и 140 оставшихся, хотя в кабинете в тот же день был лимит 10 адресов в сутки на сайт, поддомены считаются вместе с основным. Какой цифре верить, я разбираться не стал. Кабинет в браузере принимал адреса, поэтому скрипт работает через браузер.

Браузером управляет playwright-cli, он подключается к уже открытому окну Chrome с отдельным профилем, в котором я один раз вошёл в Яндекс руками. Пароля скрипт не знает. Запускает его launchd на маке в 10:45 по Москве, через 15 минут после того, как сервер выкладывает статью дня. За сутки скрипт отправляет не больше, чем разрешает кабинет, то есть столько же, сколько я мог бы отправить руками.

Какие 10 адресов отправить

10 в день немного, поэтому почти весь код про то, что отправлять. Источников три:

def candidates():
    today = str(datetime.date.today())
    queue = [ln for ln in QUEUE.read_text().splitlines() if ln.strip()] if QUEUE.exists() else []
    order = [to_url(s) for d, s in posts() if d == today] + [to_url(s) for s in queue] + not_in_search()
    skip = recently_sent()
    seen, out = set(), []
    for u in order:
        fresh_or_queued = u not in skip or u in [to_url(s) for s in queue]
        if u not in seen and fresh_or_queued:
            seen.add(u)
            out.append(u)
    return out, queue

Статья, вышедшая сегодня, идёт первой. За ней ручная очередь, это текстовый файл, куда я по строке дописываю slug или адрес переписанной статьи. И в конце всё вышедшее, чего нет в поиске по данным API. Адрес, отправленный за последние 14 дней, повторно из третьего источника не берётся, а вот из ручной очереди берётся всегда: раз я его туда положил, значит, так надо.

Третий источник тянется через API, и тот иногда падает, так что при ошибке функция просто возвращает пустой список:

def not_in_search():
    try:
        report.load_env()
        tok = os.environ["YANDEX_OAUTH_TOKEN"]
        uid = report.get("https://api.webmaster.yandex.net/v4/user/", tok)["user_id"]
        base = f"https://api.webmaster.yandex.net/v4/user/{uid}/hosts/{report.HOST_ID}"
        found = {x["url"] for x in report.get(f"{base}/search-urls/in-search/samples/?limit=100", tok)["samples"]}
    except Exception as e:
        print(f"⚠️  API Вебмастера: {e}")
        return []
    return [to_url(s) for _, s in reversed(posts()) if to_url(s) not in found]

Пригодилось это в первый же боевой день. Вот кусок лога от 12 ноября:

── 2026-11-12 10:46 ──
⚠️  API Вебмастера: <urlopen error [Errno 8] nodename nor servname provided, or not known>
свободно сегодня: 10, к отправке: 10
  https://example.com/blog/kursy-po-vajb-kodingu.html
  https://example.com/blog/modeli-v-claude-code.html
  ...
✅ принято Яндексом: 10 из 10, в очереди файла осталось 4

У мака в момент запуска не резолвился DNS, API отвалился, а ручная очередь всё равно ушла целиком. Почему DNS не работал, я до сих пор не понял, в соседние дни около десяти утра мак так же не мог достучаться до сервера по ssh.

Перед отправкой каждый адрес проверяется HEAD-запросом. Пару статей я удалил и закрыл 301 на соседние, и тратить на редирект одну попытку из десяти было бы жалко:

def alive(url):
    try:
        with urllib.request.urlopen(urllib.request.Request(url, method="HEAD"), timeout=20) as r:
            return r.status == 200 and r.url == url
    except Exception:
        return False

Сколько попыток осталось на сегодня, скрипт считает по таблице заявок в самом кабинете, потому что я иногда отправляю что-то руками, а свой журнал об этом не знает:

def sent_today():
    d = datetime.date.today().strftime("%d.%m.%Y")
    return js(f"() => [...document.querySelectorAll('tr')].filter(r => r.innerText.includes('{d}')).length")

Серая кнопка «Отправить»

Первая версия вставляла адреса в textarea через JavaScript: присвоить value, отправить событие input. Поле заполнялось, а кнопка «Отправить» оставалась серой. Видимо, интерфейс следит за полем как-то по-своему, и синтетического события ему мало. Заработало с командой fill из Playwright, после неё кнопка включается так же, как от живого набора:

cli("fill", "textarea", "\n".join(batch))
subprocess.run(["sleep", "2"])
clicked = js("() => { const b = [...document.querySelectorAll('button')]"
             ".find(b => b.innerText.trim() === 'Отправить');"
             " if (!b || b.disabled) return false; b.click(); return true }")

Пока я с этим возился, я смотрел на текстовый снимок страницы (accessibility snapshot), который отдаёт playwright-cli, и он меня обманул. В тот день лимит был уже потрачен, нажать кнопку было нельзя, а в снимке она выглядела обычной. С тех пор состояние кнопки скрипт проверяет только через b.disabled в самой странице.

Из-за того же потраченного лимита я не смог в тот день проверить отправку целиком: кабинет до следующих суток ничего не принимает. Пришлось сделать --dry-run, который проходит все шаги, кроме клика, и печатает, что ушло бы.

После отправки

Скрипт перечитывает таблицу заявок: «В очереди» или «Заявка обработана» считаю принятым, вычёркиваю из ручной очереди, остальное шлю себе в Телеграм. Нет поля для адресов на странице, значит, слетел вход, и тут скрипт просто просит меня войти.

Унести всё это на сервер, где живёт остальная автоматика блога, я не решился. Вход в Яндекс из headless-браузера в датацентре почти наверняка упрётся в проверки безопасности, а с переносом сохранённой сессии между машинами у меня уже был неприятный опыт с другим сервисом. Если мак в 10:45 спит, launchd запустит пропущенное задание, когда он проснётся.

По цифрам на сейчас: первый боевой прогон 12 ноября, принято 10 из 10, за три дня с учётом двух ручных отправок ушло 30 адресов, страниц в поиске 45, было 41. Цифры не чистые, часть статей я в те же дни переписал, потому что Яндекс снимал их как «малоценные».

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.