Как я научил телепрограмму отличать премьеру от повтора

Я хотел простую вещь: чтобы телефон напоминал о новом выпуске шоу, которое мы с женой смотрим. Не о повторе в два часа ночи и не о вчерашнем выпуске, который канал крутит в субботу утром, а только о премьере. Оказалось, что ни одна телепрограмма этого не умеет, и дело не в лени разработчиков: в данных, из которых они собраны, такой информации просто нет. Ниже — где я её нашёл, на чём спотыкался и что в итоге получилось.
Почему телепрограмма не знает, где премьера
Почти все телепрограммы строятся на EPG — электронной программе передач в формате XMLTV. Сам формат умеет многое: в нём есть поле для номера серии episode-num и флаги <new/> и <previously-shown/>. Но в бесплатной программе российских каналов, которую я взял за основу (около 3 750 каналов вместе с часовыми сдвигами), заполнены только название, описание и время начала. Ни номеров серий, ни признака премьеры там нет, а то, что есть, каждый канал пишет по‑своему. Вот как выглядит одно и то же «это пятая серия» у трёх разных каналов:
Выживалити. Легенда Альфа ┊ 5 (Пятница)
Титаны. Сезон 3-й 2-я серия (ТНТ)
Суперниндзя (СТС — без номера вовсе)Кроме разнобоя в номерах, в программе попадаются названия, где часть русских букв заменена латинскими: «Четыpе свaдьбы» с латинскими p и a глазом не отличить от правильного, а строковое сравнение на нём ломается. Последняя проблема серьёзнее всех: программа честно хранит неделю назад, но вперёд видит только на два‑три дня. Значит, в понедельник по ней нельзя сказать, что в пятницу выйдет новый выпуск, — а именно это мне и было нужно.
Второй источник: расписание выпусков
Нужен был источник, который знает, когда выходят новые выпуски. Им стал TVmaze — открытая база сериалов и шоу с бесплатным API, данные под лицензией CC BY‑SA, лимит 20 запросов за 10 секунд. У TVmaze есть расписание по странам, и для российских каналов там лежат только оригинальные показы, причём на недели вперёд. Это ровно то, чего не хватает EPG.
Без сюрпризов не обошлось и здесь. У российских каналов в TVmaze указан часовой пояс Asia/Kamchatka, поэтому готовое поле airstamp с временем в UTC уезжает на девять часов, и правильнее собирать время из airdate и airtime, считая их московскими. Номера выпусков с программой не совпадают: 25 октября у «Титанов» в программе стояла «3-я серия», а в TVmaze — «Выпуск 7», так что сопоставлять по номеру бесполезно. И наконец, TVmaze иногда просто отстаёт: у «Что? Где? Когда?» последней значилась игра декабря прошлого года, хотя осенний сезон уже шёл — новый сезон в базу никто не завёл.
Прежде чем остановиться на этой паре, я сравнил ещё несколько источников: TMDB и разные бесплатные и платные EPG. В одной программе время на части каналов было сдвинуто на часы, а местами на целый день. В другой время помечено как UTC, а на деле оказалось пекинским, плюс восемь часов. Самый подробный источник, с признаками премьер и id Кинопоиска, стоит от 20 000 ₽ в месяц, что для бесплатного приложения не вариант. TMDB пригодился для другого — русских описаний, постеров и жанров, — но времени эфира там нет. В итоге картина сложилась такая: EPG знает точное время всех эфиров, включая повторы, а TVmaze знает, какие из них новые. Осталось научиться их связывать.
Как связать два источника
Сначала из названия в программе нужно отделить само название шоу от «маркера» выпуска — номера серии в том виде, в каком его написал канал:
split_title("Титаны. Сезон 3-й 2-я серия") # -> ("Титаны", "S3E2")
split_title("Выживалити ┊ 5") # -> ("Выживалити", "5")Названия сравниваются по ключу без регистра, буквы «ё», кавычек и знаков препинания, а латинские двойники русских букв перед этим заменяются на кириллицу. Если точного совпадения нет, ищется совпадение по началу: «Тверская» в TVmaze и «Тверская. Здесь и сейчас» в программе — одно и то же шоу. С каналами та же история, «Пятница! HD» и «Пятница» должны считаться одним каналом, иначе половина пар не найдётся.
Главное решение — сопоставлять выпуски не по номеру, а по каналу и времени. Для каждого выпуска из TVmaze берутся эфиры этого шоу на его канале в окне ±75 минут от заявленного времени. Затем все возможные пары «выпуск — эфир» сортируются по разнице во времени, и каждому выпуску жадно достаётся ближайший свободный эфир — это и есть премьера:
pairs = sorted((abs(p.start - ep.expected), ep, p)
for ep in episodes for p in airings
if abs(p.start - ep.expected) <= MATCH_WINDOW)
for _, ep, p in pairs:
if ep.premiere is None and not p.is_premiere:
ep.premiere, p.is_premiere = p, TrueВсе остальные эфиры шоу считаются повторами. Повтор привязывается к своему выпуску, если совпадает маркер вроде «2-я серия» или длинное описание, и тогда в приложении видно не просто «повтор», а «повтор выпуска от вторника». Чтобы узнавать повторы старых выпусков, сервер хранит историю программы за 60 дней: выпуск, показанный месяц назад и поставленный в субботнюю утреннюю сетку, будет честно помечен как повтор.
Отдельное правило понадобилось для случая, когда TVmaze не знает о новом сезоне, как было с «Что? Где? Когда?». Если на канале шоу появился эфир больше чем через двое суток после последнего известного выпуска, он считается новым выпуском «по программе». Исключений два: когда маркер совпадает с номером выпуска, который TVmaze уже знает, — тогда это повтор старого сезона, и когда тот же выпуск с тем же описанием и маркером уже показывали в последние три дня. В приложении такие выпуски помечены как «премьера, по анонсу»: мы уверены, что это новое, но номера не знаем.
Проверял я всё это без затей: взял программу за неделю и вручную сверил эфиры шести шоу, которые смотрим дома. Первая версия разобрала их правильно. Слабое место осталось одно — повторы без номера и без описания, как у «Суперниндзя», где в программе есть только название. Если такой эфир нельзя привязать к выпуску, он считается повтором: лучше промолчать, чем напомнить о старом.
Фильмы на вечер — бонусом
Раз программа уже есть, захотелось показывать фильмы, которые сегодня идут по телевизору. Пометка «х/ф» стоит не везде, поэтому кандидатом считается любая передача длиннее 75 минут, кроме серий сериалов («т/с», «м/с», маркеры серий) и шоу из каталога. Название ищется в TMDB, и засчитывается только точное совпадение русского или оригинального названия — иначе вместо «Иронии судьбы» легко получить «Иронию судьбы. Продолжение». Ремейки с одинаковыми названиями различаются по похожести описаний, а в подборку попадают фильмы с рейтингом от 6,5.
Плашка поверх эфира на Android TV
Напоминание на телефоне — это хорошо, но смотрим мы всё‑таки телевизор. На Android TV приложение показывает плашку поверх любого эфира: окно TYPE_APPLICATION_OVERLAY с обратным отсчётом до начала передачи. Первой неожиданностью стали плееры: некоторые из них ставят видео на паузу, как только поверх появляется окно, забирающее фокус. Пришлось сделать три режима — плашка висит до нажатия «ОК», висит минуту или до «ОК», и третий, где окно получает FLAG_NOT_FOCUSABLE: пульт до плашки не доходит, зато видео не останавливается.
Вторая проблема — точные будильники. На новых версиях Android TV приложению по умолчанию не разрешено их ставить, canScheduleExactAlarms() возвращает false, и система сдвигает срабатывание, так что плашка появлялась на несколько минут раньше, чем нужно. Обойти это без пользователя нельзя, поэтому в настройках приложения есть кнопка, которая сразу открывает нужный системный экран, и подсказка, зачем это нужно.
Самая смешная история случилась с Google Play. После первой загрузки консоль показала, что приложение совместимо с пятью моделями телевизоров вместо нескольких тысяч. Виновником оказалась библиотека сканирования QR‑кодов: она объявляет свой экран только в портретной ориентации, а это неявно добавляет в манифест требование android.hardware.screen.portrait, которого у телевизоров нет. Хватило одной строки:
<uses-feature android:name="android.hardware.screen.portrait" android:required="false"/>После неё совместимых телевизоров стало больше трёх тысяч, а я теперь перед каждым выпуском проверяю итоговые требования командой aapt dump badging | grep feature. Кстати, QR‑код там не случайно: вводить пароль пультом мучительно, поэтому телевизор подключается к телефону по QR‑коду или шестизначному коду. К одному телевизору можно подключить несколько человек, и на плашке видно, чьё это шоу.
Что получилось
Сервер написан на Python с FastAPI и PostgreSQL: раз в несколько часов он забирает программу и расписание TVmaze, сопоставляет их и дополняет описаниями и постерами из TMDB. Приложение для Android и Android TV одно, на Kotlin и Jetpack Compose, а на телевизоре у него включается свой интерфейс. Для iPhone есть отдельное приложение на Swift, а для браузера — сайт на Preact с той же программой и напоминаниями. Зачем вообще своё приложение, если телепрограмм десятки? Потому что все они отвечают на вопрос «что сейчас идёт», а мне нужен был ответ на вопрос «когда новый выпуск того, что я смотрю».
Последняя грабля была уже не технической. iPhone‑версию один раз отклонили по правилу 2.3.10 App Store: в описании упоминались Android и Android TV, а Apple не разрешает упоминать другие платформы в тексте для своего магазина, даже если это правда. Описание пришлось переписать, и со второго раза приложение прошло проверку.
Приложение называется «ТВ Ассистент», оно бесплатное и без рекламы, посмотреть можно на сайте. Буду рад вопросам в комментариях — и особенно рад, если кто‑то знает источник программы передач с честными флагами премьер: тогда половину описанного выше можно будет выбросить.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.