PunchGalatasaray set club record with 42-match unbeaten home runCNN Türkİzmir'de 3,6 büyüklüğünde depremSky TG24Caro energia, Cna: "Spesa supererà i 200 miliardi, urgono interventi"Bollywood HungamaDharma Productions and Dopamine Studios announce new monster thriller Kaaliya starring Kartik Aaryan, set to release on May 5, 2028ZDF heuteAktuelle Pressemitteilungen des ZDFХабр«Дроби» находятся, «дробь» — нет: как я чинил поиск на DjangoCapital FMLedama defends shooting threat, blames political rivals over auction dramaThe Jerusalem PostIncoming House speaker Jeffries sets sights on West Bank settler sanctions as Democrats take House경향신문사망한 ‘리트 만점자’ 부정행위 의혹 수사로 밝혀질까Mint₹1.86 crore in cash, gold seized from Panchkula CGST officer arrested by CBI for ₹10 lakh bribe | DetailsAntara NewsIndonesia to tighten immigration rules amid global shiftsGhaflaUS-Based Kenyans Pledge Sh100 Million Towards Sifuna’s 2027 Presidential Bid
The Daily Newsstand · Free, Always
Sunday, November 22, 2026

«Дроби» находятся, «дробь» — нет: как я чинил поиск на Django

Translate

Так поиск вёл себя до исправления: по запросу «дроби» две темы находились.

Поиск по темам я сделал по принципу «лишь бы работало». Берём строку, приводим к нижнему регистру и проверяем, входит ли запрос в заголовок. Для «дроби» это работало. Для «дробь» — нет.

Первый раз я заметил это случайно. Открыл сайт, ввёл «дроби», получил две темы: «Обыкновенные дроби» и «Десятичные дроби». Потом ввёл «дробь» — и увидел:

Поиск по слову «дробь»

Поиск по слову «дробь»

Ноль тем. При этом одна статья теории и пять статей блога почему-то нашлись.

Разница в одну букву. Для человека «дробь» и «дроби» — одно и то же слово. Для query in haystack — разные строки.

Что было в коде

Упрощённо поиск выглядел так:

python

query = request.GET.get("q", "").strip().lower()
tokens = query.split()

for topic_id, topic in TOPICS.items():
    haystack = f"{topic['title']} {topic['subject']} {topic_id}".lower()
    if not all(token in haystack for token in tokens):
        continue
    ...

Проблема не в Django и не в базе. Проблема в том, что я искал подстроку, а не слово. «Дробь» не является подстрокой «дроби»: там дроб + и, а не дробь.

С «процентами» повезло: «процент» входит в «проценты». С «дробями» — нет. С запросом «как решать дроби» — тоже нет, потому что слова «решать» в заголовке темы вообще не было.

Первая мысль: добавить исключение

Самое быстрое решение — написать:

python

if query == "дробь":
    query = "дроби"

Это работает ровно до следующего слова. «Задача» и «задачи», «функция» и «функции», «угол» и «углы» — список можно продолжать до бесконечности. Через неделю в коде появился бы словарь на двести строк, который всё равно не покрывал бы падежи.

Мне нужен был не словарь, а нормальная форма слова.

Что сделал

В проекте уже был pymorphy3 — я добавлял его для других задач. Использовал его для лемматизации:

python

@lru_cache(maxsize=16384)
def _normal_form(word):
    return _MORPH.parse(word)[0].normal_form

@lru_cache(maxsize=4096)
def search_terms(text):
    words = re.findall(r"[a-zа-яё0-9]+", text.lower())
    return tuple(sorted({
        _normal_form(word)
        for word in words
        if len(word) > 1 and word not in STOP_WORDS
    }))

Теперь «дроби», «дробь», «дробями» и «дробей» дают одну основу — дробь. «Обыкновенные» и «обыкновенных» — обыкновенный.

Сравнение стало таким:

python

def _prefix_match(term, candidate):
    if term == candidate or candidate.startswith(term) or term.startswith(candidate):
        return True
    return len(term) >= 4 and len(candidate) >= 4 and term[:4] == candidate[:4]


def terms_match(query_terms, haystack_terms):
    return all(
        any(_prefix_match(term, candidate) for candidate in haystack_terms)
        for term in query_terms
    )

Запас на префикс нужен для неполного ввода: «дроб» должно находить «дроби», пока человек ещё печатает.

И ещё один случай, который я не ожидал: pymorphy3 приводит «дроб» не к «дробь», а к «дроба». Поэтому сравнение по первым четырём буквам пришлось оставить — иначе короткий запрос снова давал ноль.

Ещё добавил список служебных слов. Без него запрос «как решать дроби» требовал, чтобы в заголовке темы было слово «решать». Его там нет — и поиск снова возвращал ноль. Теперь «как» и «решать» не участвуют в сравнении, а «дроби» находит тему.

Что получилось

После исправления тот же запрос «дробь»:

Поиск после исправления

Поиск после исправления

Две темы на месте. Статьи теории и блога остались прежними — их поиск я пока не трогал.

Три теста проверяют, что «дробь» находит «Обыкновенные дроби» и «Десятичные дроби», что подсказки возвращают те же темы и что «как решать дроби» не блокируется словом «решать».

Что осталось

Поиск тем стал лучше, но это всё ещё не полноценный поиск.

Во-первых, статьи теории и блога ищутся через icontains по тексту. Поэтому по запросу «дробь» в результатах есть «Задачи на доли» и статьи про проценты: они нашлись по вхождению в текст, а не по смыслу. Это отдельная задача.

Во-вторых, нет ранжирования по релевантности. Сейчас точное совпадение заголовка даёт больший вес, но это грубая эвристика, а не поисковый движок.

В-третьих, нет устойчивости к опечаткам. «Дробь» и «дробь» с опечаткой — разные запросы. Для образовательного сайта это важно: дети печатают быстро и не всегда проверяют.

Я не стал тащить Elasticsearch или отдельный поисковый сервис. Для 600 тем хватает лемматизации и кэша. Когда тем станет больше или понадобится поиск по текстам статей, вернусь к PostgreSQL full-text search. Но сначала нужно было убрать самую глупую ошибку: поиск, который не понимает, что «дробь» и «дроби» — одно слово.

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.