Опубликована книга «Поиск: от слова к доказательству»

Как история поиска, доказательность источников и технология MIRA дополняют «Глаз стрекозы»

Задача, которая оказалась значительно сложнее поиска

Представьте, что вы занимаетесь международным строительным бизнесом. У вашей компании есть определённая промышленная технология, которую вы хотите продвигать в других странах. Причём вас интересует не просто список потенциальных покупателей. Нужно понимать, кто уже работает с подобными решениями, какие исследования ведутся, кто собирается строить новые объекты, где объявляются тендеры, кто выигрывает закупки, какие компании заключают соглашения и какие специалисты переходят из одной организации в другую.

И всё это требуется не один раз. Информация должна обновляться постоянно, желательно каждую неделю.

Казалось бы, чего проще? Есть интернет, поисковые системы, большие языковые модели. Задаём несколько вопросов, собираем результаты, строим отчёт.

Но тут появляется маленькая неприятность.

А как, собственно, называется технология, которую мы собираемся искать?

В России существует одно профессиональное название. В Германии оно может обозначать несколько иной технологический процесс. В Китае аналогичная функция реализована с помощью другой конструкции. В Японии инженер использует термин, который дословно переводится вполне правильно, но относится к другому классу оборудования. А в тендерной документации той же технологии вообще может не быть как самостоятельного предмета закупки: она скрывается внутри названия работ или комплекса услуг.

И это только начало.

Сегодня одна компания опубликовала описание технологии. Завтра другое ведомство объявило закупку. Через неделю выяснилось, что участник тендера связан с производителем оборудования. Ещё через две недели появился новый технический норматив. Позднее обнаружилась публикация на национальном языке, из которой следует, что подобная разработка уже несколько лет испытывается в другой отрасли.

Как собрать всё это в единую исследовательскую картину и не потерять существенное?

Именно с задачей такого класса я столкнулся после публикации материалов о технологии «Глаз стрекозы». Детали коммерческого проекта раскрывать не буду, поэтому строительная отрасль здесь служит собирательным примером исходной постановки.

Ранее я описал на Хабре технологию «Глаз стрекозы: практическая технология исследования с ИИ». Её задача — помочь исследователю построить предметную модель, нормализовать понятия, увидеть потенциальные межпредметные связи и проверить возможность переноса конкретной конструкции из одной области в другую.

Но теперь возникла задача несколько иного масштаба.

Предметную область мы можем описать. Направления возможного переноса — определить. А вот где искать нужные механизмы, как удерживать их смысл при переходах между национальными языками, как систематически обнаруживать новые документы и события, как сохранять историю поиска и проверять полученные результаты — для этого потребовался отдельный инженерный инструмент.

Почему «Глазу стрекозы» понадобилась MIRA

В исходной технологии «Глаз стрекозы» существенное место занимает предметно-ориентированное мышление.

Прежде чем исследовать некоторую технологию, нужно определить, какие предметы в ней существуют, какими свойствами они обладают, как устроены их отношения, что именно является механизмом и при каких условиях его можно перенести.

Для этой работы формируются предметные модели, таксоны, фасеты, связи и семантические ядра. Собственно, технология системного исследования предметных областей оказалась настолько обширной самостоятельной темой, что сейчас я готовлю по ней отдельную книгу. В ней речь пойдёт о том, как переходить от разрозненных документов и профессиональных терминов к предметным моделям, которые могут использовать человек и искусственный интеллект.

Но вернёмся к международному мониторингу.

Допустим, мы построили предметное ядро интересующей нас строительной технологии. Определили её функции, параметры, ограничения, способы применения, потенциально родственные решения и основные классы участников рынка.

Что дальше?

Дальше выясняется, что предметная модель не даёт нам автоматически полного списка стран, организаций, разработчиков, отраслей и документов, в которых могут встретиться интересующие нас механизмы.

Более того, в некоторых странах исходного названия технологии вообще не существует.

Получается интересное противоречие: мы достаточно хорошо понимаем, что хотим найти, но не знаем всех способов, которыми это может быть названо и описано во внешнем мире.

«Глаз стрекозы» способен удержать исследовательский вопрос и проверить смысл найденного технологического переноса. Но ему необходим специализированный поисковый контур, способный работать с чужими профессиональными словарями, многоязычными документами, событиями и историей источников.

Так появилась архитектура MIRA — Multilingual Information Retrieval Architecture, или архитектура многоязычного информационного поиска.

Я иногда называю её «носом для стрекозы». Образ, конечно, условный, зато хорошо объясняет разделение функций. Глаз помогает увидеть и различить предметную конструкцию, а поисковый контур — обнаружить следы того, где она может существовать.

В этой связке исследование начинается с предметной задачи, а не со случайно подобранного поискового выражения.

«Глаз стрекозы» помогает сформировать исследовательскую потребность, описать необходимые свойства механизма и определить границы допустимого переноса. MIRA превращает полученную постановку в управляемый поиск по различным языкам, документам и источникам. Найденные кандидаты возвращаются в предметный контур, где исследователь проверяет не сходство названий, а действительный смысл и условия применения механизма.

Это два разных вида работы, и попытка свести их к одному промпту довольно быстро приводит к путанице.

Четыре проблемы, которые пришлось разделить

Первой проблемой стал язык.

Обычный перевод оказался недостаточным. Для технического исследования важно различать нормативное определение, профессиональное объяснение, международную терминологию и оригинальное национальное понятие. В MIRA эти направления представлены четырьмя языковыми ролями: RU_NORMATIVE, RU_EXPLANATORY, INTERNATIONAL_EN и NATIONAL_NATIVE.

Они не являются четырьмя переводами одного выражения. Каждая роль позволяет проверить собственный способ описания предмета.

Поэтому поиск строится не вокруг единственного слова, а вокруг семейств запросов, связанных с предметными функциями и механизмами.

Второй проблемой оказались источники.

Предположим, мы обнаружили двадцать сообщений о новой строительной технологии. На первый взгляд — замечательный результат. Однако после проверки выясняется, что пятнадцать публикаций пересказывают один пресс-релиз, ещё три ссылаются друг на друга, а две вообще описывают другую разработку.

И вот уже двадцать найденных страниц не превращаются в двадцать подтверждений.

Поэтому в поисковую архитектуру пришлось ввести самостоятельную работу с происхождением документов, редакциями, временем публикации, первичными свидетельствами и повторными сообщениями.

Третья проблема — динамика.

Для международного мониторинга недостаточно обнаружить документ. Нужно понять, какое событие он описывает, когда оно произошло и как связано с уже известной историей.

Например, первоначальное сообщение о предстоящем строительстве, объявление тендера, подписание соглашения, смена подрядчика и сообщение о начале работ могут принадлежать одной длинной истории. А могут относиться к нескольким разным проектам, которые объединяет только название технологии.

Отсюда возникла необходимость разделять информационный сигнал, извлечённое утверждение и подтверждённое событие.

Появление сообщения можно документировать. Но само сообщение ещё не доказывает, что описываемое действие произошло.

Даже опровержение не должно уничтожать первоначальную запись: история распространения сообщения тоже представляет исследовательский интерес.

И наконец, четвёртая проблема — когда останавливаться.

Каждый новый запрос стоит времени и вычислительных ресурсов. Можно бесконечно переходить от компании к компании, от документа к документу, от одного языка к другому. Но если очередная поисковая волна ничего нового не принесла, означает ли это, что исследование завершено?

Разумеется, нет.

Нулевая новизна может свидетельствовать об исчерпании конкретного семейства запросов. Она не доказывает, что во всём мире больше не существует интересующих нас разработок.

Поэтому MIRA должна различать остановку по бюджету, локальное исчерпание направления, проверку ограниченного корпуса и невозможность оценить полноту открытого информационного пространства.

Особое значение приобретает ценность следующей находки. Иногда десятки дополнительных ссылок ничего не меняют, а одно сообщение открывает ранее неизвестный национальный источник или перспективную технологическую ветвь.

Всё это постепенно превратило первоначальную задачу поиска в значительно более сложную инженерную архитектуру.

МГИМО, ИСП РАН и российская школа интеллектуального анализа

Во время исследования меня заинтересовало ещё одно обстоятельство.

В России существуют серьёзные научные и прикладные разработки, работающие с близким классом задач: интеллектуальный анализ больших объёмов информации, международный мониторинг, выявление связей, построение баз знаний и исследование неоднородных источников.

Особенно интересна здесь Лаборатория интеллектуального анализа данных в области международных отношений МГИМО, созданная в 2021 году на основе сотрудничества с Институтом системного программирования имени В. П. Иванникова РАН.

На официальном сайте лаборатории описаны разработки в области автоматизированного мониторинга и аналитических продуктов для академических, государственных и коммерческих задач. Среди опубликованных проектов — базы дипломатических контактов, исследование международных компаний, санкционных рисков и технологических направлений.

Это уже не абстрактный разговор об искусственном интеллекте. Это вполне конкретная предметная работа с данными, источниками, событиями, организациями и международными связями.

Для меня это оказалось важным ориентиром.

Если убрать различия между строительным бизнесом и международными отношениями, обнаруживается общий инженерный класс задач: необходимо регулярно исследовать распределённое информационное пространство, извлекать предметно значимые сведения, связывать их с участниками и событиями, сохранять историю изменений и готовить проверяемый аналитический результат.

Именно этот класс задач интересует и MIRA.

При этом я не стал бы объявлять MIRA эквивалентом разработок МГИМО или утверждать, что её алгоритмы уже показали такое же качество. Для подобных сравнений требуются общий корпус, одинаковые задания, независимая экспертная оценка и воспроизводимые испытания.

Но содержательная сопоставимость исследовательских задач здесь действительно существует. И это гораздо интереснее, чем очередное обещание создать универсальную поисковую нейросеть.

MIRA развивается в инженерной традиции, где поисковая система должна не только находить документы, но и объяснять происхождение результата, сохранять ограничения и возвращать исследователю предметно осмысленный материал.

Что удалось проверить и почему появилась книга

Практическая задача, с которой началась эта работа, позволила довести исследовательский подход до результата, принятого заказчиком. Состав коммерческих данных, конкретные рынки, участники и показатели этого проекта не публикуются.

Отдельно проводилась инженерная апробация связки Dragonfly Eye и MIRA на уровне метаданных. В книге описан пилот MP-01: десять маршрутов обмена между двумя контурами, семьдесят предметных трасс и десять защитных проверок против недопустимых смысловых переходов.

Это важно, потому что такая проверка позволяет выявлять ошибки передачи предметного контекста, а не просто оценивать качество красиво нарисованной схемы.

Но здесь я хочу провести чёткую границу: эта апробация не была сравнительным испытанием эффективности внешнего поиска. Тридцать спроектированных семейств запросов не исполнялись в рамках указанного пилота; независимых экспертных оценок релевантности и завершённого испытания переноса механизма также не было.

Следовательно, проверенная работа интерфейса и доказанное превосходство поисковых алгоритмов — совершенно разные утверждения.

Именно желание аккуратно разделить эти уровни результата в итоге и привело меня к решению написать отдельную книгу.

Пришлось систематизировать гораздо больше материала, чем первоначально предполагалось. Как развивались каталоги и классификации, индексирование и ранжирование, семантический и многоязычный поиск, измерение релевантности, доказательность источников и управление неизвестностью.

Получилась иллюстрированная исследовательская монография «Поиск: от слова к доказательству» — шесть частей, двадцать четыре главы, семьдесят две иллюстрации и библиография из шестидесяти двух позиций.

При этом историческая часть служит фундаментом для основной инженерной задачи: показать, как построить поисковую архитектуру, которая не теряет предметный смысл между запросом и доказательством.

В заключительных главах подробно раскрывается связка Dragonfly Eye и MIRA. Особенно рекомендую главу 24 — «Что MIRA действительно изменила — и что ещё не доказано». Для меня она не менее важна, чем описание самой архитектуры.

На Хабре уже есть полезные публикации об агентном поиске, RAG, проверке фактов и источников. Я надеюсь, что новая работа добавит к этому обсуждению ещё одно направление — построение предметно-ориентированных, многоязычных и воспроизводимых исследовательских контуров, рассчитанных не на единичный запрос, а на длительную профессиональную работу.

Именно поэтому я представляю эту книгу не только как исследование истории поиска, но и как самостоятельное продолжение технологии «Глаз стрекозы».

Книга опубликована на Litnet и доступна для бесплатного чтения:

«Поиск: от слова к доказательству» — читать на Litnet

https://litnet.com/ru/book/poisk-ot-slova-k-dokazatelstvu-b640552

Она рассчитана прежде всего на тех, кто занимается информационным поиском, интеллектуальным анализом данных, исследованием предметных областей, технологическим переносом и разработкой профессиональных систем с применением ИИ.

Если эта тема близка вашей работе, рекомендую ознакомиться с книгой. По конкретным профессиональным вопросам можно написать мне в личные сообщения на Хабре. На содержательные обращения отвечу лично; обсуждение в комментариях к статье вести не планирую.

И пожалуй, главный вывод, к которому я пришёл за время этой работы, можно сформулировать просто:

Найти документ — ещё не значит найти технологию. Найти технологию — ещё не значит доказать возможность её применения. А получить убедительный ответ — ещё не значит закончить исследование.