OSINT для ленивых. Часть 20: Статистический анализ

Случается, что мы накопили пару вагонов данных по рабочему кейсу, сидим, смотрим на него, гордимся накопленным объемом... Но заказчику ты его в таком виде не предъявишь.
И что теперь с этим всем счастьем делать? Как его интерпретировать и как на его основе построить «венец творения» осинтера — отчет?

Вот тут, как раз и наступает самый «веселый» этап работы с большими массивами данных — статистическая обработка. Не так интересно, как исследование, но чтобы собрать внятную цельную картинку, без нее не обойтись. Поясним для почему:
Во‑первых, статобработка позволяет трансформировать разрозненные массивы сырых данных в что‑то структурированное, сделать выводы, поддающиеся верификации и воспроизведению. Без количественных и качественных методов придется опираться исключительно на субъективные суждения, что сильно снизит достоверность выводов.
Во‑вторых, статистика проявляет скрытые закономерности и аномалии, подсвечивает те сигналы, которые теряются в информационном шуме при поверхностном изучении.
Логично же?
Не благодарите Кэпа.

Теперь разберемся, какие конкретные задачи решаемы статистическим анализом в рамках ОСИНТ‑деятельности. Понятно, что для верификации единичных эпизодов статистика — излишня. Говорить будем только о значимом количестве данных.
Будет много перечислений, описаний и, казалось бы, очевидных вещей, но уж такова специфика такого рода гайдов.

Итак, задачи:
1. Профилирование акторов: построение количественных моделей поведения отдельных лиц или организаций.
2. Мониторинг дезинформации: выявление аномальной активности в социальных сетях, обнаружение ботнетов и координированных кампаний влияния путем анализа временных рядов и сетевых графов.
3. Корреляционный анализ публичных финансовых отчетов, реестров юридических лиц и данных о сделках с различными объектами собственности.
4. Геопространственный анализ: статистическая обработка геотегированного контента для верификации местоположения событий (геолокация).
5. Оценка угроз: прогностическое моделирование на основе исторических данных об инцидентах, конфликтах и кризисах.

Очевидно, что статистический анализ — это не опциональная хотелочка, а обязательный компонент для работы с большими массивами данных, который обеспечивает воспроизводимость, прозрачность и доказательную базу. Таким макаром, мы переходим от метода «научного тыка» к по‑настоящему научным практикам, дающим результат с приемлемой степенью достоверности.
Конечно, прогностическая функция напрямую в задачи осинтера, пока еще (sic!), не входит, но будем иметь ее ввиду, сделав заметочку на память.

Пройдемся по основным инструментам стат. анализа и сведем все в табличку:

Как видно, разнообразие имеет место быть, с различным набором возможностей и порогом входа. Выбрать есть из чего.
Само собой, выбор инструментария определяется конкретной поставленной задачей. Для графового анализа сетей (например, выявление связей между юридическими лицами) оптимальны Maltego или Gephi (выбор определяется типом графа, размером сети, необходимостью автоматизации). Для глубокого статистического анализа больших массивов данных предпочтительны Python и R. Power BI и Tableau сильно облегчают жизнь при подготовке наглядных аналитических отчетов для нетехнической аудитории. SpiderFoot автоматизирует первичный сбор данных, существенно сокращая время на рутинные операции. Реальная же практика, практически всегда, требует комбинирования нескольких инструментов в один механизм. Зацикливание на каком‑то одном отдельном инструменте вылазит боком и чревато неполнотой проработки задачи.
Например, выявление ботнетов в соцсетях без статистического анализа превращается в нереальный по сложности квест. Если провести анализ временных рядов активности подозрительных аккаунтов, то статистически значимые корреляции между временными паттернами активности тысяч аккаунтов (синхронные пики, идентичные интервалы между публикациями) укажут на автоматизированное или централизовано координируемое поведение. Например, практика показывает, что если коэффициент корреляции Пирсона между временными рядами активности выявленных кластеров аккаунтов превышает определенные пороговые значения (для каждого конкретного случая они могут иметь разные значения), то это это может послужить основанием для более углубленного изучения выбранной группы кластеров. Причина в плохой статистической совместимости с независимым органическим поведением. Такая корреляция может указывать на ботоферму. Понятно, что сама по себе величина корреляции — не есть доказательство, но в комплекте с другими признаками, такими как: корреляция с рабочими часами в определенных часовых поясах, общие сценарии поведения, лексические совпадения и тому подобное, это работает как серьезный маркер.

Сетевой анализ с использованием алгоритма Louvain на последующем этапе позволяет оптимизировать модульность графа и выделять сообщества. Метрики центральности с достаточной степенью достоверности укажут на «хабовые» аккаунты, выполняющие функции усилителей нарратива. Статистический анализ лексики публикаций (например, методом TF‑IDF или применяя эмбеддинги (BERT / sentence transformers)) позволяет выявить аномально высокое сходство текстов внутри кластеров. Сочетание этих сигналов с указывает на координацию действий группой аккаунтов. По большому счету, для предварительного вывода о ботоферме этого достаточно, но если нужны гарантированно 100500% доказательства, то нужно использовать еще и другие критерии, доказывающие автоматизацию аккаунтов, их географию и другие показатели (тема интересная, возможно в будущем уделим ей внимание особо).

 — Такие вот методы, собственно, и позволяют администрациям соцсетей периодически вычищать свои просторы от ботов и прочей нечисти. Ботва, конечно, учится и совершенствуется, но и методы модерации становятся все совершеннее.

Как насчет практических примеров? Их есть у меня. Одни из самых знаменитых успешных кейсов, которые были реализованы: Panama Papers, Pandora Papers и Оффшорликс. Результат, — документирование скрытых активов на суммы, исчисляемые миллиардами американских рублей, и инициирование уголовных расследований в ряде стран.

Что у них общего?
Работа с большими данными.
Команда ICIJ и партнеры обрабатывали около 11,5 млн файлов объемом 2,6 ТБ, восстанавливали структуру исходных баз данных, индексировали документы, извлекали информацию и строили связи между компаниями и людьми. В массиве из 11,9 млн записей использовались очистка и структурирование данных, программное извлечение информации, машинное обучение для обработки отдельных типов документов, графовые инструменты и сопоставление с санкционными списками, корпоративными реестрами и другими источниками.

Как вы думаете, насколько это было бы возможно без применения статистических методов обработки? Что делать, если своей накопленой базы статистических данных не имеется? Где ж ее взять? Но только так, чтобы легально.
Для такой цели есть несколько категорий открытых источников, предоставляющих статистические массивы, пригодные для исследовательской работы: национальные статистические агентства (Росстат, Евростат, U.S. Census Bureau, ONS) публикуют официальные данные по демографии, экономике, занятости и социальным показателям. Международные организации: ООН, Всемирный банк, МВФ, ВОЗ предоставляют сопоставимые межстрановые временные ряды.

Из вкусного: реестры юридических лиц, кадастровые базы данных, судебные архивы и реестры лоббистской деятельности, — все они являются официальными государственными источниками с высоким уровнем достоверности.
Для анализа информационных операций и медиасреды, социальных сетей и всего такого, даже несмотря на ограничения, введенные большинством платформ после 2022–2023, Twitter/X Academic Research API, Reddit Pushshift, Telegram‑парсеры и YouTube Data API предоставляют данные о публичной активности пользователей.

Что касается технических и корпоративных источников, то данные Shodan и Censys о публично доступных сетевых устройствах, отчеты компаний в формате SEC EDGAR, реестры доменных имен (WHOIS, RDAP), трафиковые данные SimilarWeb и Semrush, а также отчеты об угрозах ведущих компаний в сфере кибербезопасности (Mandiant, Recorded Future, Group‑IB) дают массу технически ориентированных открытых данных.
Это если не считать того, что некоторые научные организации случайно вываливают практически в открытый доступ сами. Случается и такое.

Про методику и модели
Тут без математического аппарата — никуда. Базовый уровень анализа предполагает знание таких слов как: среднее, медиана, мода, дисперсия, стандартное отклонение, квартили. Это нужно, чтобы (опять хитрые слова) вычислить меры центральной тенденции и рассеяния. Особую роль в ОСИНТ играет выявление степенных распределений (Парето, Ципфа): активность в социальных сетях, распределение ссылочной массы, география упоминаний и многие другие ОСИНТ‑переменные подчиняются именно таким распределениям, что требует применения не только посещения средней школы, но и хотя бы базового понимания специализированных статистических методов вместо стандартных нормальных моделей.

Есть еще более «ужасные» вещи, такие как методы временного анализа: модели ARIMA, декомпозиция STL, алгоритмы обнаружения аномалий (Isolation Forest, LSTM‑автоэнкодеры). Они нужны для мониторинга динамики событийной активности. Например, «внезапный» всплеск публикаций по определенной теме, аномальный рост числа новых аккаунтов, циклические паттерны активности. Все это выявляется именно методами временного анализа. Алгоритм CUSUM (кумулятивные суммы) позволяет обнаруживать точки структурных изломов в поведении временных рядов.
Ну и как же без графов родименьких? Они дают не только красивые картинки с сетевыми структурами, которые можно с умным видом демонстрировать заказчикам, но еще и позволяют решать по настоящему значимые задачи: выявлять сообщества (Louvain, Girvan‑Newman), идентифицировать группы людей, устанавливать скрытые и явные связи и многое другое.

Пространственный анализ включает методы ядерной оценки плотности (KDE), кластеризацию DBSCAN для выявления географических скоплений событий, интерполяцию Кригинга и пространственную автокорреляцию (индекс Морана). В задачах верификации геолокации применяются методы триангуляции по нескольким источникам данных — тени, видимые объекты, звездное небо — с последующей вероятностной оценкой точности.

Снижение размерности (PCA, t‑SNE, UMAP) позволяет визуализировать высокоразмерные данные о поведении пользователей или тематических кластерах. Методы машинного обучения: классификаторы Random Forest, gradient boosting, а также различные модели NLP применяются для атрибуции авторства, анализа тональности, классификации контента и идентификации синтетических (сгенерированных ИИ) материалов.
Много методов, много разных моделей, но все это сводится к анализу именно массивов данных. Статистика — это когда данных много.

Еще одна палочка‑выручалочка это — агрегаторы статистических данных:

Агрегаторы статистических данных это — как «единое окно» доступа к разнородным источникам. Они сильно сокращают время поиска релевантных массивов данных, но у них есть ряд серьезных недостатков, как видно из таблицы.
Опять же, повторюсь: цель определяет методику работы. Так что, тут вам и карты в руки.

Коротко подобьем итоги

Без статистического анализа профессиональная ОСИНТ‑деятельность в условиях большого массива данныхпрактически невозможна. Стат. анализ радикально трансформирует ее из искусства поиска информации в научно обоснованную аналитическую дисциплину. Применение математических методов — от дескриптивной статистики и анализа временных рядов до сетевого анализа и методов машинного обучения — обеспечивает то, чего не может дать ни один ручной метод: воспроизводимость результатов, количественную меру уверенности в выводах и способность обрабатывать массивы данных, недоступные человеческому восприятию без инструментальной поддержки.
То есть, то, что позволяет перевести выводы из категории «пятой точкой чую» в разряд по настоящему технической информации.

Реализованные публичные кейсы демонстрируют, что именно статистические методы позволили перейти от разрозненных наблюдений к системным доказательствам: выявить скоординированные действия там, где без количественного анализа были бы видны лишь отдельные подозрительные шевеления под ковром, и документировать финансовые схемы там, где привычные методы, лобовой подход натолкнулись бы на непроходимые дебри сложных структур.

Ложка дегтя, — необходимо учитывать ограничения и риски. Статистические модели отражают лишь те паттерны, которые присутствуют в доступных данных; систематические пробелы в источниках порождают системные ошибки в выводах. Корреляция не означает причинно‑следственной связи — принцип, нарушение которого в ОСИНТ‑аналитике приводит к ложным атрибуциям. Наконец, растущая зависимость от автоматизированных инструментов требует, чтобы аналитики и сами владели статистическими методами. Иначе, любой инструмент превращается в «черный ящик», порождающий неверифицируемые результаты.

На данном этапе, будущее ОСИНТ‑аналитики определяется сочетанием трех тенденций: демократизации доступа к аналитическим инструментам (LLM‑ассистенты снижают порог входа для работы со сложными методами), ужесточения ограничений на доступ к данным со стороны платформ и одновременного роста объемов синтетического контента, требующего новых методов верификации. В таких условиях статистическая грамотность становится одним их ключевых конкурентных преимуществ ОСИНТ‑аналитика — тем скиллом, который в условиях информационного вала позволяет не теряться и давать точные ответы на непростые вопросы.

Удачной охоты! Мы в Telegram: https://t.me/+jAjZcfEdOx42NzRi