29 439 возможных уязвимостей, 6 157 отчётов мейнтейнерам, 516 исправлений: Anthropic сканирует open source проекты

Из 6 157 отчётов, которые Anthropic передала мейнтейнерам открытых проектов, исправлено 516: это 8,4%, а не 516 из 29 000, как читается заголовок The New Stack.

Заголовок The New Stack (далее TNS) звучит так: «Claude found 29,000 possible bugs in open source. Only 516 have been fixed.» Он складывает числа с разных этапов воронки, поэтому я открыл дашборд Anthropic и пересчитал доли. Цифры даны на 2 октября 2026 года, на дату снимка. Сразу оговорюсь: они описывают шесть месяцев работы Anthropic до запуска OSS Scanner (8 октября). К самому сканеру эта воронка не относится, она показывает процесс, из которого сканер вырос.

Что запустили 8 октября

Восьмого октября Anthropic открыла OSS Scanner, добровольный сервис, который сканирует открытые проекты своими сильнейшими моделями (в анонсе назван Claude Mythos) и присылает мейнтейнерам отчёты на почту. Идею компания взяла у OSS-Fuzz, проекта Google, где открытый код прогоняют через фаззеры.

Главное отличие от прежнего процесса компании: отчёты полностью сгенерированы моделью, человек их не смотрит. Anthropic пишет об этом прямо и признаёт, что часть отчётов может оказаться неверной. В отчёте должны быть самодостаточный воспроизводитель, по возможности bisect до коммита, где ошибка появилась, и кандидат на патч, если модель его написала.

Сервис бесплатный, но не для всех. Проект подаёт заявку pull request-ом в репозиторий anthropics/oss-scanner, критерий такой же, как у OSS-Fuzz: критическое влияние на инфраструктуру и безопасность пользователей, решение по каждому проекту отдельное. Сканирование идёт в изолированной виртуальной машине без доступа в интернет, отключиться можно в любой момент.

Причину запуска называет сама компания. За шесть месяцев модели нашли более 29 000 кандидатов в уязвимости, а вручную разобрать удалось около 6 000: Anthropic пишет, что упирается в людские ресурсы. Мейнтейнеры, получив первые проверенные отчёты, всё чаще просили прислать всё остальное, даже непроверенное. Почти 5 000 отчётов уже ушли напрямую. Быстрый канал OSS Scanner отвечает на этот спрос. Эти два числа из анонса от 8 октября компания округляет сама, дашборд от 2 октября даёт точные.

Отсюда и разница в датах: дашборд от 2 октября накопился за полгода прежнего процесса, и OSS Scanner в его цифрах ещё нет. Разбивки по каналам он не даёт. Всё, что ниже про воронку, включая 78% отчётов без независимой проверки, относится к тому процессу; как поведёт себя сам сканер, эти числа не покажут.

Воронка: у каждого числа свой знаменатель

На дашборде координированного раскрытия уязвимостей (CVD) Anthropic выкладывает все этапы прежнего процесса. Я свёл их в две таблицы и добавил доли: числа взяты с дашборда, доли - мои расчёты.

Первая таблица: что нашли модели и что из этого проверили внешние фирмы.

Вторая таблица: что передали мейнтейнерам и что с этим стало.

Вторая таблица не вложена в первую: на дашборде «проверено» и «передано» - два отдельных счётчика, как они пересекаются, там не сказано. Счётчик исправлений Anthropic сопровождает оговоркой «to our knowledge», то есть реальных исправлений может быть больше.

Из таблиц следуют три вещи, и первая про знаменатель. 516 стоит делить на 6 157 переданных: получится 8,4%, потому что дашборд считает исправленными те из переданных уязвимостей, по которым мейнтейнеры выпустили правку. Делить на 29 439 не стоит: получится 1,8%, но эта доля смешивает исправления с кандидатами, которые не прошли независимую проверку и в большинстве не дошли до мейнтейнеров, поэтому как мера исправляемости она не годится.

Вторая: слово «передано» объединяет два разных канала. Около 22% отчётов прошли через фирмы, которые воспроизводят ошибку и оценивают критичность. Остальные 78% ушли без той же независимой проверки, часть из них по просьбе самих мейнтейнеров, и Anthropic предупреждает, что среди них могут быть ложные срабатывания. Третья: цифра 92,7% показывает долю подтверждённых среди проверенных фирмами, а это около пятой части кандидатов. Переносить её на всех кандидатов и на прямые отчёты нельзя. Остальные 23 316 кандидатов фирмы пока не проверяли, TNS называет то же число примерно 23 000. Это очередь на проверку, к исправлениям она отношения не имеет.

Раньше мейнтейнеры получали от моделей в основном мусор, а теперь получают качественные отчёты, и высокую или критичную находку они называют неверной редко. В анонсе компания приводит результат на академическом бенчмарке CyberGym: доля найденных уязвимостей выросла с менее 20% в начале прошлого года до более 85% в этом. Прыжок громкий, но это цифра самой Anthropic на одном бенчмарке, независимой проверки в анонсе нет.

На раннем варианте сканера пентестеры, которые проверяют отчёты Anthropic по CVD, оценили 97 находок высокой и критической серьёзности в 48 проектах. 85 (88%) дотянули до планки процесса раскрытия, 11 из оставшихся 12 оказались реальными, но дублировали известные проблемы или другие находки из того же скана, и только одна была ложным срабатыванием. 88% звучит внушительно, но выборка небольшая и состоит только из крупных находок: как сканер поведёт себя на низкой серьёзности и на большом потоке, эти 97 отчётов не показывают.

Почему исправлений меньше, чем находок

Сама Anthropic в пояснениях к дашборду называет причины, и большинство из них скучные.

Исправления отстают по времени. Компания называет число патчей более надёжным показателем влияния, чем число подтверждённых находок, но «запаздывающим»: патчи делаются долго. Например, отчёт из сентября может стать релизом лишь в ноябре, и снимок на 2 октября этого не увидит.

Ответ не равен исправлению. На 5 103 отчёта мейнтейнеры ответили, по 516 исправление выпущено. Это два независимых счётчика: на дашборде «ответил» засчитывается за любой ответ, а «исправлено» засчитывается за выпущенную правку, даже если ответа не было. Почему исправлений примерно в десять раз меньше, чем ответов, данные не объясняют.

Подтверждённое не обязательно исправимое. В долю истинно положительных находок, 92,7%, фирмы включают реальные ошибки, о которых уже сообщали раньше, и случаи «won’t fix»: баг есть, но проект его править не собирается, например потому, что он вне модели угроз или код недостижим в реальных сценариях.

Наконец, подтверждённые отчёты ждут в очереди. Anthropic пишет, что есть много проверенных ею и фирмами реальных ошибок, которые пока не переданы мейнтейнерам из-за нехватки мощностей. Сколько их, компания не называет. Это объясняет разрыв с общим числом кандидатов, а не долю исправленных среди переданных. Долю объясняет другое, и об этом пишет TNS: даже у принятого отчёта остаётся работа на стороне проекта. Мейнтейнеру нужно проверить правку, сделать бэкпорты и выпустить релиз, иногда понимая, что исправление сломает поведение, на которое рассчитывают пользователи.

Что говорят мейнтейнеры и кто выбирал цитаты

В анонсе пять отзывов. Noah Misch из PostgreSQL пишет, что часть отчётов пришла с исправлениями, которые проект мог взять почти без правок, а быстрый канал позволил закрыть свежие ошибки до выхода релиза. Anton Arapov из OpenSSL Corporation пишет, что сырой выход модели не хуже, а иногда лучше того, что приходит от людей, тогда как ранние ИИ-отчёты полуторагодовой давности он называл ужасными.

Todd Ouska из wolfSSL получил 74 отчёта, из них верными оказались все кроме двух, пять стали CVE. Eddie Kohler из HotCRP хвалит понимание сложной модели прав доступа. Daniel Stenberg из curl, который, по данным TNS, весь прошлый год публично жаловался на поток ИИ-мусора в баг-баунти, пишет, что сканер нашёл в curl несколько проблем, причём одна из них среди худших за последние годы.

Отзывы выбрала сама Anthropic и опубликовала в собственном анонсе, это не опрос. Вторичный источник, статья TNS, не нейтральна: в конце текста издание сообщает, что его владелец, Insight Partners, инвестирует в Anthropic. Цитаты я беру из анонса как есть. Пять довольных проектов из 591 - иллюстрация и до статистики ещё далеко.

У самой Anthropic есть и менее приятные данные. Некоторые мейнтейнеры сообщают, что критичность в отчётах завышена или сканер не понял модель угроз проекта. Дашборд даёт близкую, но не тождественную картину: оценки Claude и внешних фирм по критичности совпали точно в 83,0% случаев и в пределах одного уровня в 97,1% (выборка: около 1 300 отчётов, прошедших триаж). Фирмы обычно ставят ниже, так как знают правила конкретных проектов, а у Claude их на момент работы нет.

Чек-лист для отчёта, который написала модель

Если вы мейнтейнер и такой отчёт уже пришёл или придёт, воспроизводитель и патч сильно сокращают дорогу, но решение остаётся за вами. Я собрал порядок проверки из проблем, которые называет Anthropic: дубли, завышенная критичность, чужая модель угроз.

1. Воспроизводимость. Запускается ли воспроизводитель на вашей версии и на чистой сборке, а не только в окружении сканера? Отчёт без работающего воспроизводителя остаётся гипотезой.

2. Достижимость. Может ли внешний вход дойти до этого места, не нарушая контракт API? Ошибка в коде, до которого в реальной работе не добраться, может оказаться «won’t fix».

3. Модель угроз. Кто здесь атакующий и что он контролирует? Совпадает ли это с тем, что проект считает угрозой (SECURITY.md, политика безопасности)?

4. Критичность. Пересчитайте по правилам проекта, не принимайте оценку из отчёта: внешние фирмы, как видно выше, обычно ставят ниже, чем Claude.

5. Дубликаты. Проверьте трекер и прошлые CVE, а также другие отчёты из той же пачки: на раннем скане 11 из 12 находок, не прошедших планку, оказались дублями.

6. Патч. Исправляет он причину или симптом? Какие тесты нужны? Что сломается у тех, кто опирается на нынешнее поведение? Нужны ли бэкпорты?

7. Сроки. По README репозитория, для отчётов OSS Scanner Anthropic на сегодня не ставит 90-дневный срок раскрытия и не публикует находки: внешнего дедлайна нет, сроки исправления задаёте вы. TNS пишет, что для части находок высокой серьёзности срок могут ввести позже, после уведомления проектов и возможности отказаться. Если Anthropic потом проверит отчёт по стандартной программе, то по TNS его можно раскрыть через 90 дней после того, как мейнтейнеры узнали о подтверждении человеком; условия этой программы я не разбирал.

Для разбора такого потока модель можно использовать как второе мнение, но не как замену решению. Делать это стоит там, где отчёт уже публичен или модель работает у вас: непубличные уязвимости и закрытый код во внешние облачные сервисы лучше не отправлять. Моя непроверенная гипотеза: если несколько моделей по-разному оценили достижимость или критичность, в отчёте может не хватать данных, и это повод разобраться руками.

Если вы не ведёте проект, а пользуетесь чужим, смотрите на лаг: находка, подтверждение и выпущенный релиз - разные события, а дашборд считает CVE и GHSA независимо от того, выпущена ли правка. Появление идентификатора для вашей зависимости не значит, что в вашей версии исправление уже есть. Если вы пишете собственный сканер или считаете метрики по отчётам, делите на правильный знаменатель и считайте проверенные и прямые находки отдельно, как в таблицах выше.

Моё мнение, отдельно от фактов

Заголовок про «29 000 против 516» неточен, но подмечает реальное: дефицитом стало не умение найти ошибку, а внимание человека, который решает, что с ней делать. Anthropic закрывает этот дефицит шестью внешними фирмами и всё равно проверила около пятой части кандидатов. У проекта, получающего поток прямых отчётов, ресурса меньше, чем у такой компании. Принимать всё подряд для мейнтейнера рационально, часть мейнтейнеров сама просила прислать всё, но очередь отчётов может расти быстрее очереди патчей, а числа пропущенных сканером уязвимостей на дашборде нет.

Что я мог упустить. Я смотрел один снимок дашборда и не сравнивал его с предыдущими, поэтому динамику не оцениваю: 516 исправлений через месяц могут оказаться совсем другим числом. Не знаю, сколько из 516 приходится на проверенные отчёты и сколько на прямые, а без этого нельзя сказать, чем они отличаются по доле исправленных. Сам сканер я не запускал, доступа к Claude Mythos у меня нет, поэтому выводы опираются на публикации Anthropic и TNS.

Как проверить чек-лист на публичном отчёте

Чек-лист удобно проверить на публичных данных. Возьмите запись об уязвимости с описанием и ссылкой на исправление, например из раздела CVE на дашборде (там указаны проект, класс ошибки и критичность) или из NVD, и пройдите по пунктам 1-6 вручную. Потом дайте те же пункты и ту же запись нескольким моделям в одном окне.

Мы в SYNTX.AI собрали модели в одном интерфейсе, в том числе Claude Opus 5.5 и Claude Sonnet 5.5, и видно, где они расходятся в оценке критичности и достижимости. Непубличные уязвимости и закрытый код в модели не отправляйте. Для читателей Хабра действует промокод CTRLAI: скидка 20% на любой тариф.

Источники

1. Anthropic, «Launching an opt-in vulnerability-finding service for open-source software», Frontier Red Team, 8 октября 2026: https://www.anthropic.com/research/launching-opt-in-vuln-finding-service-for-open-source

2. Anthropic, «Coordinated vulnerability disclosure dashboard», снимок на 2 октября 2026, 19:47 UTC: https://red.anthropic.com/2026/cvd/

3. Репозиторий заявок OSS Scanner (условия подключения и раскрытия): https://github.com/anthropics/oss-scanner

4. Amanda Caswell, «Claude found 29,000 possible bugs in open source. Only 516 have been fixed.», The New Stack, 11 октября 2026: https://thenewstack.io/anthropic-oss-scanner-vulnerabilities/