Пиранези против ИИ: фотография или гравюра?

Внизу стоят люди. Над ними поднимаются колонны, за колоннами темнеют своды, а свет из отверстия в куполе ложится на камень. На маленьком экране это почти фотография. Увеличьте изображение, и проступят сотни тонких линий. Отодвиньте экран: линии исчезнут, и перед вами снова будет Рим.

Этот Рим оставил Джованни Баттиста Пиранези, итальянский архитектор и гравёр XVIII века. Он жил с 1720 по 1778 год, изображал античные памятники и придумывал собственные архитектурные миры. Его «Виды Рима» создавались десятилетиями. Многие европейцы знакомились с городом по этим листам раньше, чем видели его сами.

Глядя на подробность изображений, легко понять, откуда берётся подозрение: а что, если художник пользовался фотографиями? Я решил проверить, можно ли найти этому подтверждение в самих картинках.

Для одного из опытов я взял CLIP, готовую нейросеть компании OpenAI. Её название читается как «клип». Она умеет сравнивать картинку с несколькими текстовыми описаниями и выбирать наиболее подходящее. Например, ей можно показать изображение здания и предложить два варианта: фотография или гравюра.

Все двадцать работ Пиранези она отнесла к гравюрам. Затем я превратил тени на современных фотографиях в штрихи. 16 из 24 снимков тоже получили ответ «гравюра». Их происхождение я знал заранее. Значит, предстояло выяснить, о чём вообще говорит такой ответ.

Откуда взялся вопрос о фотографиях

В описании одного из роликов о Пиранези рассуждение строится примерно так: слишком много гравюр, слишком много подробностей, слишком мало времени. Пятьсот листов за десять лет, почти по одному в неделю. Значит, за этим должен стоять способ быстро получать изображения. В качестве объяснения появляется камера-обскура.

Это устройство действительно существовало. В тёмный ящик или помещение через отверстие либо линзу попадает свет, и на внутренней поверхности возникает изображение того, что находится снаружи. Художник может его обвести. Но сам прибор снимка не сохраняет. Для фотографии нужен ещё материал, на котором свет оставляет изображение. Оксфордский музей истории науки показывает, как устроена такая камера.

С количеством работ тоже стоит разобраться. По каталогу музея Гетти, 135 крупных листов «Видов Рима» создавались с 1746 по 1778 год:

135 / 32 ≈ 4,2 нового вида в год.

Это лишь одна серия. Для всего творчества Пиранези музей Бойманса ван Бёнингена приводит оценку около 2,3 работы в месяц и рассказывает об операциях, которые выполняли помощники. При этом с готовой пластины можно напечатать много листов: заново рисовать каждый экземпляр не требуется.

Эти сведения не позволяют посчитать, сколько часов уходило на конкретную гравюру. Но и объявлять такую работу физически невозможной по одной её подробности я бы не стал.

Меня интересовал более узкий вопрос. Допустим, перед нами действительно гравюра. Могла ли фотография послужить образцом, с которого её сделали? По виду штрихов этого не решить: фотографию тоже можно перерисовать линиями.

Зачем понадобились обычные снимки

Я взял двадцать цифровых копий работ Пиранези из коллекции Art Institute of Chicago. Восемнадцать относятся к «Видам Рима», ещё две изображают скелеты и несколько памятников на одном листе. Знаменитых «Воображаемых тюрем» в этом наборе нет.

Для сравнения понадобились картинки, про которые заранее известно, как они получены. Я использовал 102 фотографии зданий и городских улиц из исследовательского набора York Urban Database. Из них случайно выбрал 24 для проверки нейросетями. Выбор сделал до запуска моделей и потом не менял.

Все изображения для сравнения уменьшались по одному правилу. Отдельно я сохранял результаты обработки файлов в исходном размере. Это важно: тонкая линия после уменьшения может выглядеть иначе.

Смысл такого сравнения прост: если прямые линии считаются признаком рисунка, нужно посмотреть, встречаются ли они на настоящих снимках. Если встречаются, по одним линиям уже не решить, как получено изображение.

Что выбирала нейросеть

Я использовал CLIP в готовом виде, специально обучать её на Пиранези не стал. В моём опыте она выбирала между описаниями фотографии здания и архитектурной гравюры. Для каждого ответа я задал по четыре близких описания.

Сначала ответы совпали с известным происхождением картинок: 20 гравюр из 20 получили ответ «гравюра», 24 фотографии из 24 получили ответ «фото».

Затем я изменил фотографии. Вместо плавных переходов света и тени появились тонкие штрихи, более густые в тёмных местах. К ним добавились линии по краям предметов. Здания и лестницы остались на своих местах, но картинка стала похожа на рисунок. После этой обработки 16 из 24 фотографий нейросеть отнесла к гравюрам.

Почему она поменяла ответ? Из-за исчезновения цвета, из-за штрихов или из-за очертаний предметов? Чтобы проверить, я сделал несколько версий каждого снимка и показал их той же программе.

Чёрно-белый вариант ничего не изменил. А вот одних очертаний оказалось достаточно, чтобы 14 фотографий из 24 получили ответ «гравюра». Значит, дело было не просто в отсутствии цвета. Влиял способ, которым на картинке показаны предметы.

Рис. 2. Пять версий одного снимка. Под каждой указан ответ нейросети. Справа внизу показаны результаты для всех 24 фотографий. Для иллюстрации взят первый снимок по имени файла, без подбора подходящего ответа.

Во всех вариантах обработки использованы одни и те же 24 фотографии. Я менял только их внешний вид. Повторный запуск на исходных снимках дал прежний результат: все 24 получили ответ «фото».

Ответ «гравюра» описывал то, что нейросеть видела сейчас. Обработанные фотографии тоже состояли из линий. Установить по этому ответу, что было перед художником в начале работы, не получилось.

Можно ли увидеть след объектива

Ещё до опыта с нейросетью я искал другой возможный признак. Некоторые объективы слегка искривляют изображение: прямая граница стены на снимке выглядит выгнутой. Ближе к краям кадра это искажение может усиливаться. С ним сталкиваются, например, при настройке камер для точных измерений.

Я написал программу, которая находила длинные линии на изображении и проверяла, насколько они отклоняются от прямой. Вдоль каждой линии она искала границу в 21 месте. Затем убирала из расчёта общий наклон и подбирала плавную кривую, описывающую изгиб. Так отдельный скачок на несколько пикселей не принимался за изгиб всей линии.

Рис. 3. Слева показана выбранная линия на изображении Пантеона. Справа точки показывают найденные отклонения от прямой, зелёная кривая показывает их плавную часть. Число на рисунке относится к одной линии, а не ко всем работам Пиранези.

На восемнадцати из двадцати листов программа нашла достаточно линий, всего 769. На двух остальных их оказалось слишком мало для принятого мной способа расчёта.

Для каждого листа я располагал величины изгиба по порядку и брал медиану, то есть середину ряда значений. Затем так же сравнил листы между собой. Типичная величина изгиба составила 0,145% длины линии. Для отрезка в тысячу пикселей это соответствовало бы отклонению примерно в 1,45 пикселя.

Замечает ли программа искривление вообще? Я сделал заведомо изогнутые копии тех же изображений и повторил расчёт. После такой обработки на семи копиях из двадцати нашлось достаточно подходящих линий. Поэтому для сравнения пришлось взять семь соответствующих исходных листов.

Во всех семи парах программа заметила увеличение изгиба. Но здесь обнаружилась и слабость самого способа: после сильного искривления большинство копий перестали давать достаточно подходящих линий. Программа сначала ищет почти прямые участки, и это уже влияет на результат.

Тогда я проверил тем же способом 102 настоящие фотографии. У 96 снимков программа не нашла выраженного увеличения изгиба к краям по принятому мной порогу. Попались и фотографии с очень небольшим изгибом. Например, на одном снимке здания показатель составил 0,292%, то есть оказался ниже выбранной границы в 0,3% для почти прямых линий.

Рис. 4. Два снимка из набора для сравнения. Они точно сделаны камерой, хотя программа находит на них почти прямые линии. Указанные числа рассчитаны по файлам в исходном размере.

Поэтому рассуждение «линии прямые, значит объектива не было» не выдержало проверки. Есть и другая трудность: перед нами цифровые копии бумажных листов. Бумага могла изгибаться, а сам оттиск фотографировали или сканировали. Обнаруженное искривление ещё нужно связать с тем этапом, на котором оно возникло.

А если попробовать восстановить камеру

С помощью другой нейросети, GeoCalib, я попробовал оценить характеристики камеры по одному изображению. В частности, программа оценивает фокусное расстояние объектива. Для одной и той же камеры от него зависит, насколько широкий вид попадёт на снимок.

Для проверки я показал программе каждое изображение дважды: целиком и с обрезанными краями. От обрезки картинки объектив не меняется. Поэтому после поправки на размер кадра две оценки должны оставаться близкими. В расчёте учитывался и возможный изгиб линий из-за объектива.

На фотографиях типичное расхождение между двумя оценками составило 4,4%, а на работах Пиранези 43,6%. Здесь я тоже сравнивал медианы. При обрезке гравюр программа меняла ответ гораздо сильнее.

Прежде чем связывать эту разницу с тем, как художник строил перспективу, я проверил GeoCalib на фотографиях, превращённых в штриховые рисунки.

У программы можно сопоставить два расчёта: сначала она оценивает перспективу на картинке, затем подбирает характеристики камеры. После штриховки они стали хуже согласовываться в 23 случаях из 24. Это внутренняя проверка самой программы. Реальная камера, которой сняли здание, от обработки фотографии не изменилась.

Оказалось, что уже способ передачи света и тени влияет на расчёты GeoCalib. Поэтому получить число ещё недостаточно, чтобы назвать его фокусным расстоянием «объектива Пиранези». Надёжность такой оценки на гравюрах я подтвердить не смог.

Где осталась загадка

Мои опыты не подтвердили, что Пиранези пользовался фотографиями. Но и исключить фотографический образец по проверенным признакам не удалось. Почти прямые линии нашлись на настоящих снимках, а ответ «гравюра» получили фотографии, превращённые в штриховые рисунки.

Следующим опытом могла бы стать проверка конкретного вида: независимо измерить здание и выяснить, можно ли снять его с такой точки, чтобы получить перспективу гравюры. Даже точное совпадение покажет лишь, что подобный кадр возможен. Художник тоже способен построить такую перспективу без снимка.

Теперь снова отойдите от экрана.

Штрихи исчезнут. Из тёмной ниши выйдет колонна, над ней раскроется купол, а человек у основания снова станет крошечным. Всё, что программа только что разложила на линии и числа, снова станет городом.

Что было перед художником, когда он начинал работу? Сама римская площадь, её проекция в камере-обскуре или фотографический образец? И какое наблюдение убедило бы вас в ответе?