"Вычислительный зум" позволяет играть с элементами композиции.


Во время съёмки кадра фотограф, как правило, фиксирует композицию, которую нельзя изменить после нажатия кнопки. Но совмещение изображений (focus stacking) открыло дорогу для создания "умных" возможностей пост-фокусировки в современных камерах. Команда исследователей из Калифорнийского университета в Санта-Барбаре (UCSB) использует похожий приём, позволяющий скорректировать композицию фото после того, как кадр уже был снят.

Работая с исследователями из компании Nvidia, американские учёные разработали способ создания изображений, которые в ряде случаев просто не могут быть запечатлены обыкновенными камерами.

Система "Вычислительный зум" (Computational Zoom) предоставляет возможность создания новых композиций. Теперь можно контролировать ощущение глубины в сцене, размеры различных объектов относительно друг друга при различной глубине резкости и точке зрения камеры (ракурс). Всё это по существу позволяет фотографу управлять видом переднего плана и элементами фона изображения.

В процессе съёмки фотограф должен, как правило, фиксировать композицию снимка, которую нельзя изменить после нажатия кнопки. Например, при съёмке широкоугольным объективом ("рыбий глаз") очень сложно охватить всю фоновую панораму, да ещё и сделать сам объект достаточно большим в кадре.

Расположение объекта ближе к камере сделает его прямо-таки громадным, но в результате могут возникнуть нежелательные искажения всей картинки. Такая деформация немного уменьшается при съёмке телеобъективами, поскольку фотограф может двигаться, сохраняя объект переднего плана в рамках нужных размеров. Но это приводит к тому, что большая часть заднего плана должна быть исключена. В итоге в каждом случае фотографу нужно довольствоваться неоптимальной композицией, которая не может быть изменена позднее.

Эту проблему и решает новая система "Вычислительный зум". В частности, она позволяет фотографам создавать снимки уже после захвата изображения (post-capture) при помощи регулирования размера и позиции объектов в кадре.

Например, система даёт возможность автоматически объединять широкоугольнную и телеобъективную перспективы в одно мультиперспективное изображение, так чтобы объект был соответствующего размера, а весь фон оставался видимым.

В стандартной камере световые лучи путешествуют по прямым линиям в объектив, а затем изгибаются под углом, заданным фокусным расстоянием линзы. Но новая функция позволяет фотографам создавать физически невозможные изображения, в которых лучи света "изгибаются", изменяясь от телефото до широкоугольного снимка, пока они проходят всю сцену.





Получение такой композиции – трёхэтапный процесс. Сначала фотограф должен создать "стопку" из множества кадров, перемещаясь с камерой всё ближе к сцене, но при этом не меняя фокусное расстояние объектива. Затем система использует запечатлённую группу изображений и сложный алгоритм определения структуры объекта по отображению движения (structure-from-motion algorithm), чтобы автоматически оценить положение камеры и ориентацию для каждого снимка. Затем новый метод 3D-реконструкции высчитывает "карту глубины резкости" для каждого изображения в этом "хранилище". И наконец, вся эта информация будет использована для того, чтобы обобщить её в мультиперспективное изображение, которое обладает новой композицией, выбранной пользователем.

По мнению разработчиков, новая система расширяет возможности фотографов, давая им большую гибкость в том, чтобы придумывать свои собственные снимки. Она позволяет им рассказывать свои собственные истории посредством фотографии.





Описание технологии команда исследователей представила на Международной выставке компьютерной графики и интерактивных технологий 2017 (ACM SIGGRAPH 2017).