27 июня 2017

Технология крупным планом: двойная камера с оптическим зумом в смартфоне

Константин Иванов

По материалам androidauthority.com

Технологию двойной камеры в смартфоне уже нельзя назвать новой. Но теперь мы наблюдаем новый тренд, появившийся у производителей, предлагающих «оптический зум» в своих аппаратах. Таков, например, Apple’s iPhone 7 Plus, а среди устройств на Android – OnePlus 5. Все ли пользователи знают, как работает эта технология? Попробуем разобраться…

Проблема зума в смартфоне

Прежде чем погрузиться в тонкости работы технологии, стоит объяснить, почему производители почувствовали необходимость добавить оптический зум в свои смартфоны. В отличие от зеркальных объективов с различным фокусным расстоянием или камер с зум-объективами, работающих по принципу «навел и снял», камеры в смартфонах имеют маленькие объективы с фиксированным фокусным расстоянием. Это означает, что у вас остается одна-единственная возможность: использовать цифровое увеличение, чтобы приблизить ту или иную деталь изображения.

Но цифровой зум имеет очень ограниченное применение – он не имеет смысла, кроме как в случаях с небольшим увеличением. Мы связаны ограничениями в разрешении и полем зрения, в котором есть отдаленные и близкие объекты. То есть, на расстоянии пиксель может передать лишь ограниченное количество информации. Именно эти ограничения дают нам распадающуюся на пиксели картинку, когда мы пользуемся зумом – получается, что это то же самое, что просто увеличить уже готовый кадр из галереи.

Этот макроснимок позволяет сравнить 3x цифровой и 3x оптический зум (с 18 мм до 55 мм) на снимке одной и той же камерой с одними и теми же настройками

3x цифровой зум: обратите внимание на увеличившееся количество шумов и потерю детализации обложки

3x оптический зум: не только сохранена детализация, но и баланс белого улучшен за счет фокусировки на объекте

Разнообразные объективы, которые входят в комплект к зеркальным фотоаппаратам, позволяют настраивать фокусное расстояние и, соответственно, также и поле зрения. Большее фокусное расстояние сужает поле зрения камеры, но это означает, что тот же сенсор с ограниченным разрешением передает информацию с меньшего участка, то есть каждый пиксель передает меньшую точку на нем. Поэтому оптический зум не связан с проблемами пикселизации, как это происходит в случае с зумом цифровым.

Для того, чтобы оценить зум камеры или объектива, мы должны его с чем-то сравнить, найти какую-то отправную точку. Чтобы определить степень увеличения, мы делим имеющееся фокусное расстояние на минимально возможное. Итак, увеличение с 25 мм до 50 мм будет равно двукратному зуму, как и увеличение с 18 мм до 36 мм. Увеличение – понятие относительное, но оно обозначает прямую зависимость между двумя значениями фокусного расстояния.

Двойной объектив – гибридное решение

Когда речь идет о смартфонах с двойной камерой, имеющих «телефото» объектив, мы имеем в виду два сенсора и пару фиксированных объективов, но с различным фокусным расстоянием. К примеру, у одного будет фокусное расстояние 24 мм, у другого – 36 мм, что потенциально дает нам 1.5x оптический зум. У разных сенсоров могут варьироваться размеры, размер пикселя и апертура, что, конечно, в свою очередь влияет на качество фотографий, сделанных той или иной камерой.

Например, посмотрим на iPhone 7 Plus, в Apple оснастили его одним 28 мм и одним 56 мм объективом, то есть аппарат имеет потенциально двукратный зум. Это означает, что мы можем делать снимки с близкого расстояния с 28 мм 1x увеличением, а затем просто переключаться на 56 мм объектив с 2x увеличением и снимать на большем расстоянии без всякой потери в качестве итогового кадра.

И это еще не все. Вторая камера также улучшает качество снимков, сделанных на 4x и большем увеличении. Поскольку исходно у нас уже есть двукратное увеличение в полноценном разрешении, а не цифровое увеличение с 1x, мы теряем только половину информации там, где на увеличении 4x мы в обычной ситуации потеряли бы три четверти. Другими словами, поскольку для передачи удаленных объектов у нас имеется большее разрешение, мы не получим тех же жутких, распадающихся на пиксели изображений.

1х увеличение на OnePlus 5

2х увеличение на OnePlus 5

В случае с аппаратом OnePlus 5 происходит та же самая история, он дает нам возможность 1.6x оптического увеличения на втором объективе перед тем, как обрезать изображение до 20 МП для достижения 2x зума и дальнейшей обработки программными средствами. В OnePlus говорят, что это часть работы функции Smart Capture, которая собирает нужную информацию с различных кадров и затем «склеивает» наиболее удачные части вместе. Очевидно, это не самый оптимальный подход, но такое гибридное решение как минимум интересно. И даже несмотря на то, что камера теряет часть данных, чтобы достичь двукратного увеличения, качество в любом случае будет выше, чем если бы использовался старый метод цифрового зума.

Эта двойная камера не только позволяет получить лучшую детализацию снимка на расстоянии. Она также дает возможность продвинутой HDR обработки, как и в случае с другими решениями с более чем одной камерой. Даже конкретные детали изображения, которые не были переданы в финальной картинке, а также дополнительная информация о свете и тенях, могут быть использованы для расширения динамического диапазона. В результате получится фотография, которая смотрится лучше безотносительно значения примененного увеличения.

Несовершенство результата

Наверняка вы понимаете, что описанное решение все еще далеко от совершенства. Нам требуется цифровое увеличение, если мы хотим выйти за пределы максимального фокусного расстояния, но что происходит, если мы хотим использовать промежуточный уровень увеличения, такой как 1.2, 1.3 или 1.5x?

Очевидным кажется самое простое решение – использовать цифровой зум для этих более низких значений увеличения, поскольку потери в качестве в большинстве условий будут не такими заметными. В итоге можно будет переключиться на фиксированное значение оптического увеличения второй камеры, но у такого подхода есть и минус – уровень увеличения ниже того, на который мы переключаемся, даст худшее качество изображения.

Так, к примеру, от 1.1x до 1.6x может быть цифровым увеличением с дальнейшим переключением на вторую камеру на значении 1.7x или больше. Это может служить объяснением тому, почему компании предлагают только скромные расстояния зума, система по-прежнему зависит от цифрового зума, и слишком большое расстояние между линзами вызовет слишком заметную потерю в качестве.

Для более умной реализации этой технологии требуется, чтобы не было четко заложенного уровня, при котором происходит переключение. Процессор, обрабатывающий изображение, может определять уровень шума для каждой камеры и то, следует ли переключаться на дополнительную камеру – то есть даст ли это лучший результат. По всей видимости, и iPhone 7 Plus, и OnePlus 5 используют нечто подобное.

Метод Smart Capture на OnePlus, который представляет собой комбинирование данных с множества изображений более высокого разрешения – это еще один шаг вперед. Используя несколько кадров с более высоким разрешением, можно свести уровень шума к среднему, задействуя промежуточные значения увеличения, такие как 1.2 и 1.8x. Впрочем, технически это возможно при помощи камеры всего с одним объективом.

Простое переключение между камерами не является идеальным решением, результат далек от того, что обещают, рекламируя смартфоны и указывая среди их преимуществ «оптический зум». Возможно, имеет смысл прибегнуть к более мощным алгоритмам анализа изображения, чтобы совмещать кадры, сделанные обеими камерами. К сожалению, и тут есть недостатки, сравнимые с теми, что есть в настоящих объективах с оптическим зумом: усредненная и склеенная картинка редко так же хороша, как то, что мы фотографируем.

Современные топовые процессоры способны объединять данные с камер с различным фокусным расстоянием. Это уже делается для продвинутых технологий HDR обработки, а еще дальше идею развили в камере Light L16 с несколькими объективами. Этот технический принцип позволяет брать элемент с высоким разрешением с объектива с большим увеличением, вырезать и вклеивать в центр изображения, которое подверглось более сильному увеличению. Так, на 1.5x увеличении центр картинки будет содержать больше информации, а края будут увеличены программно по сравнению с изначальным результатом съемки на обычный 1x объектив. Результат будет далек от совершенства, но объект съемки в кадре будет выглядеть резче и сохранит большую детализацию по сравнению с тем, как бы он выглядел на фото, сделанных обычной камерой смартфона с одним объективом.

При условии хорошего освещения и сильного уменьшения шума разница между однократным и двукратным увеличением на OnePlus 5 невелика

В условиях недостаточного освещения обе камеры очевидно делают очень шумные кадры, и пользы от двойной камеры как таковой нет

В теории все это звучит достаточно просто, но на деле этот алгоритм требует задействовать значительные ресурсы процессора, а это значит, что между щелчком затвора и финальным результатом на экране пройдет гораздо больше времени. А это плохо подходит для съемки быстро движущихся объектов или режимов непрерывной съемки.

Хуже того, этот тип обработки изображений дальше может только усложниться за счет различного размера пикселей в сенсорах и различной апертуры в двойной камере, что изменит возможности использования света. Поскольку камера с зумом не собирает достаточно света, так как обычно у нее меньшие пиксели, кадры с нее будут более шумными, поэтому склейка изображений будет попросту бессмысленной.

Судя по тем результатам, которые мы можем наблюдать в настоящее время, непохоже, чтобы производителям смартфонов удавалось достичь такого уровня сложности. Ближайшая технология из существующих – это, возможно, то, что сделали в Huawei – Hybrid Zoom, который берет точные данные о деталях с 20 МП камеры и раскрашивает их, используя данные RGB с 12 МП сенсора, что позволяет применять больший 2x цифровой зум.

В итоге потенциал двойной камеры значительно превосходит тот, что виден на первый взгляд, и он требует различных сложных технологий обработки. Не говоря уже о том, что итоговый результат в конечном счете все равно будет зависеть от условий съемки.

Заключение

Несмотря на то, что двойная камера – это значительный шаг вперед в мобильной фотографии, здесь по-прежнему существуют весьма заметные подводные камни. Первая проблема в том, что даже двойные камеры все еще ограничены фиксированным фокусным расстоянием, а значит, не способны предложить те же возможности, что настоящий оптический зум – что бы там ни говорили нам маркетологи.

У данной технологии есть заметные преимущества в сравнении с традиционным цифровым зумом, включая получение фотографий лучшего качества при съемке с увеличением на большом расстоянии. Также вам доступен более широкий спектр возможностей постобработки снимка, включая цифровое боке и продвинутую HDR-обработку. Не будем забывать и о том, что описанные возможности предлагают энтузиастам фотографии большую свободу творчества.

Технология по-прежнему пребывает в «детской» стадии, и мы без сомнения увидим заметные улучшения в качестве камер и функциональности зума, когда на рынке появится второе поколение устройств, оснащенных двойной камерой.

Интересно было бы узнать ваше мнение, уважаемые читатели. Что вы думаете о технологии двойной камеры в ее нынешнем состоянии и о перспективах ее развития? Смотрите ли вы вообще на наличие двойной камеры при выборе смартфона?