14 июня 2019

Четверной фильтр Байера: чего от него ждать… и чего не ждать?

По материалам GSMArena

В декабре появились первые смартфоны с 48 МП камерами, а сейчас мы наблюдаем их неожиданное засилье. Что интересно, значительная их часть относится к среднему сегменту, в то время как многие флагманские аппараты оснащены 12 МП сенсором. В чем же дело?

А дело в том, что появился четверной фильтр Байера. И поскольку отделы маркетинга в компаниях зачастую не в состоянии доходчиво объяснить, что это за сенсор, придется сделать эту работу за них.

Что такое фильтр Байера?

Начнем с азов. Фильтр Байера – это цветная мозаика из красного, зеленого и синего фильтров, которые позволяют цифровому сенсору делать цветные снимки. Полупроводниковые пиксели  не «видят» цвета, они только собирают то количество света, которое на них попадает, так что без фильтра вы просто получите черно-белый кадр. Фильтр Байера обеспечивает то, что свет, попадающий на каждый пиксель, имеет один из трех первичных цветов.

В результате в 12 МП сенсоре 6 млн пикселей «видят» зеленый и по 3 млн – красный и синий цвет. Алгоритм, носящий название демозаики, используется для интерполяции полного изображения с разрешением 12 МП.

Название «четверной фильтр Байера» несколько некорректно само по себе, потому что на самом деле он ничем не отличается от обычного фильтра Байера. А изменился не сам фильтр, а сенсор – в новом сенсоре каждому цветному квадрату соответствуют четыре пикселя, а не один.  

Итак, в действительности эти 48 МП четверные сенсоры не дают большей детализации, чем 12 МП сенсоры. Производители сенсоров будут рассказывать вам, что более умные алгоритмы демозаики позволят передать больше деталей, но по опыту, выигрыш тут невелик, если он вообще есть.

Где можно найти четверные фильтры Байера?

В последнее время 48 МП сенсоры наиболее популярны – ими оснащены десятки смартфонов. Все началось с Huawei и ее 40 МП сенсоров в аппаратах P20 Pro, Mate 20 Pro и Mate 20 X. Китайская компания даже установила вторую версию сенсора в Huawei P30 и P30 Pro, где последовательность цветов была красный – желтый – желтый – синий вместо красный – зеленый – зеленый – синий, но принцип оставался тем же.

Есть также несколько моделей смартфонов с 32 МП селфи-камерами с четверным фильтром Байера, например, Vivo V15 Pro и Samsung Galaxy A70. У них такой же размер пикселя (0.8µm), но физически они меньше, поэтому имеют более низкое разрешение.

Недавно Samsung анонсировала 64 МП сенсор с четверным фильтром Байера, и вновь у него тот же размер пикселя, но меняется размер самого сенсора – он на 33% больше, чем текущий размер 48 МП сенсоров.

На что способен сенсор с четверным фильтром Байера?

Как уже говорилось, истинная сила четверного фильтра совсем не там, где ее ищут. Благодаря ему группа из четырех пикселей, которые составляют цветной квадрат фильтра, может выступать как один или как отдельные сенсоры.

С момента появления это одни из самых больших сенсоров, когда-либо установленных в смартфоны. К примеру, Sony IMX586 – первый 48 МП сенсор и один из самых популярных – имеет размер по диагонали 8 мм. IMX363, который используется в Pixel 3, и Samsung S5K2L4, который стоит в S10, имеют 7.06 мм по диагонали.  Это порядка 30-процентного прироста в площади.

Однако размер пикселя сильно различается, 0.8µm для 48 МП сенсоров и 1.4µm для традиционных. Все маркетинговые материалы о 48 МП сенсорах подчеркивают, что в них может использоваться пиксельный биннинг и они могут работать так, как если бы размер пикселя составлял 1.6µm.

Так создается 12 МП изображение. Размер 1.6µm – это то, о чем часто говорят, но это не то, что может полностью решить проблему работы сенсора в условиях недостаточного освещения. Появление шумов – это случайный процесс, и если большой пиксель традиционного сенсора воспринимает шум вместо сигнала, с этим мало что можно сделать (разве что компенсировать интерполяцией данных с соседних пикселей).

Впрочем, если один из четырех пикселей сенсора с четверным фильтром поймает шум, потеряется всего 25% информации – а это уменьшает шум в четыре раза, не снижая резкости изображения.

В качестве альтернативы, сенсор может разделяться на два логических сенсора – один для короткой экспозиции и другой для длинной. Этот вариант используется при дневном свете для съемки в реальном времени в HDR.

Можно уменьшать шум и снимать в HDR и при помощи обычного, а не четверного сенсора, делая два (или более) кадра один за другим, а потом объединяя их. Так происходит в смартфонах  Pixel, и они вполне успешно справляются с задачей.

Однако есть проблема: движущиеся объекты при съемке с последовательной экспозицией меняют положение. А четверной фильтр Байера делает два снимка одновременно, так что не требуется применения искусственного интеллекта для коррекции артефактов, вызванных движением объекта. Вот как выглядит неудавшаяся коррекция.

Вот самый простой способ объяснить принцип работы четверного фильтра Байера: он позволяет ПО камеры делать одновременно два снимка. Это дает возможность применять обработку изображения в  HDR и ночном режиме, вот почему современные смартфоны делают фотографии высокого качества – аппаратная часть при этом не имеет существенных отличий.

Каковы возможности технологии?

В отличие от LCD, где у каждого пикселя есть красный, зеленый и синий субпиксели, в обычном сенсоре на каждый пиксель приходится только один субпиксель. Но при этом нельзя было бы говорить о таком высоком разрешении, поскольку эти пиксели расположены близко друг к другу и восстановление исходного изображения происходит за счет демозаики (хотя люди, которые везде способны различать пиксели, всегда скажут, что оно не идеально).

В четверном фильтре Байера пиксели разного цвета находятся дальше друг от друга, и демозаика менее эффективна (что бы там ни говорили производители). Так что в случае с 48 МП вы не получите в 4 раза лучшую детализацию, чем с 12 МП. На самом деле, если отключить HDR и другие режимы обработки на 48 МП, фотографии с 12 MП иногда выходят даже с лучшей детализацией (и меньше весят, а это двойная выгода!).

Когда алгоритм демозаики применяется к исходным данным при 48 МП, может получиться более четкое изображение, но в случае с разными аппаратами и разными сюжетами результат будет различаться. И если для конкретного снимка критически важна передача деталей, лучше фотографировать в обоих режимах, а потом выбирать лучший снимок.  И большую часть времени все же стоит придерживаться режима 12 МП.

Мы не говорим уже о том, что считывать полноценное 48 МП изображение было за пределами возможностей некоторых ранних сенсоров и чипсетов, так что они просто брали 12 МП изображение и увеличивали его – что было пустой тратой свободного места.

Одно из наиболее часто упоминаемых преимуществ сенсоров с четверным фильтром Байера – это лучший зум. При том, что в Nokia 808 PureView был впечатляющий зум, его огромные 41 МП сенсоры имели обычный фильтр Байера. Как уже обсуждалось, четверной фильтр Байера может дать лишь небольшой выигрыш в резкости (а может и нет), так что в реальности нет разницы с цифровым зумом на 12 МП сенсорах.

Отделы маркетинга трудятся изо всех сил, чтобы вы поверили, что в вашем смартфоне сенсор как у Hasselblad, а на самом деле четверной фильтр Байера – всего лишь умный (и эффективный) способ повысить качество 12 МП снимков.

А также имеет значение оптика. Не вдаваясь в детали, такие камеры с высоким разрешением часто имеют ограничение по дифракции – это означает, что самая малая точка света не может быть сфокусирована на участке меньше, чем пиксель. Почитайте про диск Эйри. В целом, существует физическое ограничение для максимального разрешения, которое могут иметь компактная оптика и сенсоры.

Читайте также