14 июня 2019
Четверной фильтр Байера: чего от него ждать… и чего не ждать?
Константин Иванов
По материалам GSMArena
В декабре появились первые смартфоны с 48 МП камерами, а сейчас мы наблюдаем их неожиданное засилье. Что интересно, значительная их часть относится к среднему сегменту, в то время как многие флагманские аппараты оснащены 12 МП сенсором. В чем же дело?
А дело в том, что появился четверной фильтр Байера. И поскольку отделы маркетинга в компаниях зачастую не в состоянии доходчиво объяснить, что это за сенсор, придется сделать эту работу за них.
Что такое фильтр Байера?
Начнем с азов. Фильтр Байера – это цветная мозаика из красного, зеленого и синего фильтров, которые позволяют цифровому сенсору делать цветные снимки. Полупроводниковые пиксели не «видят» цвета, они только собирают то количество света, которое на них попадает, так что без фильтра вы просто получите черно-белый кадр. Фильтр Байера обеспечивает то, что свет, попадающий на каждый пиксель, имеет один из трех первичных цветов.
В результате в 12 МП сенсоре 6 млн пикселей «видят» зеленый и по 3 млн – красный и синий цвет. Алгоритм, носящий название демозаики, используется для интерполяции полного изображения с разрешением 12 МП.
Название «четверной фильтр Байера» несколько некорректно само по себе, потому что на самом деле он ничем не отличается от обычного фильтра Байера. А изменился не сам фильтр, а сенсор – в новом сенсоре каждому цветному квадрату соответствуют четыре пикселя, а не один.
Итак, в действительности эти 48 МП четверные сенсоры не дают большей детализации, чем 12 МП сенсоры. Производители сенсоров будут рассказывать вам, что более умные алгоритмы демозаики позволят передать больше деталей, но по опыту, выигрыш тут невелик, если он вообще есть.
Где можно найти четверные фильтры Байера?
В последнее время 48 МП сенсоры наиболее популярны – ими оснащены десятки смартфонов. Все началось с Huawei и ее 40 МП сенсоров в аппаратах P20 Pro, Mate 20 Pro и Mate 20 X. Китайская компания даже установила вторую версию сенсора в Huawei P30 и P30 Pro, где последовательность цветов была красный – желтый – желтый – синий вместо красный – зеленый – зеленый – синий, но принцип оставался тем же.
Есть также несколько моделей смартфонов с 32 МП селфи-камерами с четверным фильтром Байера, например, Vivo V15 Pro и Samsung Galaxy A70. У них такой же размер пикселя (0.8µm), но физически они меньше, поэтому имеют более низкое разрешение.
Недавно Samsung анонсировала 64 МП сенсор с четверным фильтром Байера, и вновь у него тот же размер пикселя, но меняется размер самого сенсора – он на 33% больше, чем текущий размер 48 МП сенсоров.
На что способен сенсор с четверным фильтром Байера?
Как уже говорилось, истинная сила четверного фильтра совсем не там, где ее ищут. Благодаря ему группа из четырех пикселей, которые составляют цветной квадрат фильтра, может выступать как один или как отдельные сенсоры.
С момента появления это одни из самых больших сенсоров, когда-либо установленных в смартфоны. К примеру, Sony IMX586 – первый 48 МП сенсор и один из самых популярных – имеет размер по диагонали 8 мм. IMX363, который используется в Pixel 3, и Samsung S5K2L4, который стоит в S10, имеют 7.06 мм по диагонали. Это порядка 30-процентного прироста в площади.
Однако размер пикселя сильно различается, 0.8µm для 48 МП сенсоров и 1.4µm для традиционных. Все маркетинговые материалы о 48 МП сенсорах подчеркивают, что в них может использоваться пиксельный биннинг и они могут работать так, как если бы размер пикселя составлял 1.6µm.
Так создается 12 МП изображение. Размер 1.6µm – это то, о чем часто говорят, но это не то, что может полностью решить проблему работы сенсора в условиях недостаточного освещения. Появление шумов – это случайный процесс, и если большой пиксель традиционного сенсора воспринимает шум вместо сигнала, с этим мало что можно сделать (разве что компенсировать интерполяцией данных с соседних пикселей).
Впрочем, если один из четырех пикселей сенсора с четверным фильтром поймает шум, потеряется всего 25% информации – а это уменьшает шум в четыре раза, не снижая резкости изображения.
В качестве альтернативы, сенсор может разделяться на два логических сенсора – один для короткой экспозиции и другой для длинной. Этот вариант используется при дневном свете для съемки в реальном времени в HDR.
Можно уменьшать шум и снимать в HDR и при помощи обычного, а не четверного сенсора, делая два (или более) кадра один за другим, а потом объединяя их. Так происходит в смартфонах Pixel, и они вполне успешно справляются с задачей.
Однако есть проблема: движущиеся объекты при съемке с последовательной экспозицией меняют положение. А четверной фильтр Байера делает два снимка одновременно, так что не требуется применения искусственного интеллекта для коррекции артефактов, вызванных движением объекта. Вот как выглядит неудавшаяся коррекция.
Снимок HDR с последовательной экспозицией
Снимок HDR с четверным фильтром Байера
Вот самый простой способ объяснить принцип работы четверного фильтра Байера: он позволяет ПО камеры делать одновременно два снимка. Это дает возможность применять обработку изображения в HDR и ночном режиме, вот почему современные смартфоны делают фотографии высокого качества – аппаратная часть при этом не имеет существенных отличий.
Каковы возможности технологии?
В отличие от LCD, где у каждого пикселя есть красный, зеленый и синий субпиксели, в обычном сенсоре на каждый пиксель приходится только один субпиксель. Но при этом нельзя было бы говорить о таком высоком разрешении, поскольку эти пиксели расположены близко друг к другу и восстановление исходного изображения происходит за счет демозаики (хотя люди, которые везде способны различать пиксели, всегда скажут, что оно не идеально).
Samsung Galaxy A80: 12 МП
Samsung Galaxy A80: 48 MП
В четверном фильтре Байера пиксели разного цвета находятся дальше друг от друга, и демозаика менее эффективна (что бы там ни говорили производители). Так что в случае с 48 МП вы не получите в 4 раза лучшую детализацию, чем с 12 МП. На самом деле, если отключить HDR и другие режимы обработки на 48 МП, фотографии с 12 MП иногда выходят даже с лучшей детализацией (и меньше весят, а это двойная выгода!).
Когда алгоритм демозаики применяется к исходным данным при 48 МП, может получиться более четкое изображение, но в случае с разными аппаратами и разными сюжетами результат будет различаться. И если для конкретного снимка критически важна передача деталей, лучше фотографировать в обоих режимах, а потом выбирать лучший снимок. И большую часть времени все же стоит придерживаться режима 12 МП.
Oppo Reno 10x zoom: 12 MП
Oppo Reno 10x zoom: 48 MП
Мы не говорим уже о том, что считывать полноценное 48 МП изображение было за пределами возможностей некоторых ранних сенсоров и чипсетов, так что они просто брали 12 МП изображение и увеличивали его – что было пустой тратой свободного места.
Одно из наиболее часто упоминаемых преимуществ сенсоров с четверным фильтром Байера – это лучший зум. При том, что в Nokia 808 PureView был впечатляющий зум, его огромные 41 МП сенсоры имели обычный фильтр Байера. Как уже обсуждалось, четверной фильтр Байера может дать лишь небольшой выигрыш в резкости (а может и нет), так что в реальности нет разницы с цифровым зумом на 12 МП сенсорах.
Asus Zenfone 6: 12 MП
Asus Zenfone 6: 48 MП
Отделы маркетинга трудятся изо всех сил, чтобы вы поверили, что в вашем смартфоне сенсор как у Hasselblad, а на самом деле четверной фильтр Байера – всего лишь умный (и эффективный) способ повысить качество 12 МП снимков.
Huawei 20 Pro: 12 MП
Huawei 20 Pro: 48 MП
А также имеет значение оптика. Не вдаваясь в детали, такие камеры с высоким разрешением часто имеют ограничение по дифракции – это означает, что самая малая точка света не может быть сфокусирована на участке меньше, чем пиксель. Почитайте про диск Эйри. В целом, существует физическое ограничение для максимального разрешения, которое могут иметь компактная оптика и сенсоры.
Эх, я думал MR уже и до закупщиков добрались…
Это 12 миллионов уже полноцветных пикселей, что можно проверить по разрешению итогового кадра. В матрице, до байера, они представлены субпикселами. 24 млн на зеленый и по 12 на два остальных.
А учетверение количества субпикселов, еще позволяет делать субпиксельный super resolution. Весьма полезная фича, реально сказывающая на четкости кадра.
A мой предыдущий ASUS AR снимал в принципе неплохо с 24мпх, но фишка с суперразрешением там была занятная, хоть и бесполезная в ряде случаев (шевеленка и недостаток яркости)
Мне не понравилась ни одна из фотографий в тексте на 48 мпк. Все нечеткие, размытые. Обычные на 12 мпк лучше по качеству и детализации
ничего не понял … объясните простым языком
З.Ы. т.е. на самом деле камера в телефоне не 48, а 12 реально?
З.З.Ы. а если камера 13 то тогда 3,2 что ли на самом деле 🙂
просто у некоторых смартфонов, например сяоми редми нот 7 или самсунг а80, стоит «48мп» камера, которая сделана на базе 12мп сенсора.
https://uploads.disquscdn.com/images/645e7abc1addee79600e6844197a37be318e3f44aba8d35172bd8f3b8f6c6239.jpg
12X4 сколько будет?
А на подходе уже 96 мегапикселей!
а это уже аж 12х8, О_о ой что ж это будет то????
Будем фотографировать и обои печатать
т.е. покупая Мейзу Нот 9 с камерой на 48 не стоит ждать более отличного качества фоток в сравнении с Хонор 9 лайт где она 13?
хз, я хонором не слежу, но если там тот же модуль камеры, то возможно будет так как вы и написали.
Качество фоток вообще не зависит от МП, а от размера матрицы и других параметров.
Доходчиво объяснить не получилось
А мне зашло.
Всего-то нужно сказать, что разрешение цветовой компоненты 12Мп, а яркостной — 48. Для JPEG с субдискретизацией 4:2:0 такой расклад даже с избытком.
Автор не перепутал картинки? Вполне возможно, т.к. при чтении текста создаётся впечатление что он писался на коленке.
Пятый фильтр будет делать один пиксель из 16))), но писать будут все-равно 192 МП.
Нихрена не понятно, если честно. Причем я знаю, что такое фильтр Байера.
В статье не совсем корректно используется термин «пиксель». Пиксель — это полноцветная точка на мониторе, или в графическом файле. То, что скрывается под единичным светофильтром в обычной матрице Байера — это чувствительный элемент (ЧЭ), или фотодиод. Да, именно эти ЧЭ маркетологи во все времена преподносят нам, как разрешение в мегапикселах. Но реальное разрешение обычной, 12 ти мегапиксельной матрицы из статьи — 3 мегапикселя. И 48ми мегапиксельной тоже 3. И даже эти 3 не получится воспроизвести идеально, как спроецировал объектив на матрицу. Потому что перед матрицей стоит матовое стеклышко, или анти-алиасинг фильтр. Его задача — «размазать» точечные элементы по нескольким сабпикселам, что бы черное платье в белый горошек не заиграло всеми тремя цветами радуги.
Реальность такова, что хотя честных полных RGB c 12 мегапикселей всего 3 мегапикселя, алгоритмы демозаики вытягивают их до ~6 мегапикселей. Но это чистая математика, без учёта реальной физики. Физика (оптика, матрица, дифракция и т.п.), конечно, может вносить ещё дополнительные искажения, размытия и пр.
Если бы эта математика давала приемлемый результат, не пришлось бы использовать антиалиас фильтр, а потом искусственно повышать убитую им резкость. Кстати, в «мобильных» камерах первое время этот фильтр не ставился, что давало характерный цветной муар на регулярных структурах, вроде волос или решеток.
Эта математика даёт очень даже неплохой результат. Но там много моментов, особенно, связанных с цветом. Средний результат как я написал. Я являюсь автором двух алгоритмов дебайеризации, которые присутствуют в libraw, тему я довольно подробно изучал.
При разработке алгоритмов вас не посещала мысль, что было бы гораздо проще обрабатывать информацию с трех субпикселей, размещенных под общей микролинзой и являющихся прототипом будущего пикселя ? Формально разрешение упало бы втрое (если речь об экономии на фотодиодах или светофильтрах), но это было бы реальное разрешение, безо всяких условностей и зависимостей от цвета объекта.
Вы какой ответ получить хотите? Что проще всего не делать интерполяцию вообще, а иметь сразу полный набор цветов? Это очевидно. Однако, как именно Вы предлагаете размещать такие тройки пикселей? Фовеон пытался так делать, но технические сложности они не смогли решить. Тема не-байеровских фильтров одно время была очень популярна, но, затем, постепенно все эксперименты так или иначе закончились или идут робкими попытками. Дьявол кроется в деталях, а ведь именно о них и их восстановлении тут речь. Регулярная сетка из зелёных пикселей таки победила остальные варианты восстановления яркостной информации. Странное решение Хуавея использовать жёлтые вместо зелёных не меняет картину принципиально. Вариант сложно-регулярной сетки, как в Х-Транс, имеет свои минусы восстановления цвета, хоть и позволяет ещё лучше восстанавливать яркость. Есть интересный подход Гугла, когда используется естественный смаз при съёмке с рук, возможно даже позволяя получить полную цветовую информацию в определённой точке снимка.
В общем, «в политбюро не дураки сидят», многие осмысленные варианты уже были испробованы в железе, эволюция пришла всё-таки к байеровскому фильтру. Алгоритмы работы с ним проработаны лучше всего. И этот итог — потерю всего лишь половины пикселей, вместо 2/3 или 3/4 я Вам уже рассказал.
Самый простой способ обойтись без дебайера, это просто рассматривать группы по 4 элемента, как отдельные пиксели. И такие алгоритмы были реализованы многократно и внутрикамерно, и в отдельных конвертерах. Минус в том, что антиалиас фильтр никуда не девается, и рассеивает свет на соседние группы, а это падение резкости. Все, что надо было бы сделать для идеального результата — разбить большое матовое стекло на много маленьких, что бы свет рассеивался в рамках одной группы.
А использование зеленых субпикселей для яркостной составляющей — ну вы же понимаете, насколько это компромиссное решение в реальном мире. Мы же не серую шкалу снимаем при студийном освещении.
Наконец кто-то все объяснил русским языком. Ну почти русским? Какие-то азы технических знаний всё же нужны. И главное мне теперь понятно почему 48 Мп raw снимок со смартфона обрабатывать труднее чем такой же, но сделанный фотокамерой.
P.S. только один вопрос. Каким образом в Huawei Р20 pro удалось делать 12Мп снимки?
Короче, маркетологи нашли новую нишу доить покупателей. Придумываем много умных слов, увеличиваем кол-во пикселей в камерах, и вот она, очередная порция капель которые еще немножко можно выдавить из потребителей..
Дак и ведутся же. Обладатели хаоми особенно писает кипятком от того что у них 48 мегапикселей, а не жалкие 12.
Да и стоит все это чуть ли не в 12 раз дешевле)
На счёт последнего утрировал, но ход мысли понятен
Поставьте мне нормальную 5-ти мегапиксельную матрицу с хорошим сенсором и оптикой и я буду рад.
Мегапухили какие-то. Кабуто в 2005 вернулся.
Взгляните на часы в снимках с А80 — в режиме 12Мп они гараздо чётче! Делайте выводы господа.
А на Nokia 808 48 мегапикселей каких было ?
Там были неправильные мегапиксели и они делали неправильные фотографии. Перечитай статьи за тот период 😉
Сдаётся мне, что помимо расширения динамического диапазона, «четверной фильтр Байера», если я таки правильно из статьи осознал его устройство, позволяет реализовать алгоритм фазового автофокуса по типу как у Кэнон DPAF.
Фовеон форева.
Это заклинание чего вызывает?
Цой жив! (с)
Только не в темноте. И цветопередача — предмет вечного холевара. Но, в общем и целом согласен.
PureView, ты ли это?