, видеокамер и сканеров . Фильтр Байера состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.

Исторически это самый первый из массивов цветных фильтров. Назван по имени его создателя, доктора Брайса Э. Байера (англ. Bryce Bayer ), сотрудника компании Kodak , запатентовавшего предложенный им фильтр в 1976 г. Для отличия от других разновидностей его называют GRGB , RGBG , или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB .

Принцип работы

Матрица является устройством, воспринимающим спроецированное на него изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для воспринятия цветного изображения каждый фотоприемник накрывается светофильтром одного из первичных цветов: красного, зелёного, синего (цветовая модель RGB).

Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Для получения остальных цветовых компонентов используются значения из соседних ячеек. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерполяции (по алгоритму demosaicing). Таким образом, в формировании конечного значения цветного пикселя участвует 9 или более фотодиодов матрицы.

В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:

G	R
B	G

При этом фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, в результате разрешающая способность такой структуры максимальна в зелёной области спектра, что соответствует [ ] особенностям человеческого зрения.

Изменения в структуре расположения

Для снижения заметности артефактов дебайеризации были разработаны модифицированные фильтры Байера, содержащие изменения, «разбавляющие» однородную периодическую структуру «неправильным» расположением части цветных пикселей. Вместо минимального 4-пиксельного элемента матрицы повторяется 12- или 24-пиксельный. Однако они не нашли массового применения из-за значительного роста необходимой вычислительной мощности для обработки полученного изображения.

Пример применения

Сфотографируем исходный объект (для наглядности его часть увеличена):

→

При этом получаются три цветовые составляющие:

	↓
	↓

Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек, спроецированных на него объективом. И только 4 предметных точки, рядом расположенных и спроецированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:

Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening . Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более чётких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает его размытость. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах функции коррекции изображения отсутствуют совсем либо их можно выключить.

На смену фотоаппаратам с пленкой сегодня пришли цифровые модели с электронными светочувствительными сенсорами. По сути, по процессу получения изображения цифровые камеры мало чем отличаются от пленочных фотоаппаратов. В них тоже используются объектив (система линз), затвор, определяющий выдержку, и диафрагма, которая регулирует свет, проходящий через объектив. Конечно, конструктивно и объектив, и затвор, и диафрагмирование могут быть реализованы по-разному. Однако основные различия пленочной и цифровой фотографии скрываются за объективом - там, где у традиционных фотоаппаратов находится пленка, в цифровой камере располагается электронная матрица светочувствительных элементов.

Как известно, цветная негативная пленка состоит из трех слоев, позволяющих ей сохранять различные оттенки света. Для того чтобы электронный сенсор мог воспроизводить оттенки цвета, ему приходится полагаться на другие решения. Конечно, сенсор - это не единственный фактор, определяющий качество цифровой камеры. Немаловажными критериями являются также оптика и программное обеспечение. К примеру, если используется качественный сенсор, но объектив фотоаппарата не соответствует ему по качеству, то пострадает качество фотографий независимо от электронных технологий. Программное и аппаратное обеспечение цифровой камеры преобразует сигналы с электронного сенсора в цифровое изображение. Например, от алгоритмов шумоподавления, встроенных в камеру, зависит количество видимых шумов и чувствительность аппарата.

Однако основным элементом современных цифровых фото-, видео- и телевизионных камер является светочувствительная матрица (фотосенсор) - специализированная интегральная микросхема, объединяющая упорядоченный массив светочувствительных элементов и электронную схему оцифровки либо развертки.

Матрица цифрового фотоаппарата преобразует оптическое изображение в электрическое: заряд накапливается, а при нажатии затвора из миллионов крошечных ячеек, которые принято называть пикселами, или, чтобы не путать их с элементами цифрового изображения, «фотосайтами» (photosites), заряды передаются на электрическую схему (методы передачи различаются в зависимости от типа сенсора), которая усиливает их и преобразует в цифровой вид.

Такие помехи обычно проявляются на изображении в виде пикселов ошибочных цветов, что особенно заметно в темных областях, где хорошо видны отличия между соседними точками, поскольку они определяются малыми значениями накопленных в фотосайтах зарядов. На этапе оцифровки производители фотоаппаратов пытаются компенсировать дефекты, связанные с усилением сигнала, при помощи различных программных решений.

И наконец, полученная с матрицы цифровая информация запоминается в виде изображения и записывается на карту памяти (CompactFlash, Secure Digital, Memory Stick, xD-Picture и др.). Кстати, определенное количество элементов матрицы всегда остается неактивным (не засвечивается). Это необходимо для того, чтобы для рабочих (эффективных) фотосайтов оставался эталон черного цвета. Таким образом, эффективное разрешение матрицы будет меньше реального количества элементов на число эталонных фотосайтов, закрытых черной маской (количество последних зависит от размера и конструкции матрицы).

Классические технологии производства матриц

Для преобразования оптического изображения в электрическое в большинстве современных фотоматриц в настоящее время используется внутренний фотоэффект в кристалле кремния.

Появлению цифровой фотографии предшествовало изобретение в конце 60-х годов прошлого века фоточувствительных полупроводниковых устройств - комплементарных металлооксидных полупроводников (КМОП; Complementary Metal-Oxide-Semiconductor, CMOS), чувствительность к свету которых была обнаружена многими исследователями. Однако КМОП были вытеснены изобретенными позднее приборами с зарядовой связью - ПЗС (Charge Coupled Device, CCD). Качество формирования изображений у CCD-устройств было для того времени столь высоким, что они быстро затмили CMOS-матрицы.

Сегодня по конструкции ПЗС-матрицы делят на полнокадровые, с буферизацией кадра, с буферизацией столбцов, с прогрессивной разверткой, с чересстрочной разверткой и с обратной засветкой.

Тем не менее CMOS-матрицы продолжали использовать в фотокамерах, правда в дешевых. Живучесть CMOS-кристаллов объяснялась до последнего времени только их низким энергопотреблением и гибкостью полупроводниковой технологии. Однако ряд характеристик этих устройств тоже привлекал к себе внимание производителей цифровой фототехники. Например, CMOS-технологии позволяют осуществлять обработку изображения в том же чипе (поскольку и сенсоры, и обрабатывающая аппаратура изготавливаются на одной и той же элементной базе), а цифровые камеры и другие устройства на базе CMOS-технологий получаются значительно дешевле и меньше по размерам.

В начале 90-х годов характеристики CMOS-сенсоров, а также технологии их производства были значительно улучшены, что привело к повышению фоточувствительности за счет увеличения эффективной площади облучаемой матрицы. Таким образом, в последние годы CMOS превратились в серьезную альтернативу CCD.

Критерии выбора между CCD- и CMOS-матрицами для производителей конечной продукции были довольно четкими лишь до 2001 года: CCD-матрицы обеспечивали лучшие показатели при съемке динамичных и мелких объектов, поэтому их использовали для построения систем, требующих высокого качества изображения, а CMOS отводилась ниша устройств, для которых критична конечная стоимость, - недорогие фотоаппараты, бытовая и офисная техника, а также игрушки. Однако вскоре были выпущены цифровые камеры, которые давали профессиональное качество снимков и на CMOS-сенсорах.

Более того, когда в 2001-2003 годах появились и начали стремительно завоевывать популярность такие устройства, как камерафоны (мобильные телефоны со встроенными фотоаппаратами), то противостояние CMOS- и CCD-сенсоров вышло на новый уровень и многие производители начали пересматривать свое отношение к CMOS как к элементной базе дешевого оборудования.

Для повышения качества CMOS-сенсоров в процесс их создания были внесены существенные изменения. Раньше их изготавливали на таких же высокоскоростных линиях, как и, например, микросхемы памяти. Сегодня растущая потребность в более качественных CMOS заставляет разработчиков переводить производство на менее скоростные специализированные линии. В результате CMOS-сенсоры подорожали - в настоящее время разница в стоимости CMOS-сенсоров и CCD-матриц сократилась до минимума.

Кроме того, в силу особенности конструкции CMOS-сенсоров, высокого качества изображения и приемлемой чувствительности удается добиться только на довольно больших по физическим размерам CMOS-матрицах, где площадь светочувствительной области получается больше размеров «обвязки» каждого пиксела. В результате CMOS-сенсоры успешно используются в профессиональных фотоаппаратах и студийных камерах, для которых габариты матрицы не имеют такого значения, как для компактных аппаратов.

Кроме того, интересно отметить так называемые DX-матрицы, которые производят для своих камер профессиональной линейки компании Canon и Nikon, - это несколько модифицированные CMOS-фотосенсоры, которые представляют собой переходной вариант между CCD- и CMOS-технологиями.

Цифровая фотография в цвете

Фотоэлементы матриц сами по себе не способны различать цвета, ведь разница в длинах волн падающих на них фотонов воспринимается лишь как разница в энергиях и не может учитываться при накоплении зарядов в фотосайтах. Таким образом, считывая заряд с фотосайтов, мы можем получить только монохромное изображение, то есть только градации яркости. Поэтому для цветной съемки применяются специальные технические решения.

Можно, например, расщеплять свет после объектива (при помощи системы цветоделительных зеркал или призм) на три области - красную, зеленую и синюю - и подавать на три отдельных монохромных сенсора, что применяется в трехматричных (3CCD) фото- и видеокамерах. Подобный подход обеспечивает отличную разрешающую способность и цветопередачу, причем без увеличения времени получения изображения. Однако такие аппараты громоздкие и дорогие. И если в видеокамерах габариты оптической системы не имеют такого критического значения - выпускаются даже относительно недорогие бытовые трехматричные аппараты, - то в фотографии система 3CCD получила распространение только в профессиональных студийных решениях, причем в трехматричной системе трудно использовать зеркальный видоискатель, что делает ее применение в фотографии еще более ограниченным.

Удешевить предыдущий подход позволило бы использование одной матрицы с тремя заменяемыми светофильтрами (красным, зеленым и синим), однако последовательное экспонирование сенсора через барабан со светофильтрами потребовало бы в три раза больше времени.

Поэтому в настоящее время чаще всего светофильтры устанавливаются перед каждым фотосайтом матрицы. Если в сенсоре применяются микролинзы, которые служат для дополнительной фокусировки света на фотосайте с целью повышения чувствительности, то светофильтры размещаются между микролинзой и ячейкой. Причем распределение таких светофильтров по поверхности сенсора и соответственно алгоритм получения изображения могут быть разными.

Фильтры Байера

Наиболее популярным массивом цветных фильтров сегодня является байеровский RGBG-фильтр, то есть построенный по цветовой модели Брайса Байера (Bryce Bayer), предложенной в начале 70-х годов прошлого века компанией Kodak. Массивы, построенные по принципу Байера, выглядят мозаичными с преобладанием зеленого цвета.

Особенно важным здесь является наличие преобладающего цвета (не обязательно зеленого), который служит для обеспечения большей частоты дискретизации яркостного канала, чем двух оставшихся цветовых. Напомним, что подобный принцип реализован и в телевидении. Зеленый был выбран в качестве яркостного канала только потому, что кривая чувствительности глаза человека по яркости имеет максимум около точки 550 нм, что соответствует именно зеленому тону. Да и число рецепторов, чувствительных к зеленому цвету, на сетчатке в два раза больше, чем тех, которые воспринимают красный или синий цвет.

В результате если мы берем элементарный байеровский квадрат 2x2, на котором один синий элемент, один красный и два зеленых (паттерн RGBG), то можем определить яркость по зеленому, а цвет пиксела (RGB-значение) получаем в результате интерполяции - усреднения по нескольким близко расположенным ячейкам одного цвета. Конечно, из-за того, что цвет итогового пиксела изображения размывается по нескольким соседним ячейкам, мы теряем и в цветопередаче, и в разрешении. Например, резкие контуры (цветовые переходы) размываются, мелкие детали (сравнимые по размеру с шириной интерполяции) теряются, а на изображении может появиться муар.

В связи с этим современные цифровые камеры байеровского типа могут давать дефект изображения, который называется Blooming (расплывание). Он появляется, когда изображение имеет сильную локальную контрастность, то есть когда светлый объект находится по соседству с темным. Если вы увеличите эти области фотографии, то обнаружите, что пикселы на их границе имеют очень странные цвета. Дело в том, что алгоритмы обработки изображения просто не могут разобраться в цвете на границе контрастных областей, ведь при интерполяции они переходят на соседнюю область, что дает неправильные яркость и тон.

Однако с ростом вычислительной мощности процессоров цифровых камер линейная интерполяция постепенно заменяется кубической, а затем и сплайновой. Помимо классической интерполяции с постоянным тоном, во многих цифровых камерах используется медианная интерполяция, а также многопроходная интерполяция по градиенту. Многопроходные итерационные алгоритмы обеспечивают лучшее качество съемки, но требуют большей вычислительной мощности. Впрочем, если алгоритм получения изображения настолько сложен, что его трудно реализовать в самом фотоаппарате, то его можно применить в программных RAW-конверторах. То есть после сохранения фотографии в RAW-формате, когда изображение не подвергается внутри камеры никакой обработке, в файл записываются данные, полученные напрямую с матрицы, а процесс интерполяции, повышения четкости, подавление шумов и другие операции со снимками можно выполнять на компьютере, обладающем намного большей вычислительной мощностью и возможностями ручного управления параметрами преобразований, чем фотоаппарат.

В некоторых современных цифровых фотоаппаратах реализованы специальные алгоритмы получения изображения с фотосенсора, которые при работе с цветом учитывают специфические особенности того или иного сенсора и даже условия съемки. Например, компания Canon утверждает, что ее новая технология iSAPS (Intelligent Scene Analysis based on Photographic Space), разработанная с учетом 60-летнего опыта Canon в области фотографии, позволяет настроить фотоаппарат и получить снимок оптимальным для данных условий образом. Во все новые цифровые камеры Canon встроена обширная библиотека статистической информации, которая помогает оптимизировать все показатели камеры, включая обработку изображения, снимаемого с сенсора. Сцена, на которую сфокусирована камера, еще до съемки анализируется и сравнивается с данными, хранящимися в библиотеке статистической информации (Photographic Space data), и на основе этого анализа выполняются съемка и обработка изображения. Естественно, что такие алгоритмы являются коммерческой тайной фирм-производителей и могут повысить разрешение снимков даже с байеровской фильтрацией.

Но у байеровского подхода существует несколько вариаций не только по алгоритмам интерполяции, но и по цветовому составу фильтров. Например, компания Sony предлагала вместо RGB-фильтров сенсоры с мозаиками на основе CYMG-фильтров (голубой, желтый, пурпурный и зеленый). Утверждалось, что такой подход обеспечит лучшее качество при печати фотографий, где, как известно, используется не аддитивная цветовая модель (RGB), а субстрактивная CMY (Cyan, Magenta, Yellow). Однако в таких фильтрах возникают проблемы с цветопередачей.

Кроме того, компания Sony применяла комбинированные фильтры RGBE, где вместо второго зеленого использовался дополнительный голубой или изумрудный цвет (Emerald). Теоретически изменение цвета для яркостной составляющей ничего не меняет, но на практике при вычислении цвета получались более натуральные оттенки при субъективном восприятии (за счет улучшения передачи сине-зеленых и красных оттенков).

Однако такие альтернативные схемы большого распространения не получили, и сегодня в большинстве цифровых камер по-прежнему применяются классические байеровские фильтры.

Как бы там ни было, но байеровский подход к формированию изображения нельзя назвать честным, ведь для каждого пиксела изображения фиксируется только одна цветовая составляющая из трех, а потом электроника цифровой камеры путем интерполяции по соседним значениям «додумывает» остальные две, так что картинка, выдаваемая современной цифровой камерой, на две трети уже интерполирована. Поэтому при одинаковом разрешении матриц у сенсора с классическим байеровским массивом светофильтров в результате цветовой интерполяции («размазывания» по цвету) разрешение снимков примерно в 2 раза ниже (они выглядят более размытыми), чем у устройств с одним светофильтром (монохромных) или у трехматричной схемы. Конечно, разрешение и цветопередача зависят и от метода интерполяции, и от типа мозаики, но для классического фильтра Байера по горизонтали снижение разрешения составляет около 65%, а по вертикали - примерно 80%. Сравните, например, две фотографии, снятые с одним и тем же разрешением на матрицу с фильтром Байера и на трехматричную камеру.

Для преодоления этой коллизии с фильтрами Байера используются технологии пиксельного сдвига сенсора. Данный подход аналогичен съемке с заменой цветного фильтра, только в данном случае применяется «обычный» сенсор с фильтром Байера, который при помощи пьезоэлементов передвигается в процессе экспозиции относительно фотосайтов на один пиксел таким образом, что каждый фотосайт экспонируется три раза с разным фильтром. В результате в трех кадрах мы имеем все три цветные составляющие для каждого фотосайта. Однако подобная технология пока еще очень дорогая, а кроме того, увеличивает время экспозиции в три раза. Поэтому применяется она преимущественно в цифровых задниках для профессиональной студийной съемки в павильоне, где можно на несколько секунд обеспечить неподвижность сцены.

«Пчелиные соты» Fuji Photo Film

В 1999 году компания Fuji Photo Film анонсировала первую цифровую камеру с оригинальной матрицей Super CCD Honeycomb. Данная технология была создана с целью увеличения площади фотодиодов на матрице, что позволило бы повысить чувствительность и расширить динамический диапазон фотосенсора. В принципе, в камерах Fuji применяется похожая, но другая по топологии схема размещения ячеек и фильтров, чем при байеровском подходе: если в классическом фотосенсоре ячейки имеют форму крошечных прямоугольников, расположенных рядом друг с другом, как на шахматной доске, то в Super CCD отдельные фотосайты выполнены в виде шестиугольников - «пчелиных сотов» (чем объясняется название Honeycomb).

По заявлению Fuji Photo Film, за счет такой топологии площадь матрицы используется более эффективно: электроника получает больше света на единицу поверхности и поэтому отображает более широкий динамический диапазон. Цепи передачи электрических сигналов также подверглись преобразованиям, чтобы оптимизировать скорость передачи от сенсора до процессора обработки изображения. В результате сенсор дает хорошие результаты по вертикальному и горизонтальному разрешениям, к которым человеческий глаз наиболее восприимчив.

Разработанный Fuji новый тип сенсора казался революционным, поскольку заявляемое разрешение камер было в два раза больше, чем реальное количество элементов матрицы. Но на деле Fuji просто интерполировала изображение, пользуясь лучшей разрешающей способностью по вертикали и горизонтали (то есть реальное изображение подвергалось «инфляции»).

Компания Fuji Photo Film также пыталась исправить недостатки обычных сенсоров при воспроизведении высококонтрастных изображений, содержащих и темные и светлые области. Обычно при фотографировании в темных областях падает детальность, а в светлых происходит засветка, в результате которой часть изображения приобретает однородный светлый тон. В конструкции матрицы Super CCD последнего поколения для решения этой проблемы используются парные фотодиоды, расположенные в виде двойных ячеек (две соты в одной). Компания Fuji Photo Film утверждает, что благодаря этому матрица может работать с приходящим лучом света любой интенсивности, что значительно расширяет динамический диапазон и широту экспозиции фотоаппарата. Один из фотодиодов каждой пары настроен на высокую светочувствительность, а второй - на низкую. Формально это означает возможность фотографировать даже при самом неблагоприятном освещении, причем на снимках должны быть хорошо проработаны мельчайшие детали как в ярко освещенных, так и в затемненных участках кадра - то есть должно быть достигнуто то, чего не хватает при съемке цифровой фотокамерой с традиционной CCD-матрицей. Однако на практике при низкой освещенности чуда не происходит, хотя, по уверениям компании, так называемая SR-матрица позволяет в четыре раза повысить динамический диапазон по сравнению с одинарным фотодиодом. Реально в этой SR-матрице одна половина сенсоров (большие S-pixel) отвечает за чувствительность (Sensitivity), а другая (маленькие S-pixel) - за диапазон (Range). Вообще-то, такие матрицы следует условно называть N+N-пиксельными, хотя компания Fuji Photo Film настаивает на удвоении размерности в своих фотоаппаратах - 2xN.

Таким образом, не меняя общей технологии применения цветных фильтров, компания Fuji Photo Film реализовала в матрицах Super CCD компромиссное решение по обеспечению наиболее сбалансированных характеристик, повысила чувствительность своих матриц и почти в четыре раза расширила динамический диапазон.

Технология Fuji Super CCD является интересной альтернативой для камер, обеспечивающих (пусть и хитростью) высокое разрешение по приемлемой цене. Причем данная технология сегодня вполне отработана и ее качество не вызывает нареканий.

«Честный» пиксел Foveon X3

Несколько лет назад американская компания Foveon (http://www.foveon.com) объявила, что ею разработан принципиально новый сенсор для цифровых камер, который наконец-то позволит им приблизиться по качеству изображения к пленочным. Сейчас, спустя определенное время, хотя технология Foveon продвигается на рынок с большим трудом, но специалисты по-прежнему считают, что она может оказать серьезное влияние на цифровую фотографию.

Суть нового сенсора заключается в том, что он позволяет регистрировать все три цветовые составляющие изображения одновременно в каждом пикселе. То есть делает то, что доступно только аппаратам с тремя матрицами, при применении лишь одного светочувствительного массива и безо всяких фильтров. Таким образом, фотография, сделанная этим сенсором, несет в три раза больше реальной информации, чем сделанная обычной матрицей с таким же общим числом пикселов. А если применить к этому снимку те же интерполяционные алгоритмы, что и к байеровскому, то по качеству изображения он будет аналогичен полученному с ПЗС-матрицы, у которой в три раза больше пикселов!

Для того чтобы выделить из падающего света основные спектральные составляющие, в матрице Foveon X3 используются оптические свойства кремния - материала, из которого изготавливается вся электроника, в том числе и сенсоры. Дело в том, что кремний по-разному поглощает свет разной длины волны (то есть разного цветового тона). Максимум поглощения для синего цвета находится на глубине порядка 0,2 микрона от поверхности кремниевого кристалла, для зеленого эта глубина составляет 0,6 микрона, а для красного - около 2 микрон. То есть различные цветовые составляющие проникают в кристалл на разную глубину, причем характерные глубины этого проникновения вполне соответствуют современным технологическим процессам. В результате для регистрации света удалось применить трехслойную полупроводниковую структуру, причем глубина залегания р-n-переходов (которые в данном случае выполняют роль фотодиодов) как раз подобрана с учетом максимумов поглощения соответствующего цветового тона. Естественно, при реализации возникает масса нюансов, но общая идея довольно проста и красива.

К сожалению, без ответа пока остается множество вопросов, связанных с реализацией этой технологии. Да, снимки, полученные с помощью сенсора Foveon X3, по детализации превосходят те, которые дают обычные матрицы. Но чувствительность матрицы невысока, и при недостатке освещения «шумы» получаются слишком сильными. Свет, проходя через слои кремния, частично поглощается каждым из них, а в результате нижний слой недополучает информацию. Кроме того, в матрице Foveon X3 обнаружился эффект «перетекания», когда свет с переэкспонированного слоя протекает на соседний. Одним словом, технология Foveon еще недостаточно отработана и потребуются значительные усовершенствования, прежде чем она сумеет полностью вытеснить матрицы с шаблоном Байера с рынка цифровых сенсоров.

С нетерпением ожидается появление моделей камер компании Sigma с матрицами Foveon X3 нового поколения - SD14 и DP1. Однако компания Sigma в очередной раз отложила их выход. Первоначально предполагалось выпустить SD14 в ноябре 2006 года, затем срок был перенесен на декабрь, а теперь компания объявила о том, что в рознице эта модель появится лишь в марте 2007-го. Объясняя причины задержки, представитель Sigma сообщил, что в этой камере была обнаружена некая проблема, проявляющаяся редко и лишь при определенных обстоятельствах. Долгое время ее пытались преодолеть путем корректировки прошивки, но в конце концов пришли к выводу о необходимости внесения аппаратных изменений.

Тем не менее перспективы данной технологии очевидны, и, скорее всего, в недалеком будущем она все-таки получит распространение на рынке цифровых камер.

Много шума из ничего

Сейчас цифровая фотография привлекает повышенное внимание пользователей, поэтому каждая новость в этой области может показаться революционной. Однако на пути даже действительно передовых технологий вроде Foveon встречаются такие трудности, что оптимистичное отношение к ним постепенно сходит на нет. Что же говорить о технологиях-однодневках?

Например, недавно во многих СМИ появилась новость о чудесной однопиксельной камере, которую разработал ученый Ричард Баранюк из Хьюстонского университета. Сообщалось, что это изобретение противоречит существующим тенденциям увеличения количества элементов в фотоматрицах для улучшения изображения и может привести к появлению камер с существенно более высокими, чем у современных моделей, характеристиками и принципиально новыми возможностями на одном пикселе. В реальности все, конечно, оказалось гораздо скромнее (http://www.dsp.ece.rice.edu/cs/cscamera/). Собственно, ученые попытались воспользоваться известными принципами, заложенными в проекторах DLP (Digital Light Processing), где изображения проецируются на экран с помощью отражения света, управляемого цифровой микросхемой с матрицей микрозеркал DMD (Digital Micromirror Device) - прецизионной матрицей «переключателей света», состоящей из нескольких сотен тысяч независимо управляемых, поворачивающихся зеркал-пикселов на кремниевой подложке. То есть ученый просто предлагает заменить в цифровом фотоаппарате матрицу фотоэлементов на матрицу управляемых зеркал с одним фотодатчиком.

DLP-системы, наверное, могут обеспечить высококонтрастное изображение, но вряд ли эта технология когда-нибудь будет применяться в цифровых фотоаппаратах. А вот, скажем, решать задачи распознавания образов, сопровождения движущихся объектов, целенаведения и прочего такие приборы, скорее всего, смогут. Если, конечно, на разработку данной концепции даст денег соответствующее ведомство. Ведь здесь явно открываются широкие возможности пошаговой детализации изображения и минимизации передаваемой информации.

Вместо заключения

Спрос на цифровые фотоаппараты в России увеличивается с каждым годом. Так, девять из десяти продаваемых сегодня в нашей стране фотокамер - цифровые.

Укрепление рынка цифровых фотокамер происходит во всем мире. По некоторым прогнозам, в 2008 году на мировой рынок будет поставлено 111 млн фотокамер. Между тем это цифры весьма приблизительные, поскольку только тайваньские производители цифровых камер заявляют, что в 2007 году выпустят свыше 100 млн камер.

Крупнейшими поставщиками цифровых фотоаппаратов на мировом рынке в настоящее время являются компании Canon, Hewlett-Packard, Kodak, Olympus и Sony. Однако не исключено, что до конца 2007 года появится ряд новых вендоров.

Среди ведущих мировых рынков эксперты называют Китай, Индию и Бразилию, Россию, а также некоторые страны Латинской Америки. Наибольшей популярностью в вышеупомянутых регионах пользуются не слишком дорогие модели (от 99 до 199 долл.). А вот в США, Европе и Японии продажи начнут снижаться. Здесь потребители будут искать замену уже имеющимся у них аппаратам и покупать более высокотехнологичные камеры.

По прогнозам аналитиков, насыщение рынков Восточной Европы, Латинской Америки и Азиатско-Тихоокеанского региона наступит не ранее 2010 года. Таким образом, в ближайшие годы на этих рынках продолжится рост продаж цифровых фотокамер. Более того, высказывается предположение, что к тому времени именно в Азиатско-Тихоокеанском регионе будут наблюдаться наибольшие продажи фотокамер в количественном выражении. В России также прогнозируется спрос на камеры с дорогой оптикой и мощной матрицей, например на зеркальные цифровые фотокамеры. Сегодня российский рынок цифровых фотоаппаратов еще далек от насыщения, поэтому на нем могут вполне комфортно сосуществовать все крупные вендоры. Однако эксперты предупреждают, что расслабляться не стоит. Выиграет тот, кто первым предложит более совершенные и интересные модели фотокамер.

Кажись, Фуджа-то наигралась с экзотическим байером:)

А давайте-ка сегодня поговорим немного о системах цветоразделения и вариантах байера - история интересная.

Вообще самый качественный вариант цветоразделения - 3 матрицы с дихроической призмой - 3CCD . Здесь и далее картинки натырены из Википедии.

Активно применялся и применяется в видеокамерах. Для фотокамер этот способ малоприменим - дело в том, что практически невозможно чисто механически совместить три изображения на трех отдельных сенсорах настолько точно, чтобы получить разрешение хотя бы в несколько мегапикселей. Кроме того, конструкция получается довольно громоздкой. Поэтому решение используется только в видеокамерах.

Второй вариант - многослойные сенсоры, которые по структуре в чем-то имитируют цветную фотопленку. Самый известный пример - сигмовский X3 Foveon . Принцип действия такого сенсора основан на том, что свет с разными длинами волн проникает в кремний на разную глубину.

Поскольку нет мозаики байеровского фильтра, то не нужна интерполяция, и разрешение картинки получается по-настоящему честным.
Но у фовеона свои проблемы, в частности искажение цвета из-за метода цветоразделения, особенно в красном канале, который на сенсоре лежит в самом низу, и до него доходят лучи, искаженные предыдущими двумя слоями. Все эти искажения приходится исправлять с помощью матричных профилей, из-за чего сильно растут шумы, деградирует картинка.
Камеры Sigma достаточно дороги и в целом коммерческим успехом не пользуются. Хотя у Фовеона множество приверженцев-энтузиастов.

Третий и самый популярный вариант - классический байеровский фильтр и его вариации.
Принцип действия фильтра прост - поверх ячеек лежит мозаика из цветных фильтров, пропускающих лучи разного цвета. Получается три ЧБ канала, каждый из которых отражает яркость лучей, прошедших через свой цветной фильтр. При обработке вся эта информация из трёх черно-белых каналов интерполируется в конечное цветное изображение.

На самом деле, можно считать, что у байера четыре канала, потому что зеленых ячеек вдвое больше, чем красных или синих. Это связано с тем, что зеленый канал наиболее важен для человеческого зрительного аппарата и несет для нас наиболее полезную яркостную информацию. Тогда как синий и красный каналы по сути являются цветоразностными.
У байера есть свои недостатки. В первую очередь это недостаточное цветовое разрешение итоговой картинки - поскольку она всегда является плодом интерполяции. Сейчас RAW-конвертеры научились более-менее сносно интерполировать недостающую информацию, однако все равно тот же 4-мегапиксельный Фовеон по разрешающей способности приравнивают к 10-мегапиксельному байеру - и не зря. Простейшую геометрию не обманешь никакими алгоритмами. Поэтому пришлось наращивать мегапиксели и упираться в дифракцию.

В разное время в истории развития цифровых камер появлялись разного рода "экзотические" вариации байеровского фильтра.

Например, в начале 2000-х Sony сделала вариант RGBE (E for Emerald), где половина зеленых ячеек заменена изумрудными:

Вроде бы как это позволило значительно улучшить цветопередачу и приблизить ее к тому, как цвет воспринимается человеческим глазом.
Рассматривая семплы со знаменитой в свое время камеры Sony F-828, в принципе я могу сказать, что цвет у нее неплохой, но принципиальных отличий от современных камеры с обычным байером я не вижу, если честно.

Технология RGBE использовалась Сони недолго, и они вернулись к улучшению традиционного байера.

В конце 90-х также появились сенсоры с байером, основанном на инвертированном наборе первичных цветов - CYGM (cyan, yello, green, magenta). Вот оказывается даже такое было.

Использовались такие сенсоры в некоторых компактах Кэнона и Никона, а также у Кодака, на рубеже 90-х и 2000-х годов.
Основной плюс такого фильтра в том, что он очевидно более "прозрачен", чем классический байеровский. То есть его светопропускание значительно выше, значит можно увеличить чувствительность сенсора и расширить динамический диапазон.
Но все это происходит в ущерб качеству цветоразделения, поскольку каждый фильтр пропускает сравнительно широкую полосу спектра, и разделить соседние оттенки при этом довольно трудно.
Поэтому фотографии с таких камер получались довольно "тухлые" по цвету, и даже агрессивная обработка тут не помогала - что матрица не захватила, то можно только нафантазировать.

Эта технология по вполне понятным причинам тоже долго не прожила.

За несколько лет до своего банкротства в 2007-м году Кодак успел запатентовать еще один вид байера, где половина зеленых ячеек были сделаны совершенно прозрачными. В нескольких вариациях.

Ячейки без фильтров должны по идее улучшить общую чувствительность сенсора.
Пошли такие сенсоры в какие-то реальные модели камер или не пошли - мне лично не известно. Скорее всего на их основе делаются высокочувствительные сенсоры специального назначения.

В течение почти десяти лет Фуджи делала камеры на основе собственной технологии байера "EXR" в нескольких вариациях.

Ячейки в таком сенсоре расположены по диагонали, что позволяет объединять соседние ячейки одного цвета для получения большей чувствительности. Кроме того, при таком расположении ячеек возможны более сложные структуры, позволяющие часть ячеек экспонировать сильнее, а другую часть - слабее, получая больший динамический диапазон.
На основе технологии Фуджи сделали два вида сенсоров CCD (SuperCCD), в которых за счет такой структуры не только повышается разрешение, но и за счет дополнительных маленьких ячеек с низкой чувствительностью можно получить расширенный динамический диапазон.

SuperCCD продержался аж до 2010 года в разных моделях камер Фуджи, но позже все равно уступил место BSI (back side illuminated) CMOS, но с диагональным байером.

Проблема любого байеровского фильтра в том, что он склонен после интерполяции давать цветной муар на периодических структурах. По сути это биение частот, а цветной рисунок возникает как раз именно из-за чередования цветных ячеек на байере. Чтобы уменьшить этот эффект, в 90% камер перед сенсором ставят специальный фильтр "АА" (anti alias), который по сути размывает изображение. Естественно при этом сильно теряется и без того невысокое разрешение изображений, получаемых путем интерполяции, но зато в какой-то степени уходит муар.

Поэтому Фуджи придумали особый вид байера X-Trans CMOS, который якобы должен уменьшить возможность появления муара и позволить безбоязненно делать сенсоры без АА-фильтра. Новый байер выглядит вот так:

Такая мозаика байеровского фильтра, по мнению Фуджи, должна давать большее яркостное и цветовое разрешение, препятствовать появлению муара и давать более "пленочное" зерно за счет того, что в каждом ряду ячеек теперь есть все три цвета, а их расположение как бы более хаотичное, подобно зерну на пленке.
Муара на таком сенсоре действительно не будет, но что касается разрешения, то вопрос крайне спорный.
Ведь, если задуматься, на классическом байере зеленые ячейки, дающие основную яркостную информацию, расположены более "равномерно", не сгруппированы в крупные квадраты 2х2, и, соответственно, яркостное разрешение должно быть несколько выше.

На самом деле, чисто на практике никаких особых преимуществ перед обычным байером X-Trans не показал. В целом разрешающая способность такого сенсора примерно на уровне традиционных аналогов, никакого особого "теплого лампового зерна" я не заметил.
А вот при обработке RAW-файлы с экзотического байера доставляют головную боль. Дело в том, что поначалу вообще ни один конвертер, кроме родного фуджевского, адекватно не интерпретировал такую мозаику. Да и позднее, когда тот же Adobe сделали апдейт и улучшили интерполяцию, результат ничем не лучше обычного байера, а может быть в каких-то ситуациях даже и хуже.
Лично я обращал внимание на отчетливую "пунктирность" всяких вертикальных элементов изображения - очевидно, из-за крупных 2х2 зеленых ячеек.

Кстати, та же самая ситуация наблюдается с их старым SuperCCD, который до сих пор никто толком не умеет правильно интерполировать.

Так получается, что традиционный байер пока что дает самый надежный и удобный для интерпретации результат, проверенный временем.
Возможно именно поэтому Фуджи сейчас на беззеркальной камере нижнего сегмента решила обкатать свежий сенсор с обычным байером, безо всяких выкрутас. Наигрались?

Байеровская схема цветных светофильтров матрицы названа так в честь доктора Брайса Э. Байера (Bryce Bayer), научного сотрудника компании Kodak, кoтoрый в 1976 году запатентовал свою систему фильтров.

Фильтр Байера состоит из четырех светофильтров, которые расположены в следующем порядке: 1-й ряд - R-G, 2-й ряд - G-B, см. рис.1.

Рис.1. Байеровская схема расположения светофильтров.

Байеровская схема расположения цветных светофильтров в матрице.

Эту схему называют GRGB (зеленый - красный - зеленый - синий) или RGBG (чтобы подчеркнуть диагональное расположение красного и синего фильтров). Такая схема расположения фильтров называется аддитивной Байеровской схемой .

Фильтр Байера содержит 25% красных светофильтров, 25% – синих и 50% – зеленых.

Получается, что зеленых светофильтров больше, чем красных и синих. В чем причина такого расположения фильтров? Дело в том, что человеческое зрение более восприимчиво к зеленому цвету, пoэтoмy увеличение числа элементов чувствительных к этому цвету, а соответственно увеличение чувствительности матрицы в этой области спектра соответствует особенностям человеческого зрения. Второй причиной является тот факт что и ПЗС-элементы матрицы тaкжe более чувствительны к зеленому цвету.

В результате матрица выглядит кaк мозаика, состоящая из отдельных цветов, а кaк же получается цветная картина?

Для получения цветного изображения необходимо в каждом пикселе установить цвет, соответствующий действительности. Этим занимается электроника фотоаппарата, которая производит интерполяцию цветов. (Интерполяция известна в математике, где она используется для получения величин, значения, которых не определены, а получаются вычислением некого среднего значения из сравнения c рядом расположенными).

Как работает алгоритм интерполяции в расчете цвета конкретной ячейки? Возьмем к примеру ячейку c зеленым светофильтром. В такой ячейке получается информация только о яркости зеленой составляющей света. Однако в соседних пикселах, окружающих данный зеленый имеется пара пикселей синего цвета и пара - красного. Вычисляются средние значения каждого из этих цветов и считается, что эти средние значения соответствуют реальным величинам каждой составляющей света для данной ячейки. (В действительности эти величины если и будут отличаться от реальных то весьма незначительно, для глаза совершенно незаметно.) Затем вычисленные значения цветов красного и синего добавляются к зеленому и получается реальный цвет данного пиксела.

Однако если при расчете интерполяции использовать только близлежащие элементы, то такой расчет оказывается недостаточно точным и приводит к искажениям изображения в виде цветного муара. В идеале для расчета необходимо учитывать более 10 точек. Но при этом резко возрастают требования к процессору фотокамеры и к увеличению объема запоминающего устройства (ОЗУ).

Для того, чтобы уменьшить объем вычислительных ресурсов фотокамеры, была разработана так называемая модифицированная Байеровская схема. В этой схеме в качестве опорной группы используются не 4 элемента, а 12 или 24 (см. рис. 2) . Расположены эти элементы псевдослучайным образом, что уменьшает склонность к диагональному муару.

Рис.2. Модифицированная Байеровская схема расположения светофильтров.

Правда в этом случае расположение элементов должно храниться в памяти вычислительного устройства и использоваться при восстановлении цвета.

Кроме описанных Байеровских схем используется тaкжe субтрактивная Байеровская схема. Она использует цветовую модель CMYG (голубой-пурпурный-желтый-зеленый). В данном случае к обычной модели CMYK добавлен еще зеленый цвет по причинам описанным выше (повышенная чувствительность глаза к зеленому цвету и более высокая чувствительность ПЗС-элемента).

В некоторых случаях в этой схеме половину зеленых элементов заменяют сине-зелеными, отличающимися более темным оттенком, чем голубой (cyan) цвет.

Причины применения таких схем Байеровских фильтров заключаются в технологии создания светофильтра в матрице. А фильтры эти создаются путем напыления тонких пленок нa поверхность пиксела. Пленки создаются из CMYK красителей. Для создания фильтра RGB-модели необходимо напылять по две пленки: для создания красного светофильтра необходимо использовать красители пурпурный и желтый, для создания синего - пурпурный и голубой, для зеленого - желтый и голубой (См. рис.3)

Рис.3. Цветовая модель CMYK.

Использование модели CMYK позволяет обходиться однoй пленкой, что пoвышaeт светопроницаемость фильтра и спoсoбствyeт повышению чувствительности матрицы. Правда в данном случае повышается сложность расчета цветов, получаемых такими матрицами, кроме того следует учесть, что c помощью RGB-модели мoжнo получить больше оттенков, чем в модели CMYK.

Для лучшего понимания того, что же такое фильтр Байера, просмотрите рисунки, представленные ниже.

Из всeгo сказанного выше становится ясно, что в отличие от пленочной фотографии, где изображение получается в результате объективных физико-химических процессов, протекающих в пленке, фотобумаге и т.д., цифровая фотография является плодом обработки цифровыми устройствами, то есть продуктом электроники.

Справочники