Нашего мобильного приложения для iOS и Android, позволяющего оцифровывать бумажные фотографии одним только смартфоном. Одна из ключевых особенностей PhotoScan – возможность удалять блики с фотографий (их часто печатают на глянцевой, хорошо отражающей свет бумаге), а также со страниц пластиковых альбомов или фотографий под стеклом. Для этого мы разработали уникальное сочетание компьютерного зрения и технологии обработки изображений, которые могут точно совместить и скомбинировать несколько немного отличающихся снимков фотографии и отделить блик от самого изображения на фото.

По одному снимку очень сложно автоматически определить, какие участки изображения – это оригинальное фото, а какие – блик. Более того, блик может засветить участки фото, из-за чего будет невозможно восстановить ту его часть, что скрыта под бликом. Но если сделать несколько снимков фотографии, передвигая камеру, расположение блика меняется – он перемещается по разным участкам фото. В большинстве случаев каждый отдельный пиксель окажется не под бликом хотя бы на одном из снимков. И хотя ни один из снимков не будет лишён блика, мы можем скомбинировать несколько снимков распечатанного фото, сделанных под разными углами, и таким образом удалить блик. Сложность в том, что изображения необходимо очень точно совместить, чтобы они правильно комбинировались, и эта обработка должна выполняться на смартфоне достаточно быстро, чтобы получить эффект почти мгновенного результата.

Скрытый текст

Наша технология вдохновлялась нашей предыдущей работой, опубликованной на SIGGRAPH 2015 , которую мы назвали «фотографированием без помех» [obstruction-free photography ]. Она использует схожие принципы для удаления различных помех из поля зрения. Но первоначальный алгоритм был основан на порождающей модели, в которой оценивались движение и внешний вид основной сцены и помехи. Возможности этой модели велики, и она способна удалять самые разные помехи – но она слишком затратна с вычислительной точки зрения, чтобы её можно было использовать на смартфонах. Поэтому мы разработали упрощённую модель, относящуюся к блику как к некоей аномалии, и пытающуюся распознать лежащее под ним изображение. И хотя модель упрощена, это всё ещё очень сложная задача – распознавание должно быть точным и надёжным.

Как это работает

Мы начинаем с набора снимков фотографии, сделанных пользователем, передвигавшим камеру. Первый снимок – «опорный кадр» – определяет желаемый конечный вид снимка. Затем пользователю рекомендуют сделать четыре дополнительных снимка. В каждом кадре мы определяем ключевые точки (подсчитываем свойства ORB на углах, определённых при помощи алгоритма Харриса) и используем их для определения гомографий , сопоставляющих каждый последующий кадр с опорным.

Скрытый текст

Технология кажется прямолинейной, но у неё есть подвох – гомографии способны сопоставлять только плоские изображения. Но бумажные фотографии часто не плоские (как в примере вверху). Мы используем оптический поток – фундаментальное представление движения в компьютерном зрении, устанавливающее попиксельное соответствие между двумя изображениями, корректирующее отклонения от плоскости. Мы начинаем с кадров, выровненных при помощи гомографии, и подсчитываем «поля потоков» для выпрямления изображений и дальнейшей корректировки. Обратите внимание, как в примере ниже углы левой фотографии немного «двигаются» после определения кадров при помощи одной лишь гомографии. Справа видно, как фото лучше выровнялось после применения оптического потока.

Скрытый текст

Разница не сильно бросается в глаза, но ощутимо влияет на конечный результат. Обратите внимание, как небольшие несоответствия проявляют себя в виде дублированных фрагментов изображения, и как эти огрехи устраняются путём дополнительного уточнения при помощи потоков.

И в данном случае сложность была в том, чтобы заставить изначально медленно работающий алгоритм оптического потока быстрее работать на смартфоне. Вместо традиционного подсчёта потока для каждого пикселя (количество векторов равно количеству пикселей), мы строим поле потока по меньшему количеству контрольных точек, и записываем движение каждого пикселя в изображении как функцию движения контрольных точек. А именно, мы делим каждое изображение на непересекающиеся ячейки, формирующие крупнозернистую решётку, и представляем поток пикселя в отдельной ячейке как билинейную комбинацию потока и четырёх углов ячейки, его содержащей.

Тогда остаётся решить более простую задачу, поскольку количество векторов потока теперь равно количеству точек решётки, которых обычно сильно меньше, чем пикселей. Этот процесс схож с обработкой изображений при помощи сплайнов . С этим алгоритмом мы смогли уменьшить время вычисления оптического потока на телефоне Pixel примерно в 40 раз!

Скрытый текст

Наконец, чтобы создать итоговое изображение без блика, для каждого участка кадра мы берём значения пикселей и вычисляем «мягкий минимум», чтобы найти самый тёмный из вариантов. Конкретно, мы вычисляем ожидаемую минимальную яркость по имеющимся кадрам, и назначаем меньшие веса пикселям, находящимся ближе к изогнутым краям изображений. Мы используем этот метод вместо прямого вычисления минимума из-за того, что у одних и тех же пикселей в разных кадрах яркость может различаться. Попиксельный минимум может привести к появлению видимых стыков из-за резких изменений интенсивности на границах накладывающихся изображений.

Алгоритм способен работать в различных условиях сканирования – матовые и глянцевые фотографии, фотографии в альбомах и без них, обложки журналов.

Скрытый текст

Для подсчёта итогового результата наша команда разработала метод, автоматически определяющий границы изображения и приводящий его к прямоугольному виду. Из-за искажений перспективы отсканированное прямоугольное фото обычно превращается в непрямоугольный четырёхугольник. Метод анализирует сигналы изображений, цвет, края, чтобы выяснить, где проходят точные границы оригинального фото, а затем применяет геометрические преобразования для выпрямления изображения. В результате получается высококачественная цифровая версия бумажной фотографии без бликов.

В общем, много чего происходит под капотом, и всё это почти мгновенно работает на вашем телефоне! Попробовать PhotoScan можно, скачав версию приложения для или

Блик - это самый яркий участок oбъекта фото съёмки. Нежелательные блики на фотографии очень часто приводят к браку в фотосъёмке. Как вы могли выяснить из статьи , «правильные блики» помогают передать фактуру oбъeкта фото съёмки. В статье мы рассматривали влияние качества света на контраст готового снимка и объёмность объекта фото съёмки на плоском изображении - фотографии. Так же как и тень, передающая объем тела, блик является зависимым от качества света...

Контраст между нейтральным значением и бликом

При экспериментах со светом отражённым от экрана или потолка и стен помещения, не забывайте о правиле обратных квадратов, т.к. прежде чем достигнуть объект фото съемки свет пройдёт расстояние до стен и потолка, и только отразившись от них попадёт на объект фото съёмки. Поэтому, чтобы получить правильную экспозицию нейтрального тона вам придётся увеличить мощность фотовспышки и/или открыть диафрагму пошире.

Перемещение иcтoчника света

Поскольку перемещение источника света во время экспонирования кадра увеличивает его эффективный размер, то, точно так же как и с тенью, вы получите размытые границы блика. Однако, при съёмке глянцевых предметов необходимо учитывать, что блик от истoчника света отразиться как в зеркале. В зависимости от формы oбъeкта вместо большого блика (как от реального большого иcточника света) вы можете получить

Как настройки фотоаппарата влияют на блик

Диафрагма и фокусное расстояние объектива

Открытая диафрагма уменьшает глубину резкости объектов в кадре. Говоря о блике, рассмотрим его как один из объектов в кадре. Зависимость глубины резкости от размера отверстия диафрагмы (кстати и фокусного расстояния объектива тоже) будет влиять на границу блика так же как и на все друге объекты - т.е. при открытой диафрагме граница станет размытой, при закрытой наоборот, более чёткой и контрастной.

Расстояние от фотоаппарата до объекта фото съёмки

Поскольку при неизменном фокусном расстоянии объектива и неизменной величине диафрагмы объектива глубина резкости зависит от расстояния между камерой и объектом фото съёмки то и размытие границ блика будет больше при большей ГРИП. Т.е. при приближении фотоаппарата к объекту фото съемки блик будет более размытым и менее контрастным.

Зависимости, показывающие взаимосвязь размытия границ блика от настроек фотоаппарата и расстояния фотоаппарата до объeкта фото съёмки справедливы в том случае если точка фокусировки не совпадает с бликом. Между прочим, красивое боке получается, когда блики на заднем плане размыты из-за малой глубины резкости. Боке - это расфокусированные блики на заднем плане фотоснимка .

Поляризационный фильтр и блики

Независимо от характеристик источника света и настроек фотоаппарата, во время фотосъемки и позволяет уменьшить количество ярких бликов. Однако, следует помнить, что блики на металлических поверхностях поляризационный фильтр не убирает.

Блики объектива фотокамеры обычно появляются при избыточном освещении, когда лучи солнца или другого источника света через линзы попадают на матрицу. Их также могут создавать светоотражающие объекты при съемке с фотовспышкой. На практике это означает, что на снимках появляются яркие круги, мазки света или мерцающие линии, а также снижается их контрастность. Эта проблема возникает, как правило, при съемке на улице. Блики объектива могут полностью погубить фотографии или основательно их подпортить.

Выход естественно напрашивается сам – не снимать против солнца. Но даже если солнце в стороне, не исключается появление бликов на снимках. Для таких случаев предусмотрено приспособление под названием бленда. Бленда являет собой тонкостенную насадку цилиндрической, конической или пирамидальной конфигурации, которая навинчивается на объектив. Если бленды у вас нет, можно заслонить боковой свет листом картона или просто ладонью.

Фотоаппарат с блендой

Ещё одним вполне очевидным решением проблемы является такое построение композиции, при котором дерево, здания и т.д. заслоняют солнце. Можно также снимать с возвышенности сверху вниз или наоборот – снизу вверх. Это существенно меняет угол, под которым свет попадает в объектив. Выбор правильного фокусного расстояния тоже уменьшает блики. Кроме того существует целый ряд фильтров таких как теплый или, например, желтый фильтр, которые либо уменьшают количество света, поступающего в объектив, либо увеличивают контрастность изображения. А поляризационный фильтр, изготавливаемый из специального материала, блокирует отражение яркого света от таких поверхностей как, например, мокрого асфальта, воды, стекла и т.д.

Важно также понимать природу бликов. Образуются они внутри оптической системы фотокамеры и являются следствием внутреннего отражение света от самых линз. Поэтому чем проще объектив и чем меньше в нем линз, тем легче бликов избежать или, по крайней мере, минимизировать их количество. От качества оптики и от чистоты линз тоже многое зависит. Если вы снимаете в пыльных местах, не забывайте протирать внешнюю линзу.

При предварительном просмотре через видоискатель сложно определить, как будет выглядеть конечный снимок. Месторасположение бликов в кадре зависит от степени закрытости диафрагмы. Трудно избавиться от бликов, если в кадре находится источник света. Попробуйте менять установки диафрагмы. Различные значения установки диафрагмы, как правило, меняют количество бликов. Сделайте несколько пробных кадров и посмотрите результат. Снимайте при тех установках, которые минимизируют их количество. Довести снимок до приемлемого качества всегда можно на компьютере.

Блики – это головная боль фотографов, которые вынуждены снимать различные мероприятия в солнечный день. Что тут сказать – работа у них такая. В противовес им для креативных фотографов умение «играть» бликами создает невероятное поле для творческих экспериментов. Ведь если нельзя избавиться от неизбежного, можно научиться использовать его себе во благо.

by Joe Philipson

Надеюсь, статья оказалась для вас действительно полезной. Снимайте чаще, фантазируйте и делайте действительно красивые фотографии =)

Любите делать красивые снимки на свежем воздухе, но пока что ваши навыки и багаж знаний оставляют желать лучшего? Просто прочтите нашу статью о том, и отличные фотокарточки вам обеспечены =)

Для этого нам понадобится любой чёрно-белый жидкокристаллический дисплей подходящего размера: от тетриса, тамагочи, больших электронных часов, нерабочей записной книжки или настольного органайзера и т.п. Если не у вас, то обязательно у ваших друзей найдётся что-то подобное в барахле.

2 шаг

Наша задача – правильно разобрать дисплей, не царапая ничего. Для этого вы должны понимать, из чего он состоит:
1 – отражательная плёнка
2 – поляризационная плёнка
3 – двойное стекло с жидкими кристаллами
4 – ещё одна поляризационная плёнка

3 шаг

Разбираем . Приготовьте канцелярский нож, он должен быть новым, чистым и длинным. Предварительно прогрейте дисплей феном до хорошо тёплого, чтобы клей под поляризационной плёнкой стал мягче. Теперь заводим лезвие между слоем 3 и 4, начиная с угла, и медленно продвигаемся, прижимая плотно режущий край к стеклу, чтобы не повредить плёнку. Важно также не помять её в процессе отслоения. Очень велика вероятность порезаться , поэтому не спешите! Эта процедура займёт минут 5 – 10. Главное – не торопиться.

4 шаг

Очистка от клея . С помощью мягкой тряпочки и керосина (спирт хуже, но тоже можно) сначала хорошо намочите клеевую поверхность плёнки и прикройте целофаном на 5 минут – пусть клей сам раскисает. Затем можно аккуратно убрать весь клей. Не давите сильно – работает не тряпка, а растворитель.

5 шаг

Применение . Если имеется оправа или насадка для объектива – вырежьте из плёнки круг нужного размера и вставьте в неё – это идеальный вариант. Нужный эффект поляризации достигается вращением нашей насадки. А если у вас обычный цифровой аппарат с выезжающим объективом, то плёночку вам придётся вращать в руках, хотя для удобства можно сделать её круглой и даже вставить в оправу.

6 шаг

Из оставшегося стекла также можно сделать поляризационный фильтр. Для этого достаточно удалить отражательный слой 1 и почистить стекло от клея. Думаю, получится отлично, если оставить вообще слой 4 и 3 вместе, а всё остальное убрать, затем стекло с плёнкой обточить кругом алмазным точилом – так сохранится заводская прозрачность дисплея и идеальная ровность. В таком случае фильтр нужно использовать плёнкой – к фотоаппарату, стеклом – к улице.

Нашего мобильного приложения для iOS и Android, позволяющего оцифровывать бумажные фотографии одним только смартфоном. Одна из ключевых особенностей PhotoScan – возможность удалять блики с фотографий (их часто печатают на глянцевой, хорошо отражающей свет бумаге), а также со страниц пластиковых альбомов или фотографий под стеклом. Для этого мы разработали уникальное сочетание компьютерного зрения и технологии обработки изображений, которые могут точно совместить и скомбинировать несколько немного отличающихся снимков фотографии и отделить блик от самого изображения на фото.

По одному снимку очень сложно автоматически определить, какие участки изображения – это оригинальное фото, а какие – блик. Более того, блик может засветить участки фото, из-за чего будет невозможно восстановить ту его часть, что скрыта под бликом. Но если сделать несколько снимков фотографии, передвигая камеру, расположение блика меняется – он перемещается по разным участкам фото. В большинстве случаев каждый отдельный пиксель окажется не под бликом хотя бы на одном из снимков. И хотя ни один из снимков не будет лишён блика, мы можем скомбинировать несколько снимков распечатанного фото, сделанных под разными углами, и таким образом удалить блик. Сложность в том, что изображения необходимо очень точно совместить, чтобы они правильно комбинировались, и эта обработка должна выполняться на смартфоне достаточно быстро, чтобы получить эффект почти мгновенного результата.

Скрытый текст

Наша технология вдохновлялась нашей предыдущей работой, опубликованной на SIGGRAPH 2015 , которую мы назвали «фотографированием без помех» [obstruction-free photography ]. Она использует схожие принципы для удаления различных помех из поля зрения. Но первоначальный алгоритм был основан на порождающей модели, в которой оценивались движение и внешний вид основной сцены и помехи. Возможности этой модели велики, и она способна удалять самые разные помехи – но она слишком затратна с вычислительной точки зрения, чтобы её можно было использовать на смартфонах. Поэтому мы разработали упрощённую модель, относящуюся к блику как к некоей аномалии, и пытающуюся распознать лежащее под ним изображение. И хотя модель упрощена, это всё ещё очень сложная задача – распознавание должно быть точным и надёжным.

Как это работает

Мы начинаем с набора снимков фотографии, сделанных пользователем, передвигавшим камеру. Первый снимок – «опорный кадр» – определяет желаемый конечный вид снимка. Затем пользователю рекомендуют сделать четыре дополнительных снимка. В каждом кадре мы определяем ключевые точки (подсчитываем свойства ORB на углах, определённых при помощи алгоритма Харриса) и используем их для определения гомографий , сопоставляющих каждый последующий кадр с опорным.

Скрытый текст

Технология кажется прямолинейной, но у неё есть подвох – гомографии способны сопоставлять только плоские изображения. Но бумажные фотографии часто не плоские (как в примере вверху). Мы используем оптический поток – фундаментальное представление движения в компьютерном зрении, устанавливающее попиксельное соответствие между двумя изображениями, корректирующее отклонения от плоскости. Мы начинаем с кадров, выровненных при помощи гомографии, и подсчитываем «поля потоков» для выпрямления изображений и дальнейшей корректировки. Обратите внимание, как в примере ниже углы левой фотографии немного «двигаются» после определения кадров при помощи одной лишь гомографии. Справа видно, как фото лучше выровнялось после применения оптического потока.

Скрытый текст

Разница не сильно бросается в глаза, но ощутимо влияет на конечный результат. Обратите внимание, как небольшие несоответствия проявляют себя в виде дублированных фрагментов изображения, и как эти огрехи устраняются путём дополнительного уточнения при помощи потоков.

И в данном случае сложность была в том, чтобы заставить изначально медленно работающий алгоритм оптического потока быстрее работать на смартфоне. Вместо традиционного подсчёта потока для каждого пикселя (количество векторов равно количеству пикселей), мы строим поле потока по меньшему количеству контрольных точек, и записываем движение каждого пикселя в изображении как функцию движения контрольных точек. А именно, мы делим каждое изображение на непересекающиеся ячейки, формирующие крупнозернистую решётку, и представляем поток пикселя в отдельной ячейке как билинейную комбинацию потока и четырёх углов ячейки, его содержащей.

Тогда остаётся решить более простую задачу, поскольку количество векторов потока теперь равно количеству точек решётки, которых обычно сильно меньше, чем пикселей. Этот процесс схож с обработкой изображений при помощи сплайнов . С этим алгоритмом мы смогли уменьшить время вычисления оптического потока на телефоне Pixel примерно в 40 раз!

Скрытый текст

Наконец, чтобы создать итоговое изображение без блика, для каждого участка кадра мы берём значения пикселей и вычисляем «мягкий минимум», чтобы найти самый тёмный из вариантов. Конкретно, мы вычисляем ожидаемую минимальную яркость по имеющимся кадрам, и назначаем меньшие веса пикселям, находящимся ближе к изогнутым краям изображений. Мы используем этот метод вместо прямого вычисления минимума из-за того, что у одних и тех же пикселей в разных кадрах яркость может различаться. Попиксельный минимум может привести к появлению видимых стыков из-за резких изменений интенсивности на границах накладывающихся изображений.

Алгоритм способен работать в различных условиях сканирования – матовые и глянцевые фотографии, фотографии в альбомах и без них, обложки журналов.

Скрытый текст

Для подсчёта итогового результата наша команда разработала метод, автоматически определяющий границы изображения и приводящий его к прямоугольному виду. Из-за искажений перспективы отсканированное прямоугольное фото обычно превращается в непрямоугольный четырёхугольник. Метод анализирует сигналы изображений, цвет, края, чтобы выяснить, где проходят точные границы оригинального фото, а затем применяет геометрические преобразования для выпрямления изображения. В результате получается высококачественная цифровая версия бумажной фотографии без бликов.

В общем, много чего происходит под капотом, и всё это почти мгновенно работает на вашем телефоне! Попробовать PhotoScan можно, скачав версию приложения для или

Кадры