Физика усиления резкости цифровой фотографии

[SergeyGubanov]

Для начала приведу немного сведений "из букваря" для введения в тему...

Функция $a(x, y)$ - замыленное изображение (яркость какого-либо из RGB каналов) получаемое нами из фотоаппарата (из 48 битного TIFF файла). Функция $b(x, y)$ - истинное изображение, то которое без замыленности, она нам не известна. В линейном случае замыленное изображение получается из истинного изображения действием на него некоторого линейного интегрального оператора с ядром $C(x, y)$ - функцией конволюции:

$$ a(x, y) = \int C(x - x', y-y') \, b(x', y') \, dx' dy' $$

Мы хотим избавится от замыленности. Для этого предполагаем существование обратного оператора с ядром $D(x, y)$ - функцией деконволюции

$$ \int D(x - x', y-y') \, C(x' - x'', y'-y'') \, dx' dy' = \delta(x - x'') \delta(y - y'') $$

Тогда истинное изображение можно получить подействовав оператором деконволюции на известное нам замыленное изображение:

$$ b(x, y) = \int D(x - x', y-y') \, a(x', y') \, dx' dy' $$

Настоятельно рекомендую взглянуть на примеры из справочной системы программы Mathematica: http://reference.wolfram.com/mathematic ... volve.html

Замыленность бывает разная, в общем случае оператор конволюции $C(x, y)$ не то что не известен, а вообще может не иметь обратного.

На этом сведения из букваря заканчиваются и начинается моя самодеятельность...

Надо придумать какую-то физическую модель из которой можно было бы вывести ядро оператора замыливания $C(x, y)$. Понятно, что функция $C(x, y)$ должна зависеть только от расстояния между пикселями $r = \sqrt{x^2 + y^2}$. Я было предположил, что она должна быть Гауссовой $C(x, y) = g^{x^2+y^2}$. Оказалось, что нет, Гауссова не годится. Я уже совсем собирался бросить с этим возиться, но решил ещё проверить просто экспоненту:

$$ C(x, y) = g^{\sqrt{x^2 + y^2}}. $$

И это, внезапно, сработало.

В голову приходит следующая физическая картина мира. От точечного источника, в идеальном случае должного отобразится в 1 центральный пиксель, в "замыленном случае" получается некоторое пятно по следующему закону. В центральный пиксель попадает некоторое количество света - $N$ фотонов. В соседние пиксели находящиеся от него на расстоянии 1 попадает ещё по $g N$ фотонов (при $g=0.33$ это ж почти треть). В пиксели находящиеся на расстоянии 2 попадает $g^2 N$ фотонов, на расстоянии 3 попадает $g^3 N$ фотонов и так далее.

Так вот, чего-то мне, почему-то, не очень сильно вериться в описанную картину мира. Возможно никакой физики тут нет, а просто производитель моего фотоаппарата (Nikon D7100) для каких-то целей использует неотключаемый шумодав или антиалиасный фильтр, который как раз и работает по формуле $C(x, y) = g^{\sqrt{x^2 + y^2}}$ и именно его я и задеконволюшил...

Кто что думает по этому поводу?

За функцией $C(x, y) = g^{\sqrt{x^2 + y^2}}$ скрывается какая-то физика или же это просто разумная деятельность производителя фотоаппарата?

Пример

Оригинальное изображение 100% кроп без обработки. Nikon D7100, 18-55 VR, стиль нейтральный (в нём все параметры выставил в ноль), шумодав отключен, ADL отключен, вобщем всё отключено. С помощью ViewNX2 превратил равку в tif (16 бит на цвет), затем tif подверг воздействию оператора обратного оператору с ядром $g^{\sqrt{x^2 + y^2}}$ с $g = 0.33$, при обращении оператора ограничился радиусом в 4 пикселя (матрица $9 \times 9$). Отнормировал получившееся изображение так чтобы средняя яркость исходного и конечного изображения сохранилась, при этом в пересвет уехало 1.06% пикселей.



Результат обработки:

[Portnov]

Первая картинка похожа больше не на результат шумодава, и не АА-фильтра, и не расфокуса — а на хроматические аберации при слишком широко открытой диафрагме. Снимали на открытой? Имхо, тут варианты: 1) слишком открытая диафрагма, 2) вообще мыльный экземпляр объектива, 3) всё-таки АА-фильтр.

[Pavia]

SergeyGubanov
Большинство цветных камера состоит из мозаичного фильтра. http://en.wikipedia.org/wiki/Bayer_filter И для восстановления изображения применяют интерполирование. Происходит это при конвертирование из RAW. А какой именно фильтр использовали при интерполирование это ещё загадка.
Возможно у вас применяли интерполирование сплайном 3-го порядка без усиления резкости.

Замечания касательно ваших формул. Они предполагают что фильтр на всём изображение одинаков. А в общем случае это не так. Фильтр может быть и адаптивным. Т.е коэффициенты многочлена могут рассчитываться для каждой локальной точки свои.
И скорее всего это так и есть в виду наличия муара.

[SergeyGubanov]

Portnov в сообщении #872680 писал(а):

Первая картинка похожа больше не на результат шумодава, и не АА-фильтра, и не расфокуса — а на хроматические аберации при слишком широко открытой диафрагме. Снимали на открытой? Имхо, тут варианты: 1) слишком открытая диафрагма, 2) вообще мыльный экземпляр объектива, 3) всё-таки АА-фильтр.

Да диафрагма максимально раскрыта при данном фокусном расстоянии (55mm, f/5.6) на данной модели объектива. С другой стороны f/5.6 это не вот уж какая открытая.

Да объектив мыльный, обычный китовый 18-55 VR.

C АА-фильтром не однозначно. Маркетологи в описании Nikon D7100 пишут, что фильтра нет: "Не задействуя оптический низкочастотный фильтр (OLPF), фотокамера D7100 по максимуму использует 24,1-мегапиксельную КМОП-матрицу формата DX для обеспечения впечатляюще высокого разрешения".

Короче, надо попробовать другой объектив...

Pavia в сообщении #872775 писал(а):

И скорее всего это так и есть в виду наличия муара.

Хмм...

[Pavia]

SergeyGubanov

SergeyGubanov в сообщении #873110 писал(а):

C АА-фильтром не однозначно. Маркетологи в описании Nikon D7100 пишут, что фильтра нет: "Не задействуя оптический низкочастотный фильтр (OLPF), фотокамера D7100 по максимуму использует 24,1-мегапиксельную КМОП-матрицу формата DX для обеспечения впечатляюще высокого разрешения".

Это маркетологи. Насколько знаю только Fujitsu отказывалась от мозаичного фильтра в пользу многослойного. При этом страдала цвета передача и что самое главное чувствительность. Так что думаю, что Nikon использовало более сложный алгоритмы восстановления нежели чем OLPF. К примеру http://www4.comp.polyu.edu.hk/~cslzhang ... oising.pdf

Но такое восстановление зашито в камеру. А когда вы обрабатываете фотку через стороннюю программу ViewNX2 то там могли применить и OLPF. Тем более если увеличить вашу картинку видны цветные артефакты. Правда их должно было быть больше, так что возможно что-то более приличное применили.

[SergeyGubanov]

Pavia в сообщении #873130 писал(а):

Но такое восстановление зашито в камеру. А когда вы обрабатываете фотку через стороннюю программу ViewNX2 то там могли применить и OLPF. Тем более если увеличить вашу картинку видны цветные артефакты. Правда их должно было быть больше, так что возможно что-то более приличное применили.

В каком смысле ViewNX2 сторонняя программа? А что надо тогда? CaptureNX?

(Ещё пара фоток)

55mm f/5.6

Исходное изображение (NEF $\to$ ViewNX2, 16bit на цвет TIFF $\to$ Фотошоп, 100% кроп 800x800):


Обработка оператором обратным оператору с ядром $C(x, y) = g^{\sqrt{x^2 + y^2}}$ при $g = 0.33$ (обращение выполнено с точностью до "радиуса" 4, то есть квадратными блоками 9x9 пикселей):

[Pavia]

SergeyGubanov
Фотоаппарат может сохранять в RAW, а может и сохранять (конвертировать) в TIFF, BMP, JPEG. А можно выполнять такое конвертирование сторонней программой, что вы и проделали.

[AlexLib]

SergeyGubanov, Вы не пробовали сфотографировать красно-черную (или зелено-черную) шахматную доску и посмотреть изображение в канале, в котором не должно быть сигнала (зеленого в первом случае и красного во втором) ?
Таким образом я проверял "утекание" света в соседние пикселы за счет неидеальности микролинз перед светочувствительной матрицей.
Это - еще один канал потери резкости.

[SergeyGubanov]

Pavia, мой фотоаппарат сам не умеет сохранять в TIFF или в BMP. Умеет только в NEF или JPEG.

AlexLib, а как такие доски сделать? Фломастерами нарисовать? Наверное трудно раздобыть такой фломастер, чтобы для моей камеры он в точности оказался чистого зелёного, красного или синего цвета.

Кстати, $g=0.33$ это я с потолка на глазок взял. При $g < 0.3$ изображение всё ещё мыльное. При $g > 0.4$ перешарп бросается в глаза. Просматривал шагами по 0.005. Если исходить из предположения, что это явление есть результат разумной деятельности производителя, то константа $g$ может быть равна чему-нибудь не совсем случайному, а, например, $g=e^{-1} = 0.368$. Картинка с $g \in [0.36 .. 0.37]$ получается на грани перешарпа.

[AlexLib]

SergeyGubanov
я клеил квадратики из цветной бумаги на цветной фон и фотографировал с подходящего расстояния
(для моей оптики - примерно метр): чтобы каждый квадрат был не меньше десятка пикселов в ширину.
Важна не чистота цвета "с точки зрения камеры" (она повлияет на контраст), а ширина границы перехода.

[DimaM]

AlexLib в сообщении #873212 писал(а):

Таким образом я проверял "утекание" света в соседние пикселы за счет неидеальности микролинз перед светочувствительной матрицей.
Это - еще один канал потери резкости.

Вряд ли дело в микролинзах. "Утекание света" неизбежно происходит при дебайеризации. Как именно, зависит от алгоритма (можно попробовать разные и посмотреть, насколько отличаются результаты).
Ну и АА-фильтр (если он есть), конечно, вносит вклад.

[Portnov]

SergeyGubanov в сообщении #873110 писал(а):

С другой стороны f/5.6 это не вот уж какая открытая.

Для данного объектива на данном фокусном — максимально открытая. Для бюджетных объективов это означает — слишком открытая. Типично для резкой картинки советуют прикрывать диафрагму как минимум на полстопа-стоп от максимально открытой, если только у вас не топовая оптика.

[Pavia]

DimaM

DimaM в сообщении #873886 писал(а):

Вряд ли дело в микролинзах.

У Nikon D7 (камера автора) матрица спроектирована так, что-бы утекание не происходило. Они подрезали линзы. А на предыдущем поколение утечки шли на "пустые" места. Вернее не совсем "пустые" там не фоточувстивтельнй слой, а транзистеры или провода.

Даже если предположить что микролинзы влияют только на соседние пикселы, то они при этом будут влиять на соседей менее чем на 0.1 а так как это пискелы с другим цветовым фильтром, то окончательное утекание 0.01-0.05 Что практически не различимо.

А вот что касается устранения мозаичности. Это верно с учётом что обычно применяют сплайн 3-стемени, то надо 3 точки а это с учётом пропусков матрица 6х6, а то и по более 9х9 .

А вот тряска от рук наиболее возможное и очевидное. Есть даже программы и алгоритмы которые восстанавливают движение руки и корректируют смаз по фотографии. Тут замыливание может иметь сколь угодно большую площадь фильтра.

Я думаю никто не будет спорить, что в первую очередь будет влиять и надо устранять, то что имеет наибольшее воздействие, т.е. наибольшей радиус.

И автору темы на заметку есть алгоритмы, которые сами находят ядро смаза, расфокусировки, демозаики.

[SergeyGubanov]

Вобщем, причиной замыленности оказался равконвертер ViewNX2. Проявка тех же самых NEF-файлов с помощью Photoshop CC дала более резкие TIFF-файлы. А остаточная нерезкость затем более-менее нормально лечится фотошопным же фильтром "умная резкость" с галкой "размытие при малой глубине".

Если кто-то захочет написать хорошую программу для подшарпливания, то ему нужно будет самому дебайеризовывать рав файлы, иначе, прежде чем дело дойдёт до физики, ему придётся сначала побороться с артефактами проявки возникающими в сторонних равконвертерах.

[DimaM]

SergeyGubanov в сообщении #876002 писал(а):

Если кто-то захочет написать хорошую программу для подшарпливания, то ему нужно будет самому дебайеризовывать рав файлы, иначе, прежде чем дело дойдёт до физики, ему придётся сначала побороться с артефактами проявки возникающими в сторонних равконвертерах.

Есть libraw и dcraw, там, насколько я знаю, заложено много алгоритмов дебайеризации, и пользователь может выбирать по вкусу.