Науката зад многокадровото изображение със супер разделителна способност

Разбиране на основите на супер разделителната способност

Образът със супер разделителна способност (SR) има за цел да създаде изображение с висока разделителна способност (HR) от едно или повече изображения с ниска разделителна способност (LR). Традиционните SR методи често разчитат на техники с едно изображение, като използват предишни познания и научени модели за извеждане на детайли с висока честота. Многокадровата супер разделителна способност обаче предлага ясно предимство, като използва разнообразието от налична информация в множество изображения.

Ключовият принцип е, че всяко LR изображение улавя малко по-различна перспектива или извадка от сцената поради фактори като изместване на субпиксели, движение или вариации в шума на сензора. Чрез внимателно регистриране и сливане на тези изображения, алгоритъмът може ефективно да попълни липсващата информация и да реконструира по-подробно изображение на HR.

Подходът с множество кадри: използване на разнообразието от изображения

✨ Multi-frame SR използва концепцията за разнообразие на изображенията, за да преодолее ограниченията на единичния SR. Разнообразието на изображенията възниква от фините вариации между кадрите с ниска разделителна способност, като например леки промени в гледната точка, замъгляване на движението или различни шумови модели. Тези вариации, макар и на пръв поглед незначителни, предоставят важна допълнителна информация, която може да се използва за реконструиране на изображение с по-висока разделителна способност.

Помислете за сценарий, при който камера заснема поредица от изображения на статичен обект. Поради леки вибрации или движения на камерата, всяко изображение ще бъде леко изместено спрямо останалите. Тези подпикселни измествания, дори и само част от пиксела, осигуряват различни проби от основната сцена.

Ключови стъпки в многокадровата супер разделителна способност

Процесът на многокадрова супер разделителна способност обикновено включва няколко ключови стъпки, всяка от които играе решаваща роля за крайния резултат. Тези стъпки включват регистриране на изображението, оценка на движението, сливане на изображението и премахване на замъгляване/отстраняване на шума. Всяка стъпка трябва да се изпълнява внимателно за оптимални резултати.

1. Регистрация на изображение

📍 Регистрирането на изображения е процес на подравняване на изображения с ниска разделителна способност към обща референтна рамка. Това е критична стъпка, тъй като точното подравняване е от съществено значение за правилното сливане на изображенията. Процесът на регистриране обикновено включва оценка на геометричната трансформация (напр. транслация, ротация, мащабиране), която картографира всяко LR изображение към референтното изображение.

Могат да се използват различни техники за регистриране на изображението, включително методи, базирани на функции, методи, базирани на интензитет, и фазова корелация. Методите, базирани на характеристики, включват извличане на отличителни характеристики (напр. ъгли, ръбове) от изображенията и съпоставянето им за оценка на трансформацията.

2. Оценка на движението

Оценката на движението е тясно свързана с регистрацията на изображението и включва определяне на векторите на движение между изображенията с ниска разделителна способност. Това е особено важно, когато сцената съдържа движещи се обекти или когато камерата е подложена на сложно движение. Прецизната оценка на движението позволява подходяща компенсация на тези движения по време на процеса на сливане на изображението.

Алгоритмите за оптичен поток обикновено се използват за оценка на движението, които оценяват видимото движение на пикселите между последователни кадри. Тези алгоритми анализират промените в интензитета на изображението във времето, за да определят векторите на движение.

3. Обединяване на изображения

➕ Обединяването на изображения е процес на комбиниране на регистрираните изображения с ниска разделителна способност за създаване на изображение с по-висока разделителна способност. Тази стъпка използва допълнителната информация, присъстваща във всяко изображение, за да попълни липсващите детайли и да намали шума. Процесът на синтез може да се извърши с помощта на различни техники, включително претеглено осредняване, оценка на максималната вероятност и байесови методи.

Претегленото осредняване включва присвояване на различни тегла на всяко LR изображение въз основа на неговото качество или надеждност. Оценката на максималната вероятност има за цел да намери HR изображението, което е най-вероятно да е произвело наблюдаваните LR изображения. Байесовите методи включват предварителни знания за имиджа на човешките ресурси, за да подобрят процеса на реконструкция.

4. Размазване и обезшумяване

Реконструираното изображение с висока разделителна способност все още може да страда от замъгляване и шум поради несъвършенства в системата за изображения или наличието на шум в изображенията с ниска разделителна способност. Поради това техниките за премахване на замъгляване и обезшумяване често се прилагат като последна стъпка за подобряване на визуалното качество на изображението.

Алгоритмите за премахване на замъгляване имат за цел да премахнат артефактите на замъгляване, причинени от функцията за разпространение на точки на системата за изображения. Алгоритмите за премахване на шума имат за цел да намалят нивата на шум в изображението, като същевременно запазят важните детайли.

Математическа формулировка

Проблемът със супер разделителната способност на множество кадри може да бъде математически формулиран по следния начин: даден набор от изображения с ниска разделителна способност ( y_i ), където ( i = 1, 2,…, N ), целта е да се оцени изображението с висока разделителна способност ( x ). Всяко изображение с ниска разделителна способност е свързано с изображението с висока разделителна способност чрез модел на деградация:

( y_i = D_i B_i H_i x + n_i )

където:

• ( x ) е желаното изображение с висока разделителна способност.
• ( y_i ) е ( i )-тото изображение с ниска разделителна способност.
• ( H_i ) представлява геометричната трансформация (напр. транслация, ротация), която подравнява ( i )-то LR изображение спрямо HR мрежата.
• ( B_i ) представлява оператора за замъгляване.
• ( D_i ) представлява оператора за намаляване на дискретизацията.
• ( n_i ) представлява шума в ( i )-то LR изображение.

Целта е да се намери оценка на ( x ), която минимизира разликата между наблюдаваните изображения с ниска разделителна способност и прогнозираните изображения с ниска разделителна способност въз основа на модела на деградация. Това може да се постигне с помощта на различни техники за оптимизация, като оценка на най-малките квадрати или максимална апостериорна оценка.

Приложения на многокадрова супер разделителна способност

🚀 Многокадровата супер разделителна способност има широк спектър от приложения в различни области. Тези приложения се възползват от подобреното качество на изображението и детайлите, предоставени от тази техника. По-долу са дадени няколко ключови примера.

• Медицински изображения: Подобряване на разделителната способност на медицински изображения (напр. MRI, CT сканиране) за по-добра диагностика и планиране на лечение.
• Наблюдение: Подобряване на яснотата на записите за наблюдение за подобрено разпознаване и идентификация на обекти.
• Дистанционно наблюдение: Повишаване на разделителната способност на сателитните изображения за по-добър мониторинг на околната среда и управление на ресурсите.
• Астрономия: Реконструиране на изображения с висока разделителна способност на небесни обекти от множество наблюдения.
• Подобряване на видео: Подобряване на визуалното качество на видеоклиповете чрез увеличаване на разделителната способност и намаляване на шума.