Navigation

Neuartige Bildaufnahmesysteme

Neuartige Bildaufnahmesysteme

Bevor Bilder und Videos verarbeitet und analysiert werden können, muss in einem ersten Schritt das erforderliche Material aufgezeichnet bzw. verbessert oder rekonstruiert werden. Dazu sind im ersten Abschnitt die Themen am Lehrstuhl zur Bildaufnahme gesammelt, insbesondere die Aufnahme und Verarbeitung multispektraler Daten und die Aufnahme mit Mehrkamerasystemen. Durch die Messung von spektralen Komponenten, z.B. UV oder IR, lassen sich für das menschliche Auge verborgene Informationen sichtbar machen. Kommen bei der Aufnahme von Bildern und Videos mehrere Kameras zum Einsatz, so lassen sich stereoskopische Anwendungen entwickeln.
Im dritten Abschnitt wird die Bildrekonstruktion näher betrachtet. Dabei wird zum Einen ein neuartiges Sensorkonzept (unregelmäßige Abtastung) und zum Anderen die Umtastung von Bildern erläutert.
Zum Abschluss wird im letzten Abschnitt das Augenmerk auf die Bildverbesserung gelegt. Dort ist insbesondere die Verschleierung und Rekonstruktion von fehlenden Bildbereichen gezeigt.


Bildaufnahme

Hyperspektrale Bildgebung

Ihr Ansprechpartner
Nils Genser, M.Sc.
E-Mail: nils.genser@fau.de
Link zur Person

Die Aufnahme hyperspektraler Bilddaten gewinnt zunehmend für Anwendungen in der Bild- und Videosignalverarbeitung an Bedeutung. So werden zum Beispiel in modernen biometrischen Sicherheitssystemen hyperspektrale Aufnahmen verwendet, um die Identität von Personen zu prüfen. Auch in der Landwirtschaft und in der Medizin werden laufend neue Ansätze veröffentlicht, bei denen zum Beispiel durch hyperspektrale Bildaufnahmen der Gesundheitszustand von Pflanzen und Menschen erfasst werden kann.

Am Lehrstuhl beschäftigen wir uns unter anderem mit innovativen Systemen zur Aufnahme von hyperspektralen Bildern und Videos. Außerdem wird die Rekonstruktion von hyperspektralen Daten und deren effiziente Codierung näher erforscht. Die folgenden Aufnahmen zeigen welche Informationen mit Hilfe hyperspektraler Aufnahmen sichtbar gemacht werden können (für vergrößerte Ansicht bitte Bilder anklicken). Das Aufnahmesystem und die zugehörigen Algorithmen wurden am Lehrstuhl entwickelt.

Spektrale Rekonstruktion

Ihr Ansprechpartner
Frank Sippel, M.Sc.
E-Mail: frank.sippel@fau.de
Link zur Person

Die Benutzung von multi- und hyperspektalen Aufnahmesystemen (siehe oben) führt zu weiteren Herausforderungen. Für eine Vielzahl and Anwendungen sind die reflektierten Spektren essenzielle Informationen, um klassifizieren zu können. Demnach ist die Rekonstruktion der emittierten Spektren aus multispektralen Aufnahmen eine fundamentale Berechnung. Diese Berechnung beinhaltet diverse Fragestellungen. Üblicherweise werden mehr Variablen rekonstruiert als Beobachtungen zur Verfügung stehen. Um das zu lösen, muss man Vorkenntnisse über Spektren einarbeiten. Außerdem sind multispektrale Videos, z.B. stelle man sich eine Drohne, die über Felder fliegt und die Gesundheit von Pflanzen misst, vor, typischerweise stark verrauscht, da jedes einzelne Bild nur eine begrenzte Belichtungszeit hat. Dementsprechend müssen spektrale Rekonstruktionstechniken entwickelt werden, die robust gegenüber verrauschten Bildern arbeiten. Die Anwendungen von so einer Technik sind extrem vielseitig. Zum Beispiel können verschiedene Plastikarten unterschieden werden, Medikamentenfälschungen erkannt werden, oder Sicherheitsmerkmale auf Geldscheinen analysiert werden:

Rekonstruierte Spektren (die Farbe der Marker enspricht der Farbe der Spektren) Rekonstruierte Bilder an bestimmten Wellenlängen

 

Bildrekonstruktion

Rekonstruktion unregelmäßig abgetasteter Daten

Ihr Ansprechpartner
Simon Grosche, M.Sc.
E-Mail: simon.grosche@fau.de
Link zur Person

Mit Hilfe der Frequenzselektiven Rekonstruktion (FSR) können Bilder anhand von wenigen, unregelmäßig abgetasteten Bildpunkten rekonstruiert werden. Hierbei handelt es sich um ein Problem des Compressed Sensing. Gegenüber regelmäßiger Abtastung kommt es zu einem reduzierten Aliasing, wodurch nach geeigneter Rekonstruktion eine höhere Bildqualität möglich ist.

Eine mögliche Anwendung der unregelmäßigen Abtastung ist das sogenannte 1/4-Sampling. Hierbei wird ein Kamerasensor mit regelmäßig angeordneten Pixeln teilweise maskiert, so dass ein unregelmäßiges Abtastmuster entsteht. Unter Verwendung einer dünn besetzen Repräsentation kann mit Hilfe der FSR ein hochaufgelöstes Bild rekonstruiert werden.

Diagramm zum 1/4-Sampling

 

Beispiel für die Rekonstruktion unregelmäßig abgetasteter Bilddaten beim 1/4-Sampling

Hochaufgelöstes Referenzbild
(218 Pixel)
Niedrig Aufgelöster Sensor
(216 Pixel)
1/4-Sampling Sensor
(216 Pixel)
Rekonstruiertes, hochaufgelöstes Bild
Am Besten die vergrößerte Version der Bilder betrachten, da zusätzliches Aliasing aufgrund von Skalierung auftreten kann.

Um die Leistungsfähigkeit der Frequenzselektiven Rekonstruktion auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.

Bildumtastung

Ihre Ansprechpartnerin
Viktoria Heimann, M.Sc.
E-Mail: viktoria.heimann@fau.de
Link zur Person

Digitale Bilder können als reguläre zweidimensionale Gitter angenommen werden. Wird ein digitales Bild nun in irgendeiner Weise transformiert, so werden die Bildpunkte auf beliebige Koordinatenpositionen verschoben. Dies bedeutet, dass die Punkte weder effizient in einer Matrix gespeichert werden können, noch ist es möglich Bilpunkte an nicht ganzzahligen Positionen auf einem digitalen Bildschirm anzusehen. Um diese Probleme zu lösen, müssen an beliebigen Stellen liegende Bildpunkte auf ein Gitter an ganzzahligen Koordinaten interpoliert werden. Wir verwenden hierfür die frequenzselektive Bildumtastung. Wie bei der oben bereits erläuterten frequenzselektiven Rekonstruktion, wird hier ebenfalls ausgenutzt, dass Bilder im Frequenzbereich dünnbesetzt sind. Durch Wahl und Überlagerung geeigneter Basisfunktionen kann dann das Bild an beliebigen Stellen rekonstruiert werden und so auf einem digitalen Bildschirm dargestellt werden. Mögliche Anwendungen für die frequenzselektive Bildumtastung sind beispielsweise affine und projektive Abbildungen, wie die unten gezeigte Bildrotation, aber auch örtliche und zeitliche Auflösungserhöhungen, Super-Resolution und Frame-Rate Up-Conversion und viele weitere mehr.

Beispiel für die Rotation eines Bildes um einen beliebigen Winkel.

Bildverbesserung

Fehlerverschleierung von Bilddaten

Ihre Ansprechpartner
Nils Genser, M.Sc.
E-Mail: nils.genser@fau.de
Link zur Person
PD Dr.-Ing. habil. Jürgen Seiler
E-Mail: juergen.seiler@fau.de
Link zur Person

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

 

Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild Gestörtes Bild Verschleiertes Bild

 

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2000

1998

1997

1993