Bildaufnahme

Hyperspektrale Bildgebung

Die Aufnahme hyperspektraler Bilddaten gewinnt zunehmend für Anwendungen in der Bild- und Videosignalverarbeitung an Bedeutung. So werden zum Beispiel in modernen biometrischen Sicherheitssystemen hyperspektrale Aufnahmen verwendet, um die Identität von Personen zu prüfen. Auch in der Landwirtschaft und in der Medizin werden laufend neue Ansätze veröffentlicht, bei denen zum Beispiel durch hyperspektrale Bildaufnahmen der Gesundheitszustand von Pflanzen und Menschen erfasst werden kann.

Am Lehrstuhl beschäftigen wir uns unter anderem mit innovativen Systemen zur Aufnahme von hyperspektralen Bildern und Videos. Außerdem wird die Rekonstruktion von hyperspektralen Daten und deren effiziente Codierung näher erforscht. Die folgenden Aufnahmen zeigen welche Informationen mit Hilfe hyperspektraler Aufnahmen sichtbar gemacht werden können (für vergrößerte Ansicht bitte Bilder anklicken). Das Aufnahmesystem und die zugehörigen Algorithmen wurden am Lehrstuhl entwickelt.

Multispektrale Aufnahmesysteme

Multispektrale Bildgebung

Kamera-Arrays finden zunehmend Anwendung in Bereichen wie der industriellen Qualitätskontrolle, der Fernerkundung oder der medizinischen Bildgebung. Ein besonders innovatives System, welches in der nachfolgenden Abbildung dargestellt ist, stellt ein neu entwickeltes Array dar, das aus neun Kameras sowie einer zusätzlichen SWIR-Einheit (Short-Wave Infrared) besteht. Durch vorgelagerte austauschbare Filter ermöglicht das Array die Erfassung von Wellenlängen im infraroten Bereich, die für das menschliche Auge unsichtbar sind. Werden drei beliebige Wellenlängen als roter, grüner und blauer Kanal überlagert, entsteht ein sogenanntes Falschfarbenbild, das Strukturen, die für das menschliche Auge nicht wahrnehmbar sind, sichtbar macht. Dieses Prinzip eröffnet somit vielseitige neue Einsatzmöglichkeiten, zum Beispiel beim Erkennen von Kunststoffen, zum Differenzieren von Gewebe, oder zur Erkennung von Druckstellen in Obst und Gemüse. Somit wird durch die hohe Sensordichte und die erweiterte Spektralempfindlichkeit eine Grundlage für präzisere und effizientere Analysen geschaffen.

Bildrekonstruktion

Rekonstruktion unregelmäßig abgetasteter Daten

Mit Hilfe der Frequenzselektiven Rekonstruktion (FSR) können Bilder anhand von wenigen, unregelmäßig abgetasteten Bildpunkten rekonstruiert werden. Hierbei handelt es sich um ein Problem des Compressed Sensing. Gegenüber regelmäßiger Abtastung kommt es zu einem reduzierten Aliasing, wodurch nach geeigneter Rekonstruktion eine höhere Bildqualität möglich ist.

Eine mögliche Anwendung der unregelmäßigen Abtastung ist das sogenannte 1/4-Sampling. Hierbei wird ein Kamerasensor mit regelmäßig angeordneten Pixeln teilweise maskiert, so dass ein unregelmäßiges Abtastmuster entsteht. Unter Verwendung einer dünn besetzen Repräsentation kann mit Hilfe der FSR ein hochaufgelöstes Bild rekonstruiert werden.

Beispiel für die Rekonstruktion unregelmäßig abgetasteter Bilddaten beim 1/4-Sampling

Hochaufgelöstes Referenzbild (218 Pixel)	Niedrig Aufgelöster Sensor (216 Pixel)	1/4-Sampling Sensor (216 Pixel)	Rekonstruiertes, hochaufgelöstes Bild
Am Besten die vergrößerte Version der Bilder betrachten, da zusätzliches Aliasing aufgrund von Skalierung auftreten kann.

Um die Leistungsfähigkeit der Frequenzselektiven Rekonstruktion auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.

Bildumtastung

Digitale Bilder können als reguläre zweidimensionale Gitter angenommen werden. Wird ein digitales Bild nun in irgendeiner Weise transformiert, so werden die Bildpunkte auf beliebige Koordinatenpositionen verschoben. Dies bedeutet, dass die Punkte weder effizient in einer Matrix gespeichert werden können, noch ist es möglich Bilpunkte an nicht ganzzahligen Positionen auf einem digitalen Bildschirm anzusehen. Um diese Probleme zu lösen, müssen an beliebigen Stellen liegende Bildpunkte auf ein Gitter an ganzzahligen Koordinaten interpoliert werden. Wir verwenden hierfür die frequenzselektive Bildumtastung. Wie bei der oben bereits erläuterten frequenzselektiven Rekonstruktion, wird hier ebenfalls ausgenutzt, dass Bilder im Frequenzbereich dünnbesetzt sind. Durch Wahl und Überlagerung geeigneter Basisfunktionen kann dann das Bild an beliebigen Stellen rekonstruiert werden und so auf einem digitalen Bildschirm dargestellt werden. Mögliche Anwendungen für die frequenzselektive Bildumtastung sind beispielsweise affine und projektive Abbildungen, wie die unten gezeigte Bildrotation, aber auch örtliche und zeitliche Auflösungserhöhungen, Super-Resolution und Frame-Rate Up-Conversion und viele weitere mehr.

Bildverbesserung

Fehlerverschleierung von Bilddaten

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild	Gestörtes Bild	Verschleiertes Bild

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir den Algorithmus hier als Gitlab Projekt zur Verfügung.