Fourier Neuraloperator-basierte Hyperprior für die lernbasierte Bildkompression

Beschreibung

Diese Arbeit untersucht eine verbesserte Entropiemodellierung für die lernbasierte Bildkompression unter Verwendung einer auf dem Fourier-Neural-Operator (FNO) basierenden Hyperprior. Lernbasierte Bildcodecs lassen sich als variationale Autoencoder (VAEs) betrachten, die ein Bild in eine kompakte latente Repräsentation kodieren und es im Decoder rekonstruieren. Zur Komprimierung wird diese latente Darstellung quantisiert und entropisch in einen Bitstrom kodiert. Beim Training wird ein Rate-Verzerrungs-Zielwert optimiert, der Bitrate und Rekonstruktionsqualität in Einklang bringt. Ein Hyperprior übermittelt kompakte Nebeninformationen über die Hauptlatente Darstellung und ermöglicht so ein genaueres bedingtes Wahrscheinlichkeitsmodell.

Der vorgeschlagene Ansatz ersetzt einen Teil der herkömmlichen konvolutionellen Hypersynthese-Transformation durch FNO-Blöcke. Konvolutionsebenen aggregieren Informationen aus lokalen Nachbarschaften und benötigen Tiefe, um weitreichende Abhängigkeiten zu erfassen; das FNO hingegen lernt einen Operator, der das hyperlatente Feld direkt auf die Entropiemodell-Parameterfelder $(\boldsymbol{\mu}(\cdot), \boldsymbol{\sigma}(\cdot))$  eines bedingten Gauß-Modells für das quantisierte Hauptlatentfeld $(\hat{\boldsymbol{y}})$ abbildet. Die Rate-Verzerrungs-Leistung wird mit bestehenden modelllernenden Bildkompressionsmodellen anhand von Metriken wie PSNR und MS-SSIM sowie Komplexitätsmetriken wie der Parameteranzahl und der Laufzeit verglichen. Ziel ist es, zu beurteilen, ob der FNO-basierte globale Kontext die Entropieabschätzung und die Kompressionsleistung verbessert.

⛶

Voarussetzungen

• Kurs „Bild- und Videokompression“
• Fließende Kenntnisse in der Python-Programmierung
• Berufserfahrung im Training von Deep Neural Networks
• Von Vorteil: Erfahrung mit lernbasierter Bildkodierung