Hallo Matthias,
ja, sicher ist die Behauptung CNNs können keine mathematischen Probleme lösen falsch. Da habe ich mich undeutlich ausgedrückt. Und es stimmt auch, dass auch der Richardson Lucy Probleme hat durch den Fakt, dass es ein schlecht gestelltes Problem ist. Die Folge sind Artefakte. Mein Kollege Rainer arbeitet genau auf dem Gebiet, was in deinem verlinkten Paper gezeigt wird, nämlich der medizinischen Bildgebung. Mit ihm hättest du einen weit besseren Gesprächspartner als mit mir, aber ihm geht immer schnell die Pumpe bei dem Thema
Er hat mal einen Test gemacht. M13 vom HST als Ground Truth, geblurred und verrauscht (so wie es RC auch selber beschreibt). Dann darauf den BxT angewendet. Man erkennt deutlich, dass BxT halluziniert. Der BxT generiert offensichtlich Sterne aus dem Rauschen. Meiner Meinung nach ist das was anders, wie ein Artefakt durch ein schlecht gestelltes Problem. Ich muss Rainer fragen, ob ich das hier zeigen darf oder vielleicht mag er sich doch selber auch zu Wort melden.
Russel Croman schreibt in der Anleitung zum BxT unter Punkt 3.4 und 3.5 ja einiges zu der Problematik. Ich sehe mich nicht in der Lage das zu kontern, da gibt es weitaus berufenere Menschen. Aber die Frage ob das, was der BxT mach nun wirklich eine deconvolution ist, oder ob es lediglich eine sehr plausible Antwort gibt, die ist meines Erachtens schon erlaubt.
CS Frank
Weil Frank mich ins Spiel gebracht, möchte ich kraft meiner Ausbildung und beruflichen Expertise (dazu weiter unten mehr) noch ein wenig Senf dazugeben.
Es macht sehr wohl einen Unterschied, ob a) eine klassische Lösung eines inversen Problems aufgrund von generischen Annahmen in der sogenannten Regularisierung (oder allgemein einem zur Konvergenz notwendigen Prior Knowledge-Term) lokal zu einem S/N-abhängigen Verhalten führt, oder b) ein KI-Algorithmus aufgrund einer trainierten Klassifizierung von Stern- und Nicht-Stern-Inhalt (das sogar laut Herstellerangaben) im Output Sterne mit perfekter Punktbildfunktion (PSF) synthetisiert. Und genau das macht der BlurXTerminator (BXT).
Der Fall a) demonstriert genau die Limitationen eines inversen Problems mit Nullstellen im (Vorwärts-)Filter und der Anwesenheit von Rauschen. Der Fall b) ist offensichtlich generatives Verhalten, was durch Fehlklassifikation zu Manipulation der Information führen kann - exakt das sind Halluzinationen eines Deep Learning (DL)-basierten Algorithmus.
Die
scheinbare Stärke von DL bei der Rekonstruktion von Informationslücken liegt in der Tatsache, dass das CNN mathematisch einem extrem komplexen Prior Knowledge entspricht. Dies führt zu sehr plausiblen Ergebnissen, die – weil sie so realistisch aussehen – ohne einen Vergleich gegen eine Ground Truth schwer anfechtbar sind. Beeindruckend und plausibel ist aber nicht richtig! Nur die Mühe macht sich bedauerlicherweise in der Regel keiner, wenn die Ergebnisse „hübsch“ genug sind und zudem die Anwendung so bequem ist.
Sowohl die Fehlklassifikation (=Halluzination) als auch die Synthese von Sternen lässt sich bei den R.C. Astro-Tools mit einem einfachen Experiment an einem Kugelsternhaufen nachweisen. Dazu hatte ich für eine Konferenz des Max-Planck-Instituts für extraterrestrische Physik vor zwei Wochen ein paar Folien erstellt (Auszug der Präsentation angehängt). Ausgangspunkt ist ein aus Amateur-Sicht „unendlich scharfes“ Bild des Zentrums von M13, aus dem durch Verunschärfung ein realistisches inverses Problem mit bekannter Ground Truth konstruiert wird.
Der Fall ist deswegen eine Herausforderung, weil die reale Sterndichte durch die reduzierte Auflösung zu einer Überlagerung der verunschärften Einzelsterne führt, die nach der Abtastung mit diskreten Pixeln nicht mehr von Rauschen zu unterscheiden sind. Kein Algorithmus der Welt kann also dieses Problem lösen. Während eine klassische Deconvolution in diesen Bereichen natürlich dort auch nichts rekonstruieren kann, generiert der BXT jedoch Einzelsterne mit perfekter PSF im Falle isoliert liegender Sterne und an Schwerpunkten solcher durch Überlagerung entstandener Cluster. Das sind Merkmale generativer KI und im Vergleich mit der Ground Truth eindeutig Halluzinationen. Im übrigen benötigt es dafür keine explizit generative KI (z.G. GANs oder Diffusion Models), sondern auch ein primitives U-Net kann im Decoder generativ agieren. Das gilt auch für den „correct only“ mode, der keine physikalische Korrektur von Koma etc., sondern ebenso eine Synthese von perfekten PSFs ist.
Dass die Klassifizierung von Sternen und Nicht-Stern-Inhalt als Basis der Synthese schief gehen kann – auch wieder mit dem obigen Argument der Überlagerung von Sternen jenseits der Auflösungsgrenze – sieht man beeindruckend am StarXTerminator (am Ende der Folien). Sterne und Hintergrund trennen, und dann separat strecken und Bearbeiten ist also genauso eine Propagation von Halluzinationen der KI.
Ich höre leider oft Sätze wie „beindruckend, was dieser Algorithmus aus den Daten herausholt“. NEIN: Algorithmen, die scheinbar fundamentale Grundsätze der Signaltheorie aushebeln, holen nicht mehr aus den Daten heraus, sondern interpretieren mehr hinein. Die vermeintlich überlegene Leistung ist Raten auf Basis von trainierten Wahrscheinlichkeiten, was qualitativ sehr wohl ein Unterschied zu generischen Annahmen ist, die man der klassischen Lösung eines inversen Problems macht.
Wer das bezweifelt behauptet effektiv, eine KI könnte lernen, durch Beobachtung eines Würfels den nächsten Wurf vorherzusagen. Eine KI kann zwar lernen, sich „wie ein echter“ Würfel zu verhalten (das ist Plausibilität) und sich damit ähnlich zum Turing-Test ununterscheidbar von einem echten Würfel zu machen. Aber niemals kann das Verhalten eines bestimmen Würfels modelliert werden. Das Pendant zum Würfel sind hier beim inversen Problem das Rauschen und die Nullstellen im Filter.
Theoretisch könnte man mit Fleiß erreichen, dass ein DL-Algorithmus generalisiert und „nur“ dasselbe erreicht wie eine klassischen Deconvolution, aber genau dann ist der Wow-Effekt dieser Algorithmen nicht mehr vorhanden. Jede (scheinbare) Überschreitung der Grenzen der Gesetze der Informationstheorie funktioniert nur durch starke Annahmen, die das Gegenteil der Extraktion von Information aus den Daten darstellen, also Information hineindichten (in beide Richtungen: generieren oder entfernen). Und es kommt in der Theorie zu großen CNNs noch schlimmer: diese sognannte Generalisierung ist sogar unmöglich zu beweisen. CNNs haben einen unbeschränkten Fehlerkorridor, d.h. jeder Test auf Basis von endlichen Datenmengen ist kein Beweis, dass Halluzination nicht auftreten können. Bei den hier diskutierten Astro-AI-Tools stellt sich diese Frage aber gar nicht, weil man offensichtlich Halluzinationen provozieren kann.
Ich bin als Physiker seit über 25 Jahren professionell in der Signalverarbeitung (Medizintechnik / Computertomographie) tätig, deswegen tief in diesem Thema drin. Dort reden wir nicht über Pretty Pictures, sondern über zwingend erforderliche Datenintegrität. Jede Erzeugung von Bildern auf Basis von trainierten Wahrscheinlichkeiten wird zwangsläufig dazu führen, dass genau die Abweichung von der Norm (= der relevante Befund in der Medizin) manipuliert wird.
Meine Erfahrung in Signaltheorie und das spezielle Einsatzgebiet sind der Grund, warum ich mich hier so herauslehne und für eine kritischere Sicht auf KI-basierte Algorithmen plädiere, wenn es um Datenintegrität geht. Die Qualität an der Quelle (intrinsische Schärfe und Rauschminimierung durch dunklen Himmel und genügend Belichtungszeit) ist die einzige Möglichkeit, Auflösung und Tiefe real zu bekommen. Beides kann nicht „berechnet“ werden, sondern nur kosmetisch mit mehr oder weniger Bezug zu den ursprünglichen Daten beschönigt werden. Wie oben dargelegt, wird der Bezug zu den Originaldaten mit KI-Algorithmen in der Regel reduziert, da viel stärkere , trainierte Annahmen eingehen.
Natürlich darf jeder mit seinen Astrobildern machen, was er will, aber ich finde, dass das Wissen über qualitative Unterschiede zwischen verschiedenen Verfahren wichtig ist. Nur dann kann man mit Fug und Recht sagen, dass das Ergebnis „mein“ Bild ist und nicht das Ergebnis eines manipulativen Prozesses. Tragisch finde ich, dass sich jeder an den polierten Bildeindruck gewöhnt hat und man ohne Benutzung eigentlich keine Chance mehr hat, wahrgenommen zu werden. Dabei zeigen viele der auf einschlägigen Plattformen prämierten Bilder auch ohne Vergleich mit einer Ground Truth klare Halluzinationen. Offenbar stört das aber keinen, was mir sehr unverständlich ist.
