Wie temporäre Hotpixel in Astrozeitraffern entfernen? | Astronomie.de - Der Treffpunkt für Astronomie

Wie temporäre Hotpixel in Astrozeitraffern entfernen?

Rainmaker

Mitglied
Hallo,

da ich gerade wieder mal ein paar Astrozeitraffer bearbeite mal die Frage an das allwissende Forum wie man am besten mit temporären Hotpixeln umgeht. Die Dinger sind halt bei DSLRs echt nervig, da man keine passenden Darks verwenden kann. Am Anfang ist oft noch nichts vorhanden, aber irgendwann kommen die Störpixel, oft nur für ein paar Bilder, aus dem Nichts und verschwinden oft auch wieder dahin. Alles Wegzustempeln ist bei den gegebenen Auflösungen leider alles andere als leicht, vom Zeitbedarf will ich gar nicht erst anfangen. Hat jemand eine Idee, wie man die Dinger effizient unsichtbar machen kann?


MfG

Rainmaker
 

Gerrit Erdt

Mitglied
Hallo Rainmaker,

Das gleiche Problem hatte ich auch schon öfter, allerdings bei DSO mit wenigen Bildern.

Erstmal versuche ich durch eine gute Kalibrierung mit Dark-Optimierung so viel wie möglich zu entfernen, das hilft schon mal viel beim nächsten Schritt.

Was dann noch übrig bleibt, entferne ich mit Hilfe von dem Tool CosmeticCorrection in Pixinsight. Damit kann man einstellen, ab wie vielen Standart Abweichungen ein Pixel retuschiert werden soll. Bei Dslr Bildern musst du auf die checkbox CFA Images achten.

In anderer Software weiß ich nicht genau, wie das geht, aber es gibt sicherlich auch da eine Option dafür, die Pixel nach Standart Abweichung zu filtern.

CS Gerrit
 

Rainmaker

Mitglied
Hallo Gerrit,

klappt das mit der Software auch, wenn sich der Bildhintergrund durch die Dämmerung sehr stark ändert? Wie schnell ist das Programm? Es geht hier immerhin um tausende von Bildern mit mehr als 30 Mpix.

In den üblichen Programmen für Zeitraffer habe ich so eine Hotpixelkosmetik noch nicht gefunden, deshalb habe ich mir was in AE zusammengeschustert. Das Funktioniert aber nur sehr bedingt, denn durch die festen Ebenenmodi kann leider die Empfindlichkeit nicht eingestellt werden.

Ein anderes Problem sind die sehr fetten Hotpixel. Bei der DSLR sind es ja keine einzelnen Pixel, sondern Cluster von etwa 5x5 Pixeln.

MfG

Rainmaker
 

Gerrit Erdt

Mitglied
Hm, der Hintergrund könnte zum Problem werden. Der Prozess beruht ja darauf, dass die Pixel ersetzt werden, die mehr als X Standardabweichungen nach oben, oder Y Standardabweichungen nach unten abweichen. Wenn der Himmel selbst einen Großteil der Standardabweichung im Bild ausmacht, könnte das Problematisch werden.

Die Performance ist, für meinen Geschmack, relativ gut. Es dauert aber halt schon ein bisschen für jeden Pixel zu bestimmen, wie viele Standardabweichungen er vom Median entfernt ist. Primär hängt das aber natürlich von der verwendeten Hardware ab. Bei 1000 Bildern würde ich aber schon mit etwa 5-8h rechnen, auf meinem Rechner mit Win 10, 32gb RAM, Ryzen 7 2700x und alter HDD. Vielleicht hilft dir das ja bei deiner Einschätzung.

Du kannst mir aber auch ein RAW-Bild zukommen lassen, am besten schon kalibriert, dann kann ich mal gucken, wie gut die CosmeticCorrection da so klappt. Der Hintergrund könnte da in der Tat zum Problem werden, da der im Bild doch sehr dominant sein dürfte.

CS Gerrit
 

Joschi

Mitglied
Hallo Rainmaker,

mit der Stapelverarbeitung von Fitswork könnte Dir geholfen werden.
Als erstes müssest Du ein paar Darkframes nachträglich erstellen, dabei drauf achten das die Sensortemperatur möglichst gleich ist.
Mit Fitswork wird daraus ein Masterdark erstellt.
Als zweiten Schritt ein Lighframe in Fitswork öffnen. Dann unter Bearbeiten/CCD/ Farb CCD zu RGB gehen.
Hier wird in der ersten Zeile Lineare Interpolation eingestellt. Als Bayer Pattern RGGB, alles andere deaktivieren.
Nach klick auf Generier Bild wird das debayerte Bild angezeigt, natürlich viel zu sehr gestretcht. Mit dem Histogramm selbst stretchen.
Ist das Ergebnis OK auf das Diskettensymbol klicken und die Einstellung speichern. Mit Abbrechen wird das Fenster geschlossen.
Nun die Stapelverarbeitung öffnen und unter Anfangsdatei den Ordner auswählen wo die Lights liegen und das erste Light anklicken.
Dabei bei Alle Dateien im Ordner ein Häkchen setzen. Als Zieldatei am besten einen extra Ordner erstellen.
Diesen Ordner auswählen, dabei wird der Name des ersten Lights angezeigt. Hier ist es ganz wichtig die Dateiendung auf TIFF umzustellen und ebenfalls bei Formate.
Anschließend auf den Pfeil auf der rechten Seite klicken zum zweiten Bearbeitungsschritt. Unter Funktionen auf Bild Subtrahieren klicken.
Im Auswahlfenster das Masterdark angeben und danach nochmal auf den Pfeil rechts klicken.
Unter Funktionen Farb-CCD zu RGB auswählen und die Einstellungsdatei auswählen.
Dann kann es mit Start losgehen!
Am besten Du probierst das erstmal mit ein paar Bildern ob alles funzt.
Ich hab das mal getestet, pro Bild (20Mp) dauerte es ca 3-4s, also ziemlich schnell.
Der Vorteil ist auch das die Darks vom Rohbild abgezogen werden.
Einziger Nachteil, die Exif's werden nicht übernommen.
Bei Fragen und ob es geklappt einfach melden.

VG Cl.-D.
 

Rainmaker

Mitglied
Hallo

@ Joshi,
mit dem Debayern in Fitswork ist mir leider so gar nicht geholfen, so bekomme ich zwar die "normalen" Hotpixel weg, aber die waren die wirklich das größte Problem. Mir geht es um Hotpixel die irgendwann in der Nacht auftauchen und vielleicht genau so schnell verschwinden.
Problematisch beim Wandeln in Fitswork ist besonders, dass ich so gut 3EV Dynamik in den Lichtern verliere, da Fitswork hier nicht die Regler bietet um die Belichtung wie gewünscht zu steuern.

@ Gerrit,
autsch, das wären auf meiner Möhre satte 40h Korrekturzeit bei einer sehr kurzen Nacht von nur 8h. Sorry, das muss warten bis ich einen schnelleren Rechenknecht habe, also noch rund 2,5 Jahre.


MfG

Rainmaker
 

Hoschie

Mitglied
Hi,
nur mal so eine Idee - das könnte man so ähnlich machen wie beim Stacken von Kometenaufnahmen.
D.h. Registerieren der (aller oder einiger benachbarter) Subs auf die Sterne, Hotpixel rausclippen, zurückregistrieren (bzw die Registrierung nicht weiter beachten), und mit einer Maske den Vordergrund wieder herstellen.
Ist aufwändig, und nicht bis in alle Datails durchdacht, aber prinzipiell machbar.

CS Hoschie
 
Zuletzt bearbeitet:

Joschi

Mitglied
Hallo

@ Joshi,
mit dem Debayern in Fitswork ist mir leider so gar nicht geholfen, so bekomme ich zwar die "normalen" Hotpixel weg, aber die waren die wirklich das größte Problem. Mir geht es um Hotpixel die irgendwann in der Nacht auftauchen und vielleicht genau so schnell verschwinden.
Problematisch beim Wandeln in Fitswork ist besonders, dass ich so gut 3EV Dynamik in den Lichtern verliere, da Fitswork hier nicht die Regler bietet um die Belichtung wie gewünscht zu steuern.

MfG

Rainmaker
ich würde es einfach mal versuchen..z.B. mit einer Sequenz wo so ein fetter Hotpixel auftaucht.
Mit der Dynamik und den Reglern kann ich Dir nicht folgen.:unsure: Hat Deine Kamera mehr wie 16Bit ?
Die Bearbeitung macht man doch in dem Programm zur Timelapse Erstellung.

VG Cl.-D.
 

Gerrit Erdt

Mitglied
Eine Idee hätte ich noch, eigentlich genau genommen sogar zwei ;)

Erstens, DSS kann ja eine hotpixel Korrektur, zusätzlich zum kalibrieren. Da kann man aich mit der Abweichung spielen wenn ich das richtig im Kopf habe. Und das Ergebnis kann exportiert werden. Das konnte also gehen.

Oder du nimmst ein bisschen die holzhammer Methode, und lässt einen stack machen, in dem du mit sigma clipping alle auffälligen Pixel entfernst. Ich weiß nicht ganz, wie es da in anderen Programmen aussieht, aber pixinsight gibt einem da immer so tolle rekection maps, da sieht man, was alles entfernt wurde. Und daraus könntest du eine Art dead Pixel map erstellen, und damit die einzelnen Bilder korrigieren.

Aber lange wird der Prozess auf jeden Fall dauern, das lässt sich bei so einer Menge an Bildern kaum vermeiden. Dafür sind das einfach zu viele Daten...

CS Gerrit
 

Rainmaker

Mitglied
Hallo

@ Hoschie,
ich denke es wird schon bei der Registrierung auf die Sterne scheitern, denn bei den kurzen Brennweiten der Zeitraffer gibt es da ja wegen der Änderung des Abbildungsmaßstabes schon üble Probleme. Durch die von mir verwendeten Fischaugen wird das Problem nochmals verstärkt, denn es kommt ja noch die erhebliche Kompression zum Bildrand hinzu.

@ Joschi,
was Du meinst ist wie fein die Digitalisierung durchgeführt wurde, bzw. wie fein die Unterschiede sind die das Bildformat zulässt. Mir aber geht es um den Helligkeitsumfang des Bildes selbst, das hat nur begrenzt etwas miteinander zu tun. Trotz 16bit oder 32bit pro Kanal könnte ich mit dem von dir genannten Weg nur einen deutlich geringeren Helligkeitsumfang im Bild erzielen, da die Tricksereien, welche die üblichen Raw-Konverter anwenden, hier nicht möglich sind.

@ Gerrit,
der erste Weg würde eine Raw-Wandlung in DSS verlangen, was die Probleme mit sich bringt die schon Joschis Weg hat.
Mit sigma-clip oder median alles auszuschließen was sich vom Durchschnitt entfernt ist eigentlich keine schlechte Idee. Das Problem ist nur der massive Helligkeitsunterschied. Am Anfang des Zeitraffers ist es fast noch taghell, am Ende ist es finster wie in einem Bären Ar... na Du weißt schon. Man würde also eine Art gleitendes Mittel benötigen. Das ist nicht so ganz einfach, aber prinzipell machbar. Schwieriger ist es dann diese Bilder in eine Form umzuwandeln, die nur noch die hochfrequenten Ausreißer zeigt, aber absolut nichts was auf sonstige Bilddetails zurückgeht. Hieran beiße ich mir im Moment noch die Zähne aus.


MfG

Rainmaker

PS: Ich bin die nächsten Tage möglicherweise weg, also nicht wundern, wenn ich nicht sofort antworte.
 

steffens

Mitglied
Hallo Rainmaker,

Ich würde es mal mit Siril versuchen. Kostet ja nichts, einen Versuch ist es also wert.
Das kann die Bilder normal kalibrieren und mit "kosmetischer Korrektur" auch Hotpixel entfernen. Außerdem kann es Dir die Bilder sogar auf gleiche Hintergrundhelligkeit normalisieren.
Dabei kannst Du so vorgehen:

  1. Dark-Frames und Light-Frames machen
    Auch wenn die Darks von der Temparatur nicht 100% passen helfen sie schon mal
  2. Die Darks im Tab "Umrechnung" in FITS konvertieren
  3. Im Tab "Stacking" die Methode "Durchschnittswert-Stacking mit Ausschluss" wählen, keine Normalisierung, "Winsorized Sigma Clipping"
    Damit die Darks zu einem Master-Dark stacken
  4. Die Lights im Tab "Umrechnung" in FITS Bilder konvertieren
  5. Im Tab "Pre-Processing" das Master-Dark auswählen, kosmetischer Korrektur einschalten
    Wenn Du möchtest, kannst Du hier auch gleich noch mit einem Master-Flat kalibrieren
    Unten das Häkchen "Vor dem Speichern der Bilder Debayern" setzen und los mit "Starte Pre-Processing".
    Es entsteht eine neue FITS Sequenz mit den kalibrierten Bildern, die jetzt zumindest deutlich weniger Hotpixel haben sollte.
  6. Wenn Du möchtest, kannst Du die Bilder der Sequenz schon in Siril strecken, z.B. mit Bildbearbeitung -> Histogramm Transformation. Die kannst Du auf die ganze Sequenz anwenden lassen.
  7. Zum Schluss kannst Du in den Tab "Sequenz" die Bilder als Video oder auch als 16-Bit Tiff zur weiteren Bearbeitung exportieren.
    Wenn Du dabei das Häkchen "Normalisiere Bilder" setzt, dann werden sie gleich auf gleiche Hintergrundhelligkeit gebracht.
    Einfach einen Namen und Ausgabeformat auswählen und dann auf "Export Sequenz" gehen.
Wenn irgendetwas unklar ist, einfach nachfragen.

Grüße und viel Erfolg,
Steffen
 

Rainmaker

Mitglied
Hallo,

@ Steffen,
der Weg scheint das gleiche Problem zu haben wie die bisher vorgeschlagenen Lösungen. Einmal schneidet er mich ab vom bisherigen Prozess der Rawverarbeitung, mit allen genannten Problemen, aber er löst auch nicht das eigentliche Problem mit den temporären Hotpixeln. Was nicht im davor oder danach aufgenommenen Dark drin ist wird auch nicht entfernt. Vielleicht habe ich aber auch nur den Vorschlag nicht ganz durchschaut.
Die automatische Streckung aus 6. und das Normalsieren aus 7. sind jedenfalls absolut tödlich für Zeitraffer. Das muss in jedem Fall händisch gemacht werden.

@ Wintergatan,
morphing kann sie nicht, aber da die Fehlpixel ja eher klein sind wäre es glaube auch nicht ganz so wichtig, denn sie ließen sich so mit einem Lowpassfilter unterdücken, womit man über den umgekehrten Weg die größeren Details, also die "Nichthotpixel", ausschließen könnte. Problematisch ist bei der ganzen Sache nur das SNR und die unzureichende Korrektur durch das lowpass gefilterte Original.


MfG

Rainmaker
 

steffens

Mitglied
@ Steffen,
der Weg scheint das gleiche Problem zu haben wie die bisher vorgeschlagenen Lösungen. Einmal schneidet er mich ab vom bisherigen Prozess der Rawverarbeitung, mit allen genannten Problemen
Da muss nicht sein, wenn Dein Bildbearbeitungsprogramm 16-Bit Tiffs verarbeiten kann. In Darktable beispielsweise kein Problem.
aber er löst auch nicht das eigentliche Problem mit den temporären Hotpixeln. Was nicht im davor oder danach aufgenommenen Dark drin ist wird auch nicht entfernt. Vielleicht habe ich aber auch nur den Vorschlag nicht ganz durchschaut.
Doch, die kosmetische Korrektur im Schritt 5 kümmert sich ja genau um die Hot-/Cold-Pixel. Auch um temporäre ;)
Die automatische Streckung aus 6. und das Normalsieren aus 7. sind jedenfalls absolut tödlich für Zeitraffer. Das muss in jedem Fall händisch gemacht werden.
Keine automatische Streckung. Du kannst mit dem Histogrammtool ein Bild strecken, bis es Dir gefällt, und dann diese Streckung auf alle Bilder der Sequenz anwenden. Das musst Du aber nicht in Siril machen, Du kannst es auch mit einem Programm Deiner Wahl mit den exportierten TIFFs machen.
Das Normalisieren ist nicht absolut tödlich, im Gegenteil. Es hilft, Flackern der Helligkeit auszugleichen. Das finde ich gerade hilfreich für Zeitraffer. Warum muss das händisch gemacht werden, und wie bringst Du manuell 1000 Bilder auf gleiches Helligkeitslevel?
 

Rainmaker

Mitglied
Hallo Steffen,

Leider taugt Darktable nicht so wirklich gut für Zeitraffer, da werden halt keine Sidecar-Dateien von anderer Software unterstützt, und die Subtraktion von Darks sorgt leider auch für ein ordentliches Ansteigen des Rauschens in den Tiefen. Meine Kameras sind schon recht alt, von daher würde ich diesen Schritt auch gern vermeiden.

O.k., sag mal ein klein wenig zur kosmetischen Korrektur und ihrer Wirkungsweise in diesem Programm. Wie werden dort Hotpixel erkannt und wie müssen die Bilder beschaffen sein, damit die Korrektur nicht Amok läuft und alles mögliche als Hotpixel erkennt. Wäre doch schade, wenn man anschließend eine wilde Maskenorgie in AE veranstalten müsste um die ganzen fehlkorrigierten Bereiche wieder auszuschließen.

O.k. keine automatische Streckung. Da nehme ich aber lieber die Streckungen im Konverter, denn da lassen sich mehrere nicht lineare Streckungen gleichzeitig durchführen. Für Bilder mit stark ungleichen Bildinhalten kommt man mit einer Normalisierung nicht so arg weit. In totaler Dunkelheit mag das noch angehen, aber da flackert eh wenig bis nichts. In der Dämmerung ist das eine ganz andere Nummer.
Ich bringe die Bilder gar nicht auf ein Helligkeitslevel, sondern ich sorge über eine handvoll Keyframes dafür, dass die Übergänge gleichförmig sind. Die Bildhelligkeit der Szene darf nicht nur schwanken, sie muss es auch. Bei Zeitraffern von Himmelsobjekten mit langen Brennweiten sieht das natürlich ganz anders aus, da wären Helligkeitsschwankungen eines fast statischen Objektes natürlich mehr als nur störend.


MfG

Rainmaker
 

steffens

Mitglied
Leider taugt Darktable nicht so wirklich gut für Zeitraffer, da werden halt keine Sidecar-Dateien von anderer Software unterstützt
O.k., sag mal ein klein wenig zur kosmetischen Korrektur und ihrer Wirkungsweise in diesem Programm. Wie werden dort Hotpixel erkannt
Kann ich Dir im Detail nicht beantworten.
Du kannst die Korrektur durch Angabe der Parameter Cold-Sigma und Hot-Sigma parametrisieren.
Siehe hier, Schritt 4. Wie gut Das mit Deinen Bildern funktioniert, musst Du selbst ausprobieren.

Darum ging es mir ja - Siril ist kostenlos, probier es doch einfach aus. Wenn es für Dich nicht passt, dann eben nicht.
Du wirst aber kein Programm finden, dass RAWs importiert, Hotpixel sauber entfernt, und dann wieder RAWs exportiert.
Entweder Dein favorisierter RAW-Konverter bekommt die Hotpixel selbst in den Griff, oder Du musst auf Spezial-(Astro)-Software zurückgreifen, die dann aber FITS oder TIFF ausgeben wird.
 

Rainmaker

Mitglied
Hallo Steffen,

Darktable kann im Rahmen des Konverterwechsels die sidecar-Dateien interpretieren, aber das bringt nicht so arg viel, denn die Interpretation entspricht nicht der des ursprünglichen Konverters. Ein Verändern und Neuschreiben von anderem sidecar-Dateien als den von Adobe wird im Moment von keinem der Zeitrafferprogramme unterstützt, leider.
Die Funktion Raws zu korrigieren und die korrigierten Raws wieder zu exportieren gab es mal und für Canon funktionierte das auch ganz leidlich, leider nicht für Nikon. Inzwischen ist die Entwicklung des Programmes aber leider eingestellt. Womit wir zu Siril kommen. Natürlich werde ich das irgendwann man ausprobieren, aber im Moment ist mein Rechner komplett mit Jobs für AE ausgelastet. Ich werde also jetzt nicht noch Programme installieren und dann auch noch nebenbei mal serienweise 180MB Tiffs korrigieren. Eine einzige kleine Pause von den AE-Jobs habe ich meinem Rechner gegönnt, damit er mir mal ein 360°-Filmchen verkleinert und komprimiert. Noch ein paar Terrabyte zu Stücken a 530MB verwursten und dann schaue ich mal was Siril macht ...


MfG

Rainmaker
 
Oben