Stackingprobleme PixInsight

[BackyardImaging]

Hallo zusammen,

ich habe gestern Nacht ein paar Fotos geschossen - mir ging es im Wesentlichen erst einmal darum, mit der Ausrüstung zu üben. Insgesamt habe ich nur 71 Lights und ein paar Flats und Bias zur Korrektur.

Heute habe ich das Stacking in PixInsight probiert und bekam folgende Fehlermeldung:
"Warning: Incremental file reading disabled because of lack of file format support: RAW". Das WBPP-Skript wird allerdings ausgeführt, die Flats und Bias kalibiriert und die jeweils ein Master erstellt. Nur die Lights werden ignoriert.

Danach habe ich es in SiriL versucht. Dort wird das Stacking durchgeführt, allerdings mit folgender Meldung:

Im PI-Forum habe ich folgenden Thread gefunden:

Problems with PI 1.8.8.3

I am working with PI since several years. With the latest version 1.8.8.3 I am no more able, to process my images. When I start the BatchPreprocessing script, I get the message: Warning: Incremental file reading disabled because of lack of file format support: RAW I am working with the Canon 5D...

pixinsight.com

Allerdings verwende ich keine Masterdarks oder -Flats früher PI-Versionen. Die Fotos sind alle von gestern Nacht. Natürlich im RAW-Format. Die Kamera ist eine Canon 600d(a). Mir scheint das ein Problem mit der Bayer-Matrix zu sein. Die richtige ist ja RGGB. Warum im Datei-Header nun GBRG ist, erschließt sich mir nicht.

Mit der Canon habe ich schon vorher fotografiert; da gab es beim Stacking keine Schwierigkeiten.

Hat jemand eine Idee?

Viele Grüße,
Ulrike

 

[bulrichl]

Die Warnung "Incremental file reading disabled..." kann ignoriert werden. Das bedeutet lediglich: für die Integration von CR2-Dateien wird im Rechner mehr Hauptspeicher benötigt als für die Integration von FITS-Dateien.

Wenn aber die Lights ignoriert werden, sind die Einstellungen in WBPP nicht korrekt. Es muss eingestellt werden, dass alle Daten im CFA-Format vorliegen.

PixInsight verwendet LibRaw als Raw Image Decoder Software. Die Canon 600D gehört zu den Kameras, bei denen es eine wichtige Änderung in LibRaw gab. Für die 600D bedeutet das: aktuelle LibRaw-Versionen (und damit auch PixInsight) werten die erste Zeile der Daten nicht aus. Daher ist die Bildhöhe 3464 statt 3465 Pixel, und das Debayer/mosaic pattern änderte sich dadurch von 'RGGB' auf 'GBRG'. In PixInsight sollte allerdings auch 'Auto' als Debayer/mosaic pattern mit CR2-Dateien funktionieren.

Bei Bildbearbeitungssoftware für Astrofotografie, die nicht LibRaw, sondern DCRaw verwenden, ist weiterhin die Bildhöhe 3465 Pixel und 'RGGB' das richtige Debayer/mosaic pattern.

Ein Mischen von Bearbeitungsschritten im Preprocessing (also von Daten im CFA-Format) von Bildbearbeitungssoftware, die Libraw bzw. DCRaw verwenden, wird jedoch nicht funktionieren, weil sowohl die Bildhöhe als auch das Debayer/mosaic pattern nicht kompatibel sind.

Bernd

 

[BackyardImaging]

Hi Bernd,

danke für die Antwort. Das mit LibRaw hatte ich mittlerweile auch herausbekommen und es gibt sogar einen Workaround von PixInsight, den ich dann mal probieren muss. Nach meinem Verständnis bezieht sich das aber darauf, dass man ältere kalibrierte Masterframes verwenden möchte, die dann inkompatibel mit LibRaw sind. Das ist bei mir nicht der Fall; ich habe aktuelle Aufnahmen. Ich habe jetzt die Empfehlung bekommen, statt dessen PIPP zu verwenden, das DCRAW verwendet. Noch ein Programm, in dass ich mich einarbeiten darf

Wäre aber mal interessant zu wissen, ob es noch weitere Betroffene hier im Forum gibt. Die Canon 600D ist ja ziemlich gängig.

CS,
Ulrike

 

[LuisCypher]

Hallo Ulrike,

Ich verwende ebenfalls eine 600D und mache alle Bilder im Cr2 Format. Die Meldung in Siril kenne ich, kannte aber bis zu Bernds Post die Ursache nicht.
Bedingt durch die Meldung in Siril, habe ich mir damals angewöhnt die Software selbstständig ("Auto") die passende Matrix wählen zu lassen. Und damit fahre ich seit dem sowohl in Siril, APP und jetzt auch in PixInsight gut, sprich ohne Probleme.


Gruß
Andreas

 

[bulrichl]

danke für die Antwort. Das mit LibRaw hatte ich mittlerweile auch herausbekommen und es gibt sogar einen Workaround von PixInsight, den ich dann mal probieren muss. Nach meinem Verständnis bezieht sich das aber darauf, dass man ältere kalibrierte Masterframes verwenden möchte, die dann inkompatibel mit LibRaw sind. Das ist bei mir nicht der Fall; ich habe aktuelle Aufnahmen. Ich habe jetzt die Empfehlung bekommen, statt dessen PIPP zu verwenden, das DCRAW verwendet. Noch ein Programm, in dass ich mich einarbeiten darf

Nein, Du solltest den Workaround in PixInsight auf keinen Fall installieren. Wie Du richtig verstanden hast, ist der Workaround ausschließlich für diejenigen gedacht, die vorhandene, mit einer älteren PixInsight-Version erstellten Master Kalibrierungsdateien weiterverwenden wollen. Der Workaround ist also in jedem Fall nur eine Zwischenlösung, und für Dich ist er überhaupt nicht relevant.

Offenbar hast Du aber einen wichtigen Satz überlesen:

Wenn aber die Lights ignoriert werden, sind die Einstellungen in WBPP nicht korrekt. Es muss eingestellt werden, dass alle Daten im CFA-Format vorliegen.

Ich habe hier statt dark frames ein MasterDark und statt flat frames und flat-darks bereits ein fertiges MasterFlat verwendet. In WBPP sollte das dann etwa folgendermaßen aussehen (die Spalte "Output Pedestal (DN)" im Abschnitt LIGHT gibt es in WBPP v 2.02 noch nicht.):

1. Dies ist die Sicht, wenn im Control Panel nichts selektiert ist:

Die grünen Häkchen sollten alle angezeigt werden.

2. Dies ist die Sicht, wenn im Control Panel das MasterFlat selektiert ist:

Unter 'CFA Settings' muss 'CFA images' selektiert sein. Wenn man Farbverschiebungen durch die Flatfield-Korrektur vermeiden will, sollte man auch 'Separate CFA flat scaling factors' selektieren, dies ist aber kein Muss.

3. Dies ist die Sicht, wenn im Control Panel die light frames selektiert sind:

Unter 'CFA Settings' muss 'CFA images' selektiert sein. Für 'Bayer/mosaic pattern' muss in Deinem Fall entweder 'Auto' oder 'GBRG' eingestellt werden.

4. Wenn Du im Bild 3 auf 'Show Calibration Diagram' klickst, wird das Calibration Flow Diagram angezeigt:


Meiner Meinung nach ist WBPP in der Version v2.02 sehr gut geeignet, um damit folgende Schritte im Preprocessing durchzuführen:
1. Erstellung der Master Kalibrierungsdateien,
2. Kalibrierung der light frames unter Berücksichtigung der verwendeten Filter,
3. (für OSC-Kameras) Debayering,
4. Ausrichtung der kalibrierten light frames.
Die Integration der Bilder würde ich weiterhin nicht durch WBPP, sondern mit dem ImageIntegration Prozess durchführen lassen.

Die kommende WBPP-Version v2.1 hat weitere Verbesserungen, wie z. B. die Möglichkeit, ein Output Pedestal anzuwenden. Das ist unter Umständen wichtig, wenn Schmalbandfilter eingesetzt wurden.

Ich hoffe, dass Du mit diesen Erläuterungen mit PixInsight's WBPP-Skript zurecht kommst. Wenn man PixInsight hat, gibt m. E. überhaupt keinen Grund, eine andere Software für das Preprocessing einzusetzen.

Bernd

 

[BackyardImaging]

Danke für die Erläuterungen, Bernd. Den Satz bzgl CFA habe ich nicht überlesen. Die klicke ich sowieso immer an, da ich ja mit der DSLR fotografiere. Als Bayer-Pattern habe ich es bei "Auto" belassen, da ich bei früheren Stackingprozessen recht seltsame Summenbilder mit RGGB bekam, obwohl das doch die richtige Matrix ist. Ich probiere es jetzt gerne mal mit GBRG und hoffe, dass ich dann über Farbkalibrierung was vernünftiges hinbekomme, denn Dateiheader hin oder her ist das die falsche Matrix. Andererseits ist das ganze Foto ohnehin Schrott. Ich wollte lediglich schauen, ob das mit der Nachführung und dem Alignment funktioniert. Darks habe ich gar nicht gemacht; nur Flats und Bias.

Also ich probiere das mal aus und werde berichten. Danke einstweilen für die Unterstützung.

 

[BackyardImaging]

Ich habe jetzt noch einmal das WBPP Skript laufen lassen. Einmal mit Bayer-Pattern auf Auto und einmal mit GBRG. Das Ergebnis ist jedes Mal dasselbe. Ich bekomme keine Fehlermeldung, aber es wird auch kein Master Light generiert. Anbei die Process Logs, vielleicht könnt ihr was daraus lesen.

 

[BackyardImaging]

Ich habe noch einen Workaround probiert und zwar habe ich die CR2-Dateien mit PIPP erstmal in TIFFs umgewandelt. Und dann versucht in PixInsight zu verarbeiten. Die Fehlermeldung war dann folgende: "All calibrated light frame files have been removed or cannot be accessed".

Danach habe ich versucht, die Dateien in den Deep Sky Stacker zu laden. Der erkannt die Light frames überhaupt nicht. Dh ich kann sie zwar laden, bekomme aber beim Stackingversuch die Fehlermeldung, dass keine Lightframes zum Stacken vorhanden wären.

 

[bulrichl]

Ja 'Auto' und 'GBRG' liefern dasselbe Debayer-Resultat - das ist auch richtig, weil GBRG das richtige Debayer/mosaic pattern für diese Kamera ist, wenn eine aktuelle LibRaw-Version mit im Spiel ist. Noch einmal: DCRaw und auch ältere LibRaw-Versionen produzierten ein Bild mit den Abmessungen w=5202 und h=3465. Aktuelle LibRaw-Versionen liefern dagegen ein Bild mit den Abmessungen w=5202 und h=3464, also eine Zeile weniger. Gegenüber früher wird nun eine Zeile am oberen Rand des Bildes abgeschnitten. Wenn man das bei einem CFA-Bild macht, ändert man dadurch das Debayer/mosaic pattern wie man sich leicht an einem Schema klarmachen kann:

früher:
R G R G R G R G
G B G B G B G B
R G R G R G R G
G B G B G B G B
R G R G R G R G
. . . . . . . .


aktuell (oberste Zeile entfernt):
G B G B G B G B
R G R G R G R G
G B G B G B G B
R G R G R G R G
. . . . . . . .

Aus 'RGGB' wird durch das Abschneiden 'GBRG'.


Die WBPP-Logfiles, die Du angehängt hast, sind jeweils die Kurzversion (Zusammenfassung). Daraus entnehme ich, dass Du keine darks mit zu den light frames passender Belichtungszeit angegeben hast. Ich weiß jetzt weder, ob die flat frames mit dem MasterBias kalibriert wurden noch, ob die light frames mit dem MasterFlat kalibriert wurden. Aus dem ausführlichen Logfile wäre das zu entnehmen. Anschließend wurde jedenfalls debayert (mit dem korrekten Debayer/mosaic pattern 'Auto' bzw. 'GBRG'). Da die Logfiles damit enden, fehlen Registrierung und Integration. Diese Aufgaben hast Du dann aber auch gar nicht angegeben! Man muss dies in dem Reiter 'Lights' machen. Die Optionen 'Apply' sind in den Abschnitten 'Image Registration' bzw. Image 'Integration' zu aktivieren.

Das Hauptproblem scheint mir aber das Fehlen von darks mit zu den light frames passender Belichtungszeit zu sein: eine Flatfieldkorrektur, bei der der Offset nicht von den light frames subtrahiert wurde, würde jedenfalls ein falsches Ergebnis liefern.

Bernd

P.S. Dein Vorgehen, eine Kombination verschiedener Software beim Preprocessing einzusetzen, kann nur Fehlermeldungen oder falsche Ergebnisse bringen. Bitte bleibe doch mal bei PixInsight. Ich bin gerne bereit zu helfen, kenne mich aber weder mit Siril noch Deep Sky Stacker aus.

P.P.S: Falls Du erzwingen willst, dass auch die light frames mit dem MaterBias kalibriert werden, müsstest Du das MasterBias im Reiter 'Darks' mit der Funktion 'Add Custom' hinzufügen.

 

[BackyardImaging]

Hi Bernd,

ich verstehe wie LibRaw das Bayer-Pattern quasi ändert, nur nicht, wie sich das umgehen lässt. Die Kombination PIPP und PixInsight habe ich jetzt nur einmal probiert, ansonsten habe ich nichts vermischt, sondern Deep Sky Stacker und SiriL "stand alone" probiert - ich wollte sehen, wie die Programme damit umgehen.

Warum Darks nun plötzlich das Problem sein sollen, erschließt sich mir nicht ganz. Ich hab noch nie Darks gemacht, sondern immer nur Flats und Biases und auch sonst das Skript genauso angewandt, wie ich es immer tue. Und was bisher auch anstandslos funktioniert hat.

Anyway, ich habe jetzt Image Integration und Registration angekreuzt (mache ich sonst nicht und es klappt trotzdem). Dann hat er lange gearbeitet und tatsächlich ein Summenbild ausgespuckt. Allerdings sind dort keine Sterne zu sehen (nur wabbelige hellgraue Flecken). Das Stacking mit Affinity hat sehr wohl Sterne hervorgebracht. Und dann wäre da noch der Hintergrund in Hellgrau, ohne dass ich irgendeine Farbkalibrierung vorgenommen habe (Ansicht in der STF nach Dynamic Crop, ABE und Canon Bending Reduction):

Gruß,
Ulrike

 

[bulrichl]

Mit diesen Informationen kann ich leider überhaupt nichts anfangen. Ich bin gespannt, ob jemand anders Dir da weiterhelfen kann.

Bernd

 

[tommy_nawratil]

hallo Ulrike,

die Hotpixel sind ganz wunderschön und scharf zu sehen... Es ist möglich, dass PI die Bilder auf die Hotpixel registriert hat.
Mach die mal weg durch Verwendung halbwegs passender Darks, oder durch Verwendung der Cosmetic Correction / Auto / Hotpixel removal.
Wenn du gedithert hast, sind die Sterne jetzt als Wölkchen um den Ditherradius verteilt...

lg Tommy

 

[Quasaro]

hallo Ulrike,
Wenn du gedithert hast, sind die Sterne jetzt als Wölkchen um den Ditherradius verteilt...

lg Tommy

und damit hätte m. E. das Stacken auch einwandfrei funktioniert, der Fehler wäre nur in der (voher) durchzuführenden Registrierung zu suchen.

 

[BackyardImaging]

Hi Tommy & @Quasaro

Ich habe nicht gedithert. Wie gesagt, das Stacking in Affinity Photo und SiriL zeigt sehr wohl "normale" runde Sterne. Gut, die sehen mies aus, weil die Nachführung nicht korrekt war und ich mir nicht mal die Mühe der Gegengewichte gemacht habe. Aber das sollte auch nur eine Art Testlauf werden.

Warum der Hintergrund dieses helle Grau hat, erschließt sich mir auch nicht. Aus meiner laienhaften Perspektive würde ich vermuten, dass das Problem in der "abgeschnittenen" Zeile der Bayer-Matrix liegt. PI denkt, es wäre GBRG, statt dessen ist es RGGB.

 

[tommy_nawratil]

ich würde trotzdem mal meinem Rat folgen, hilft auch Hotpixel loszuwerden
guck doch mal in den Ordner debayered wie die Farbe der einzelnen Frames rauskommt
(Achtung, mit STF ohne verbundene Kanäle zur Vorschau gestreckt sieht der Hintergrund immer neutral aus, das ist Ziel der STF)
und dann blinke durch die Bilder im Ordner registered, dann siehste ob da Sterne in den Frames sind
und ob die Sterne oder die Hotpixel von Bild zu Bild übereinander liegen

lg Tommy

 

[BackyardImaging]

Hi Tommy,

das hatte ich sowieso vor Ich versuche das mal über die Cosmetic Correction, da ich nicht weiß, ob das noch irgendein Plus bringt, Darks zu machen. Soweit ich weiß, muss dann die Temperatur dieselbe sein wie in der Aufnahmenacht und hier ist es gerade erheblich wärmer geworden in den letzten beiden Tagen/Nächten.

Ich werde berichten.

CS,
Ulrike

 

[BackyardImaging]

So, das ging jetzt doch schneller als gedacht. Ich habe dieses Mal eine Cosmetic Correction der Lights durchgeführt und wollte danach stacken. Ich bekam folgende Fehlermeldung: Integrating 0 light frames, 69 light frames are ignored because their measurement failed.

Hier steht auch folgendes: PI nimmt legt folgende Abmessungen zugrunde: w=5344 h=3516. Bei der Canon 600d wäre der Wert für "height" aber 3465 (genauso wie aufgrund der "abgeschnittenen" Zeile eine andere Bayer-Matrix zugrunde gelegt wird). Zumindest wäre das jetzt meine Interpretation der Fehlermeldung.

Warum das Stacking aber ohne die CC vorher funktioniert hat, weiß ich auch nicht...

 

[tommy_nawratil]

Hast du die Bilder im Ordner registered durchgeblinkt, ob auf die Hotpixel gestackt wurde?
Es wäre gut Hypothesen zu überprüfen, wenn Fehler vorkommen.

PI macht manchmal unerwartete Sachen, aber es gibt auch Infos über die Fehler wenn etwas nicht funktioniert.
In der Process Console kannst du die Stelle suchen wo registriert wird, und dort steht dann woran es gehapert hat.
"measurement failed" ist nur die Zusammenfassung des WBPP Skripts. Es gibt da auch ein genaues log file, dazu muss das loggen angehakt werden.
Ohne weitere Info was du genau getan hast und was dann das Problem war ist es schwierig weiterzuhelfen, Blindflug.

Ich würde die kalibrierten und mit CC behandelten und korrekt debayerten Einzelbilder hernehmen und versuchen eines auf ein anderes zu registrieren.
In der Process Console steht dann Schritt für Schritt aufgelistet was PI tut, und woran es scheitert. zB 0 Sterne gefunden, etc.

lg Tommy

 

[BackyardImaging]

Hi Tommy,

erst einmal das Log File anbei. Vielleicht kannst du da etwas herauslesen.

Die debayerten Bilder habe ich durchgeblinkt und für mich sieht das nicht so aus, als hätte er auf die Hotpixel gestackt. Allerdings weiß ich nicht so ganz, woran man das im Zweifel erkennt.

Das Alignment der kalibrierten Lights hat nicht funktioniert: Error: Unable to find an initial set of putative star pair matches

 

[bulrichl]

Aha, jetzt war es also doch möglich, den ausführlichen Logfile zu posten. Warum nicht gleich so?

Wenn Du in diesem Logfile mit einem Texteditor die Stelle "Begin calibration of Light frames" suchst, wirst Du feststellen, dass nicht die light frames kalibriert werden, sondern Dateien, die vom Prozess CosmeticCorrection gschrieben wurden. Diese Dateien (IMGxxxx_cc.xisf) sind RGB-Bilder (!), daher kann nur großer Murks bei der Kalibrierung herauskommen. Eigentlich müsste das WBPP-Skript hier einen kritischen Fehler ausgeben und die Verarbeitung beenden, weil RGB-Bilder mit Masterdateien im CFA-Format kalibriert werden sollen - tut es aber nicht.

Der Fehler liegt also darin, dass Du im Tab 'Lights' die falschen Dateien geladen hast. Hier gehören die light frames IMG_xxxx.CR2 (CFA-Format!) hinein.

Bernd

 

[BackyardImaging]

Hi Bernd,

ich poste hier immer genau das, was mir PixInsight liefert und lasse nichts aus und erfinde nichts hinzu. Die Logfiles, die ich zunächst gepostet hatte, waren die aus dem WPBB-Skript. Das letzte Skript war nicht aus dem Skript heraus generiert, sondern das bloße Stacking der Lights, bei denen ich vorher einen Cosmetic Correction durchgeführt hatte.

Wie auch immer: Ich habe heute wieder das Skript außen vor gelassen und alle Schritte einzeln durchgeführt (auch für die Korrekturbilder; was soll man an so einem Regentag auch anderes machen). Bei den Lights habe ich nach der Kalibrierung und vor dem debayern noch eine Cosmetic Correction durchgeführt und bin dabei auch recht aggressiv vorgegangen. Das Alignment hat danach gut funktioniert, allerdings habe ich die Default-Werte abgeändert.

Den Prozess sozusagen manuell zu durchwandern funktioniert soweit ganz gut und es kommt zu keinen Fehlermeldungen. Im so generierten Bild habe ich jetzt eine Strichspur drin - diagonal, ähnlich einer Satellitenspur. Sollte wahrscheinlich nicht so sein, aber zumindest habe ich Sterne, keine Wölkchen und die Hotpixel sind weitestgehend entfernt.

Danke für euren Input. Jetzt weiß ich, wie ich weiterkomme, falls das Problem noch einmal auftritt.

Viele Grüße,
Ulrike

 

[bulrichl]

Die Logfiles, die ich zunächst gepostet hatte, waren die aus dem WPBB-Skript. Das letzte Skript war nicht aus dem Skript heraus generiert, sondern das bloße Stacking der Lights, bei denen ich vorher einen Cosmetic Correction durchgeführt hatte.

Die ersten beiden Logfiles waren jeweils Kurzfassungen, damit konnte man nicht viel anfangen. Der Logfile "20210512144213.log" ist der erste ausführliche Logfile, in dem man genau nachvollziehen kann, was durchgeführt wird.

Du hast bisher nicht verstanden, was da passierte. Daher noch einmal etwas ausführlicher und mit Uhrzeiten, damit es leichter nachvollziehbar ist:

14:20:37 Integration von 20 bias frames zum MasterBias,
14:21:08 Kalibrierung von 20 flat frames mit dem MasterBias
14:21:28 Integration der kalibrierten flat frames zum MasterFlat,
14:21:53 Kalibrierung von 69 IMG_xxxx_cc.xisf Dateien (n=3 RGB! Das ergibt natürlich Unsinn.)
14:23:02 Debayering von 69 IMG_xxxx_cc_c.xisf Dateien (RGB-Dateien werden nochmals debayert.)
14:29:32 Generierung von Bilddeskriptoren (Die Berechnung von FWHM, Eccentricity und SNR schlägt fehl.)
14:40:27 Da kein bestes Bild als Referenz für die Ausrichtung ermittelt werden konnte, wird keine Ausrichtung durchgeführt. Natürlich kann dann auch keine Integration durchgeführt werden.

Wenn Du lediglich die mit CosmeticCorrection behandelten light frames integrieren wolltest, hättest Du dafür den ImageIntegration-Prozess statt des WBPP-Skripts verwenden sollen. Hier wurde etwas ganz anderes ausgeführt als das, was Du vorhattest. Vermutlich lag das daran, dass die bias und flat frames noch im Skript angewählt waren. WBPP behält nämlich alle vorher angewählten Dateien (auch wenn das Skript beendet wird). Wenn man das nicht will, muss man den entsprechenden Tab anwählen (in diesem Fall: 'Bias' und 'Flats') und die dort befindlichen Dateien explizit löschen.

Das WBPP-Skript funktioniert sehr gut, wenn man alles korrekt einstellt.

Bernd

 

[BackyardImaging]

Hi Bernd,

du hast recht, so richtig verstanden habe ich das nicht. Dazu fehlt mir das nötige Hintergrundwissen. Ich hatte bisher bestimmte Einstellungen im WBPP-Skript angewandt und diese haben bei den Bildern, die ich vor zwei Tagen (oder vielmehr Nächten) gemacht habe, eben nicht funktioniert.

Aber dank eurer Hilfe habe ich das ja jetzt in den Griff bekommen. Ich weiß, dass ich noch viel dazu lernen muss und ich bin dabei. Geht halt nur nicht alles auf einmal. Und zur Zeit macht uns allen auch das Wetter einen fetten Strich durch die Rechnung. Aber es kommen auch wieder bessere Zeiten.

In diesem Sinne: CS,

Ulrike