Statistics in PI - Beurteilung von Flats

[Rurumburak]

Ich habe mal eine recht fundamentale Verständnisfrage zum Thema Statistics in PI, bzw. dessen Verwendung zur Beurteilung von Flats.
Das Werkzeug bietet mir ja an, die Daten in dem [0,1] Normalized Real Zahlenkreis anzuzeigen. Wobei 0 dem Schwarzwert entspricht und 1 gesättigtem Weiß.
Schaue ich mir die Daten auf der 16 bit Skala an, bleibt der Schwarzwert bei 0, weiß wird zu 2^16 = 65.536.
Gehe ich jetzt auf die mit meiner ASI1600mm korrespondierende 12 bit Skala, bleibt schwarz immer noch null und weiß entspricht 4.096.
Soweit sollte das alles passen.
Wenn ich nun das Ziel habe, ein Flat bis zur halben Sättigung zu belichten, dann sollte doch der im PI Statistic Tool angezeigte Wert im normalisierten Modus bei ungefähr 0,5 liegen, bzw in der 16 bit Darstellung bei 32.768 und bei 12 bit bei etwa 2.048 landen.
Jetzt nutze ich den Flatassistenten in NINA, der weiß, dass ich eine 12 bit Kamera verwende. Folglich zeigt er mir, wenn ich als Zielwert
bei "Histogrammdurchschnittsziel" 50% eingebe, erwartungsgemäß 2.048 als Zielwert an. Soweit so gut.

Nun lasse ich den Assistenten laufen und er belichtet die von mir gewünschte Framezahl. Anschließend öffne ich die Flats in PI, um den Erfolg zu kontrollieren. Aber was mir Statistics anzeigt, passt nicht zu meinen Erwartungen:
Im normalisierten Zahlenkreis zeigt er mir einen mean von 0.02833 und einen median von 0.02954 an. Ändere ich die Darstellung auf die 12 bit Variante, werden es 116.00 bzw. 120.97. Also bei weitem nicht 2.048.

Habe ich einen Denkfehler, erwarte ich die falschen Werte oder generiert mir hier der Flatassistent gnadenlos unterbelichtete Flats?
Und muss ich ein Flat überhaupt noch stretchen um Vignettierung und etwaige Donuts zu sehen? Bei halber Sättigung, sollte das doch schon ohne Streckung zumindest ansatzweise sichtbar werden? Kann mir bitte wer auf die Sprünge helfen?

Besten Dank im Voraus
Matthias

 

[astro_alex80]

Hallo Matthias,

Auf den ersten Blick sehr unterbelichtet.
gab neulich mal das Thema das einige Kameras bei sehr kurzen Belichtungszeit platt gesagt etwas komisch reagieren und unerwartete Werte ausgeben. Da gings um Bias und Flatdarks, gibt auch ein Video davon. Deine Belichtungszeit mit 0,059 Sekunden ist ja nicht sehr weit weg.

Probier doch mal, ob der Effekt bzw. die Werte mit längerer Belichtungszeit (0,5 - 1 sek), lichtquelle zum Beispiel durch Papier abgedunkelt, immer noch so passiert.

Grüße,
Alex

 

[frasax]

Gehe ich jetzt auf die mit meiner ASI1600mm korrespondierende 12 bit Skala, bleibt schwarz immer noch null und weiß entspricht 4.096.
Soweit sollte das alles passen.

Hallo Matthias,

das sollte nicht der Fall sein. PI skaliert nicht, mit der 16bit Angabe ist nicht die Bittiefe deiner Kamera gemeint, sondern die Darstellungstiefe von PI. Etwas gewöhnungsbedürftig, aber du musst 12bit und 14bit Kameras auch im 16bit Modus betrachten. Dann bekommst du die entsprechenden Werte angezeigt. Also dein Flat der 12bit Kamera sollte dann die 2048 anzeigen obwohl im 16bit Modus.
Das aber nur am Rande.
Mach doch mal ein Flat ohne den Assistenten, da hatte neulich schonmal jemand das Problem. Nina hat doch auch ein Statistik Fenster irgendwo nehme ich an?

CS Frank

 

[Rurumburak]

Guten Morgen und vielen Dank für die Anregungen!

@ Alex: Stimmt, da war was. Habe direkt mal nachgelegt, die Flatbox abgedunkelt und den Assistenten aktiviert. Kurioserweise hat er sich dann auf eine Belichtungszeit von exakt 1.0 Sekunden eingestellt. Hier die Daten in der 16-bit-Darstellung: mean und median zwischen 2.000 und ~ 2.200.
Optischer Eindruck: ohne Streckung immer noch ziemlich düster.

Diese einsekündige Belichtung liegt jetzt ja definitiv in einem Bereich, wo sich die Kamera zivilisiert verhalten sollte.
Damit schließe ich eine zu kurze Belichtung oder eine zu helle Flatbox erst einmal aus. D´accord?

@ Frank:

dein Flat der 12bit Kamera sollte dann die 2048 anzeigen obwohl im 16bit Modus

kann ich nicht nachvollziehen. Wenn dem so wäre, müsste ein überbelichtetes Bild meiner 12-bit-Kamera in der 16-bit-Darstellung doch nur 4096 anzeigen? Tut´s aber nicht. Hier ein vorsätzlich überbelichtetes Bild:

Und wenn ich die Statistics für 12 bit anzeigen lasse, kommen Werte um 4.090 (mean, median und max), und im normalisierten Bereich jeweils
0.999..., soweit dann für mich doch wieder alles stimmig. Oder verstehe ich dich falsch?

Okay, nächste Runde: jetzt das manuell ausjustierte Flat. Und zwar mit derselben Verdunkelung der Flatbox wie oben bei der 1-sec-Belichtung
des Assistenten. Fazit: ich musste 10 sec belichten, wobei sich mean und median in etwa auf 20.000er Werte verzehnfacht haben.
Nur: erstens bin ich damit noch nicht im mittleren Histogrammbereich (wenn ich die Werte richtig deute), bekomme aber zweitens schon einen Maximalwert
von 65.000 angezeigt. Auch eher unerwünscht.

Na selbstverständlich hat NINA ein Statistikfenster. Hier die Werte aus NINA:

Die Werte sind den Werten des PI-Tools zumindest sehr ähnlich.

Bliebe für mich jetzt als Resümee:
Mein Zahlenverständnis zum Statistics Tool scheint nicht verkehrt, aber NINA generiert (zumindest unter meinen Bedingungen) unterbelichtete Flats.
Also mache ich die weiterhin besser selbst. Nur: wie verhindere ich, dass ich, wenn ich mean und median im mittleren Zahlenkreis (sei es nun 0.5; 2.048 oder 32.768 je nach Zahlenraum) anstrebe, mir die Maximalwerte nicht aus dem Ruder laufen?

Für zielführende Tipps bin ich weiterhin sehr dankbar.

Viele Grüße und CS
Matthias

 

[bulrichl]

Hallo Matthias,

Bliebe für mich jetzt als Resümee:
Mein Zahlenverständnis zum Statistics Tool scheint nicht verkehrt, aber NINA generiert (zumindest unter meinen Bedingungen) unterbelichtete Flats.
Also mache ich die weiterhin besser selbst. Nur: wie verhindere ich, dass ich, wenn ich mean und median im mittleren Zahlenkreis (sei es nun 0.5; 2.048 oder 32.768 je nach Zahlenraum) anstrebe, mir die Maximalwerte nicht aus dem Ruder laufen?

Dein Zahlenverständnis ist richtig.

Mit NINAs Flat-Tool kenne ich mich mich nicht aus, aber zu dem Rest kann ich vielleicht etwas beitragen:

Bei den mir bekannten Astrokameras (Ausnahme: bestimmte Kameras der Fa. Moravian), die die Bilder im FITS-Format abspeichern, skaliert der Kameratreiber die Daten von der Bittiefe des A/D-Wandlers auf 16 bit. In Deinem Fall heißt das von 12 auf 16 bit, also durch Multiplikation mit Faktor 16. Das kann man feststellen, indem man entweder das Histogramm mit hohem Horizontal Zoom (z. B. 400) anschaut und die Differenz zwischen den dann sichtbaren Spikes aus misst (hier: 16 ADU), oder man macht es wie Du, erzeugt eine absichtlich überbelichtete Aufnahme und bestimmt dadurch den Sättigungswert.

Für die Beurteilung der richtigen Belichtung von Flat frames ist jedoch nicht der maximum-Wert entscheidend, der in PIs Statistics-Prozess angezeigt wird, denn bei vielen Kameras wird es wohl einzelne hot (oder warm) pixels geben, die bereits in der Sättigung sind. Einzelne gesättigte Pixel sind aber überhaupt nicht relevant.

Eine bessere Beurteilungsmöglichkeit bietet wieder das Histogramm. Oder (noch besser) man verwendet z. B. folgenden Ausdruck in PixelMath:

RGB/K: n += $T < max/65536 && $T >= min/65536
Symbols: min = 60000, max = 65535, n = global(+)

(Im Abschnitt Destination sollte dazu die Option 'Generate Output' abgewählt werden. Der min-Wert kann wie gewünscht variiert werden.)

Dieser PixelMath-Ausdruck liefert als output in der Process Console die globale Variable n, die Anzahl der Pixel mit Intensitäten zwischen min und max.

Bernd

 

[Rurumburak]

Hallo Bernd,

na klar, vielen Dank, Hotpixel! Das sind die Maximalwerte!
Verstehe, also orientiere ich mich, solange ich noch nicht vermessen habe, bis wohin sich meine Kamera linear verhält, für mean und median an 50% der Sättigung.

Die Formel habe ich gleich mal ausprobiert, an einem einzelnen Flatframe und am mit Flatdarks kalibrierten Masterflat. Das Ergebnis ist jeweils identisch: n(+) = {0, 0, 0}.
Wenn ich den min-Wert auf 40.000 senke, bekomme ich 8, senke ich weiter auf 35.000 werden es 24. Das ist dann die Anzahl der Pixel, die den Histogrammberg nach rechts verlassen haben, - vermutlich warm oder hot pixels. Und senke ich ihn auf 0, zeigt mir der Wert die Anzahl der Pixel meine Chips, 16Mio+. Sauber!
Und jetzt noch der Test, wo mein Histogrammberg statistisch steht: wenn ich min auf 28.000 und max auf 33000 setze, werden es auch über 16 Millionen. Damit tummeln sich also die allermeisten Pixel im Bereich der 50%igen Sättigung.

Super, damit habe ich meine Flats jetzt eindeutig besser im Griff.

Vielen Dank an alle für die erhellende Diskussion!

CS, Matthias

 

[frasax]

Hallo,

jetzt war ich selber kurz verwirrt.
Also wenn ich ein Canon File als pure RAW öffne zeigt PixInsight in der Statistik keine skalierten 16bit Werte an, öffne ich es aber debayerd wird skaliert. Heißt also der RAW Converter nimmt die Skalierung vor. Mir war es nicht klar dass CMOS Astrokameras auch schon intern skalieren, bzw. deren Treiber. PI tut es aber definitiv nicht. Wenn man aber bei einem skalierten Bild die PI interne Darstellung auf 14bit stellt, korrespondieren diese Zahlen natürlich mit der Erwartung.
Ich hoffe jetzt habe ichs

Fakt scheint aber, der Flatassistent in NINA scheint nicht unproblematisch zu sein, das ist der zweite Fall in kurzer Zeit wo es Probleme gibt. Vermutlich aber auch nur eine Einstellungssache. Aber selber ein Händchen drauf zu haben ist immer gut.


CS Frank

 

[Rurumburak]

Hallo Frank,

Danke für den Nachtrag. Wieder was gelernt. Dass eine ASI CMOS autonom rumskaliert, war mir klar. Aber gut zu wissen, dass es bei den Canon Raws nicht
passiert. Da hätte ich nämlich bei nächster Gelegenheit mächtig gestutzt!

Ja, ich vermute auch, dass der Assistent nur so gut ist, wie der der ihn bedient. Vielleicht frage ich mal bei Discord. Allerdings habe ich mir gerade eine Flat-Sequenz erstellt, so dass ich zukünftig auch ohne den Flat Wizard klar kommen sollte.

Vielen Dank und CS,- zum Glück ist der Staub wieder aus der Luft!

Matthias

 

[tommy_nawratil]

hallo,

das Statistiktool ist für Flats nur dann sinnvoll zu verwenden, wenn man eine Auswahl vom hellsten Bereich damit misst
und den Median beachtet. Dann sind die Hotpixel nicht dabei. Einfacher ist es aber, den Cursor zu nehmen, den Messbereich auf
eine größere Pixelanzahl zu stellen und damit in den hellen Bereichen des Flats zu messen. Man kann dann auch gleich in den Ecken messen
und direkt den Lichtabfall bestimmen.

Die CMOS Kamera Treiber skalieren alle auf 16bit, das ist korrekt. Die DSLR im RAW skaliert aber nicht, das bleibt wie es ist.
Das Debayer Tool von PI skaliert auch nicht hoch. Die üblichen DSLR RAW Konverter verwenden alle den Weissabgleich und Schärfeeinstellung
der Kamera und skalieren bzw. verändern das RAW File komplett. Darum sage ich immer so frech, Photoshop kann kein RAW.
Nicht zur Beurteilung geeignet!

lg Tommy

 

[Rurumburak]

Hallo Tommy,

noch eine Option, Danke! Und vermutlich ist es sogar schneller, mal eben die hellen Bereiche "abzucursorn" als das Statistiktool zu öffnen.

Den Lichtabfall in den Ecken zu bestimmen hat aber dann doch eher Unterhaltungswert, bzw. lässt eine Aussage über das optische Setup zu, - so wie ich es verstehe???
Das Flat in der gestreckten Darstellung sieht ja im Normalfall eher schlimm aus, weil selbst geringe Helligkeitsunterschiede übertrieben dargestellt werden. Und so kann ich dann ablesen, ob die ausgeprägte Vignette oder der fette Donut einem Lichtabfall von nur wenigen Prozent entspricht oder ob es heftiger ist. Aber für eine gegebenes Setup hilft mir das nach meinem Verständnis nicht bei der Beurteilung, ob ich mein Flat überbelichtet habe oder es noch etwas mehr Belichtung verträgt.

Viele Grüße und CS
Matthias