Dithern oder Darks!??! YouTube Video

Status
Es sind keine weiteren Antworten möglich.
Gute Erklärung! Ich habe nur eine Anmerkung: Wenn das Dunkelbild eben und dunkel ist, dann kann auch der Offset falsch eingestellt sein.

Ein schneller Test ist die Berechnung der Standardabweichung des Dunkelbilds: Wenn der Durchschnitt des Dunkelbilds zweimal bis idealerweise dreimal so hoch wie die Standardabweichung ist, dann erfasst man den allermeisten Teil des Dunkelrauschens und das Dark Frame ist verwendbar. Im Histogramm sieht man die Gausskurve. Ist der Offset zu niedrig, wird der abgeschnittene Teil der Gausskurve im Histogramm auf Pixelwert 0 erscheinen. Evtl. erkennt man die Kurve dann nicht mehr als solche und in extremen Fällen wird die Standardabweichung auch nicht mehr helfen. Hier geht dann ein Teil der Bildinformation verloren und solche Dark Frames sind unbrauchbar.

Moderne Sensoren haben eine sehr gute Dunkelstromkorrektur. Das Dunkelrauschen können sie aber nicht korrigieren, d.h. das hat man immer noch im Bild und wird es nur über die Durchschnittsbildung los. Dazu ist es nötig, den positiven und den negativen Anteil des Rauschens mit aufzunehmen. Der Offset ermöglicht genau das und das ist auch nötig, wenn man keine Dark Frames verwendet.

Michael
 
Hallo Michael,

danke dir für den Hinweis. Das ist mir bisher auch noch nicht untergekommen, ich denke bei den kommerziellen Kameras wird das eher nicht der Fall sein. Eigentlich habe ich es auch nur der Vollständigkeit halber erwähnt. Jeder, der jetzt seine Darks untersucht, wird feststellen, dass diese nicht uniform sind, selbst bei den modernsten Kameras. Wobei es sich dabei auch um den Offset handeln kann. Was ich tatsächlich vergessen habe ist, dass man anstatt eines Darks wenigstens ein Bias abziehen sollte. Wobei ich das bei meinen letzten Aufnahmen auch nicht mehr gemacht habe.

CS Frank
 
Ein paar Pixelwerte Offset siehst Du nicht. Sowas stört zur Photometrie, aber visuell nicht.

Die typischen kleinen CMOS-Sensoren erlauben alle die Einstellung des Offsets, weil man das je nach Anwendung braucht oder lieber fertige Bilder mit 0 = schwarz haben möchte. Astrokameras bieten den Offset darum an, es kostet ja nichts. Man kann das als Nebeneffekt einer Belichtungsserie kontrollieren, indem man Helligkeit und Belichtungszeit aufträgt. Der Test klingt primitiv, aber ich habe da schon die tollsten Fehler gesehen.

Canon hat, soweit ich weiss, ab Werk einen sinnvollen Offset eingestellt, und bei Nikon gibt's einen Firmwarepatch dafür.

Dark Frames ihrerseits bestehen aus einem pixelindividuellen Offset, dem Dunkelstrom und dem Ausleserauschen, ggfs. auch Verstärkerglühen bzw. dämlichem thermischen Design der Kamera. Was ich so höre, bekommst Du bei guten aktuellen DSLRs nur noch das Dunkelrauschen und das Ausleserauschen zu sehen. Da reicht dann wirklich, den Offset als Bias abzuziehen. Sowas hatte ich aber noch nicht selbst in der Hand.

Michael
 
Hallo Frank,

danke für dieses Video!
Mir gefällt vor allem, dass du so deutlich auf den Unterschied zwischen Dunkelstrom und Dunkelstromrauschen eingehst. Das wird nach meiner Erfahrung doch häufig durcheinandergeworfen und verwechselt.
Nicht zuletzt ist das doch der wichtigste Vorteil von gekühlten Kameras, dass dort von vornherein aufgrund des geringeren Dunkelstroms eben auch das Dunkelstromrauschen sehr (manchmal sogar exorbitant) niedrig ist.

CS
Stefan
 
Hallo Stefan,

freut mich dass es dir gefällt. Und ja, ich weise darum sehr deutlich drauf hin, weil das doch sehr häufig durcheinander geworfen wird. Dazu muss man sagen, dass diese ganze Signal-Rausch Thematik alles andere als simpel ist.
Teilweise wird der Zusammenhang aber auch falsch bzw. missverständlich dargestellt.

Und ja, das ist der Grund zur Kühlung. Die Profis kühlen ja sogar mit flüssigem Stickstoff. Dass das noch niemand versucht hat:)

CS Frank
 
Ich bin dieses WE auf etwas gestoßen, was ich vorher noch nicht kannte:

Dark Current in Consumer Cameras: Not What you Expect

Also habe ich meine QHY5 kompatible Kamera darauf hin analysiert und selbst gesehen: Die warmen Pixel laufen dem Dunkelrauschen lange voraus, werden allerdings irgendwann von ihm eingeholt. Der betagte MT9M001 hat leider keinen Temperatursensor, um das noch genauer zu beobachten.

Dithering ist sicher eine Möglichkeit, den Einfluss der warmen Pixel zu verteilen. Es wäre allerdings interessant, die warmen Pixel zu benutzen, um das dark frame der gleichen Belichtungszeit zu skalieren. Evtl. ist das der Grund, warum man manchmal sehr viele dunkle kurze Striche sieht: Wenn die warmen Pixel in der Aufnahme nicht so intensiv wie im dark frame sind, dann wird zu viel abgezogen und wenn Dithering das nicht genug verteilt, dann sieht man es eben doch. Umgedreht heisst das: Wenn man auch bei modernen Kameras den Dunkelstrom nicht mehr sieht, so wäre eine reine Korrektur warmer Pixel durchaus denkbar, um die Bilder besser zu machen, anstatt ihren Einfluss nur zu verteilen.

Michael
 
Hallo Michael,

der Artikel von Ralf Widenhorn bezieht sich auf ungekühlte Kameras mit CMOS-Sensoren. Das was er beschreibt, kann man sich anschauen, indem man Warm Pixel im 'Optical Black Bereich' nutzt (falls ein solcher vorhanden und auslesbar ist). Das ist praktisch eine "on-sensor Temperaturmessung". Für meine Canon 600D habe ich das mal gemacht, und es funktioniert. Den gleichen Effekt erzielt man aber auch, wenn man bei der Kalibrierung mit PixInsight "Dark Frame Optimization" anwendet. Allerdings funktioniert "Dark Frame Optimization" möglicherweise nicht, wenn der Sensor ein "Verstärkerglühen" aufweist, weil dies nicht unbedingt linear mit der Belichtungszeit korreliert.

Das oben genannte Vorgehen führt aber auch nicht zu kalibrierten Aufnahmen ohne sichtbare Warm Pixel, weil es Pixel gibt, die sich nicht linear verhalten. PixInsight hat dafür den Prozess CosmeticCorrection.

Das oben genannte Vorgehen ersetzt auch kein Dithering.

Bernd
 
Beim MT9M001 Sensor habe ich keine Warm Pixel im maskierten Bereich, nur im aktiven Bereich. Aber angesichts der Pixelzahlen ist das nicht verwunderlich, so besonders viele Warm Pixel gibt es ja nicht.

Der Vergleich der maskierten Pixel von Bild und Dark Frame ist dennoch eine gute Idee, wenn der Sensor welche hat. Die Sony IMX2xx z.B. haben so etwas nicht mehr. Der Charme der Warm Pixel besteht darin, dass diese deutlich stärker reagieren und die Messung damit potentiell genauer wird.

Ich verstehe das nicht als Alternative zum Dithering, sondern als Ergänzung und der Möglichkeit, zu prüfen, wie gut Dark Frames zur Aufnahme passen. Die Belichtungszeit der Dark Frames muss definitiv den Lights entsprechen. Es geht hier nur um den Einfluss der Temperatur.

Was mich ein wenig erstaunt, ist der Charakter des Dunkelstromsignals. Es ist definitiv keine Gausskurve, sondern sieht eher wie ein Schwarzkörperspektrum aus: Stark ansteigend, schnell zum Peak und dann langsamer abfallend. Dennoch wird es gerne wie eine Normalverteilung gerechnet.

Michael
 
Hallo,

na jetzt wird es aber sehr interessant. Wobei ich ja selber bei den DSLRs schon seit mehr als 10 Jahren gar keine Darks mehr mache :)
Jetzt habe ich den Artikel durchgelesen, und das war mir auch neu. Etwas stutzig bin ich, da der Artikel auch schon 10 Jahre alt ist. Die erste Frage wäre:
-Was ist aus dem erwähnten Patent geworden, und in wie weit hat sich das überhaupt verbreitet? Ich vermute mal das hat sich alles als nicht praktikabel herausgestellt?
-Wie kann ich Hotpixel im nicht optisch genutzten Bereich der CMOS Kamera (Overscan?) a) überhaupt darstellen und b) messen?
-Was passiert beim DarkOptimization? Ich meine mich zu erinneren, dass hier nach Abzug eines Bias letztendlich Hintergrundwerte verglichen und anschließend skaliert werden?!
-Was ich immer schonmal wissen wollte, warum gibt es Pixel die sich nicht linear verhalten?

CS Frank
 
Es gibt noch einige andere Artikel in der Richtung, die teilweise auch auf die Nichtlinearität eingehen und am Chip begründen, welche Defekte zu welchem Verhalten führen. Ursache sind wohl Defekte in der Dotierung des Chips selbst. Das geht leider alles über meinen Horizont hinaus; von Chipherstellung verstehe ich nichts.

Dann gibt es ein paar Artikel, die das Thema statistisch angehen und zeigen, dass ein einfaches Modell mit Belichtungszeit und Temperatur nicht ausreicht, und die Sache durchaus komplexer ist. Aber auch da werden einzelne Pixel identifiziert und deren Verhalten wird individuell untersucht:

(PDF) Modelling dark current and hot pixels in imaging sensors
(PDF) Dark current measurements in a CMOS imager

Bei der QHY5 wird der ganze Sensor inkl. maskierter Pixel ausgelesen, wenn man das FOV entsprechend einstellt. Bei DSLRs kann ich nur raten, dass die vermutlich im raw image mit enthalten sind, aber ich weiss es nicht.

Ich habe Histogramme gemacht und damit geschaut, wo das normale Dunkelsignal aufhört. Mit steigender Belichtungszeit erheben sich rechts davon zwei Berge, das sind die warmen Pixel. Wenn man das maximale Dunkelsignal abzieht und den Rest streckt, kann man die sehr gut sichtbar machen und wenn man die Koordinaten kennt, mit etwas Software aus dem Bild extrahieren. Ich habe es bisher beim sichtbar machen belassen und mich auf die Histogramme mit steigender Belichtungszeit beschränkt, weil ich neugierig war, wie das aussieht. Außerdem habe ich vom Bild mit 60s Belichtungszeit das mit 10ms abgezogen, die durchschnittliche Helligkeit in Elektronen umgerechnet und durch 60s geteilt, um den Dunkelstrom in Elektronen pro Sekunde zu ermitteln. Netterweise kommt nur ein wenig mehr heraus, als in einem frühen Datenblatt von Micron steht. Zu modernen Sensoren kriegt man ja leider als Privatanwender gar nichts mehr und weil ich noch nie den Dunkelstrom gemessen habe, wollte ich einen dokumentierten Sensor dafür benutzen.

So kam ich auf die Thematik: Ich hatte da zwei Berge im Histogramm (logarithmische Pixelzahl), die mich neugierig machten, weil es sowas in den üblichen Beschreibungen nicht gab.

Michael
 
-Wie kann ich Hotpixel im nicht optisch genutzten Bereich der CMOS Kamera (Overscan?) a) überhaupt darstellen und b) messen?
-Was passiert beim DarkOptimization? Ich meine mich zu erinneren, dass hier nach Abzug eines Bias letztendlich Hintergrundwerte verglichen und anschließend skaliert werden?!

Ich bin gern bereit, meine Ergebnisse zur Canon 600D mitzuteilen, schlage aber vor, dafür einen neuen Thread zu eröffnen, weil das mit dem ursprünglichen Thema nicht mehr viel zu tun hat.

Bernd
 
Hallo Frank,

Am meisten interessiert mich eigentlich wie das Darks skalieren dann funktioniert, wenn der Dunkelstrom nicht linear ist.

Das ist wohl ein Missverständnis. PI kann einzelne nichtlineare Pixel durch "Dark Frame Optimization" auch nicht wieder linear machen. Pixel, die sich nicht linear verhalten, werden nach ordnungsgemäßer Kalibrierung immer noch entweder als zu dunkel oder zu hell erscheinen und sollten mit CosmeticCorrection behandelt werden.

Wie "Dark Frame Optimization" funktioniert hat Juan Conejero sehr ausführlich dokumentiert, siehe Dark Frame Optimization Algorithm

Diese Vorgehensweise ist vor allem bei nicht temperaturgeregelten Kameras von Vorteil: unterschiedliche Sensortemperaturen der Light Frames (die zu unterschiedlich hohem Dunkelstrom führen) werden so ausgeglichen. Bei temperaturgeregelten Kameras sehe ich keinen großen Sinn darin, "Dark Frame Optimization" anzuwenden.

Bernd
 
Hallo Michael,

Ich habe Histogramme gemacht und damit geschaut, wo das normale Dunkelsignal aufhört. Mit steigender Belichtungszeit erheben sich rechts davon zwei Berge, das sind die warmen Pixel.

Bei meiner ASI294 sehe ich auch zwei Berge. Der eine [1] verändert seine Lage im Histogramm mit der Temperatur, der andere [2] mit der Temperatur UND der Belichtungszeit. Ich interpretiere das folgendermaßen: [1] repräsentiert die Warm Pixel, [2] das "Verstärkerglühen". (Die ASI294 weist ein ausgeprägtes "Verstärkerglühen" auf.)

Bernd
 
Hallo Bernd,

Das ist wohl ein Missverständnis. PI kann einzelne nichtlineare Pixel durch "Dark Frame Optimization" auch nicht wieder linear machen. Pixel, die sich nicht linear verhalten, werden nach ordnungsgemäßer Kalibrierung immer noch entweder als zu dunkel oder zu hell erscheinen und sollten mit CosmeticCorrection behandelt werden.

Ja, da muss man jetzt vorsichtig sein, ich glaube da haben wir uns wirklich falsch verstanden. Mir ging es eher um das lineare Verhalten des Dunkelstroms, weniger der Hotpixel. Ich bin davon ausgegangen, dass man den Dunkelstrom einer Kamera mit einem einzelnen Faktor, hier k Faktor genannt, skalieren kann. Das stelle ich mir unter Darkskalierung bzw. optimization vor. Soweit ich den Artikel verstanden habe, ist das ja auch so. Interessant ist wie dieser Faktor ermittelt wird. Das übersteigt etwas meinen Sachverstand gebe ich zu, und ausserdem interessant, dass dies wohl doch nicht optimal geschieht und in Zukunft besser gelöst werden soll (Ist die Frage ob das mit dem neusten UpDate schon passiert ist).

CS Frank
 
Vielleicht kann nochmal jemand sagen wie gut eine Darkoptimization funktioniert (mir fehlen dazu die Erfahrungswerte) und ob das generell zu empfehlen ist bei ungekühlten CMOS Kameras.

Meiner Erfahrung nach ist Dark Frame Optimization grundsätzlich zu empfehlen bei ungekühlten Kameras, die kein "Verstärkerglühen" aufweisen (also z. B. bei der Canon 600D).

Jon Rista hat in Cloudynights geschrieben, dass bei der (gekühlten) ASI1600 das "Verstärkerglühen" nicht linear mit der Belichtungszeit zunimmt, siehe z. B.: Dark frame scaling - CCD/CMOS Astro Camera Imaging & Processing - Cloudy Nights. Er rät davon ab, dark scaling zu verwenden.

Bei meiner (gekühlten) ASI294 mit ausgeprägtem "Verstärkerglühen" brachte Dark Frame Optimization weder Vor- noch Nachteile.

Fazit: Es hängt offenbar vom Kameramodell ab. Meine Empfehlung ist, an einem Datensatz beides (mit / ohne dark scaling) auszuprobieren und die Ergebnisse zu vergleichen.

Bernd
 
Man muss zwischen Dunkelstrom (e-/s) und dem dadurch erzeugten Signal unterscheiden. Letzteres ist nicht linear mit der Belichtungszeit. Hier mal ein paar Histogramme von Darkframes von der QHY5, die ich am WE machte:

Gnuplot
Gnuplot
Gnuplot

Ich kann wie gesagt leider nicht sagen, wie warm der Sensor ist, aber er dürfte bei allen Aufnahmen gleich warm gewesen sein, weil er da schon ein paar Stunden lief.

Michael
 
Status
Es sind keine weiteren Antworten möglich.
Oben