Hilfe bei Flat Test

[Pauldd]

Hallo

Evtl. hat von euch ja jemand Zeit und kann mal meine Bilder durch seine Bildverarbeitungspipeline laufen lassen.

Ich wollte heute mal testen wie gut mein Flatfield funktioniert und habe gelesen das man das testen kann wenn man zwei Master Flats macht die 90° Grad verdreht sind und die dann miteinander dividiert werden.

Gestartet habe ich damit herauszufinden was der beste ADU Wert für meine Canon 700D (Mod.) ist. Dazu habe ich ein Bild gnadenlos überbelichtet und bekomme als Wert 15300. Als Richtwert nehme ich also die Hälfte. Dann habe ich solange probiert bis die Belichtungszeit stimmt und ich Bilder mit einem Median ADU ~6700 bekomme (bei ISO 400, damit mache ich auch die Lights, auch wenn es nicht wichtig ist, oder doch oder wie auch immer).

Dann habe ich 20 Bilder gemacht, die Kamera 90 Grad gedreht und nochmal 20 Bilder gemacht. Die jeweils 20 Bilder wurden Coaddiert und so habe ich nun zwei Masterflats.

Nun zu meinem Problem. Ich arbeite ausschliesslich mit Linux.
Deshalb habe ich die Master Flats in Gimp als Ebenen geladen und die oberste auf "Dividieren" gestellt.
Heraus kommt dann ein fast weißes Bild.

Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/flatsmasterdivided.jpg

Wäre es möglich das mal jemand meine beiden Master Flats dividiert um mal zu schauen ob da das gleiche rauskommt?

https://drive.google.com/file/d/0B-Xegfe-6xKadlBBWnBQcXQ0aGM/view?usp=sharing

https://drive.google.com/file/d/0B-Xegfe-6xKaRHd5OTZ1MWV3dGM/view?usp=sharing

Oder habe ich irgendeinen Fehler in dem ganzen?

 

[Pauldd]

Ich habe schon mal ein Problem gefunden. Ich mache alle Bilder unter Kstars/Ekos und habe dort dummerweise "fits" als Format genommen. Logischer wäre es natürlich "native" zu nehmen da ich unter normalen Umständen ja auch alle Lights/Darks/Bias/Flats als native (*.cr2) aufnehme.

Außerdem habe ich keine Dark/Flats gemacht. Das werde ich nun erstmal probieren.

 

[bulrichl]

Hallo Pauldd,

ich habe mir die beiden Masterflats mit Pixinsight angesehen. An den Histogrammen der Masterflats ist folgendes auffällig:

- Die Histogramme der einzelnen Farbkanäle sind merkwürdig "zerfasert", mit sanft ansteigender linker Flanke und abrupt abfallender rechter Flanke.
- Der Rotkanal ist sehr schwach im Vergleich zu den Grünkanälen und dem Blaukanal.

Hier die Statistics von masterFlat1.fit (unter Grün sind beide Grünkanäle zusammengefasst):

Kanal  mean    median  stdDev avgDev MAD    min     max
Rot     9854   10304   2098   1670   1402     259   19823
Grün   34759   35715   4356   3449   2887   14385   59120
Blau   28288   29146   3801   2995   2487   10137   39885

Für mich ergeben sich daraus die folgenden Fragen:
1) Was für eine Lichtquelle hast Du für die Flatfield-Aufnahmen verwendet?
2) Du schreibst, dass es sich bei der Kamera um eine modifizierte 700D handelt - wieso ist dann der Rotkanal so schwach?

Meiner Meinung nach müsstest Du erst einmal bei der Flatfield-Aufnahme durch die Wahl einer geeigneten Lichtquelle dafür sorgen, dass die Farbkanäle ähnlichere Intensitäten aufweisen. Das betrifft in erster Linie den Rotkanal.


Mir ist nicht klar, was der Tip mit der Division der Masterflats zeigen soll, wo hast Du das gelesen? Hast Du bei der Aufnahme der beiden Flatfield-Serien die Kamera gegen die Optik um 90 Grad verdreht, oder wie ist das zu verstehen? Dass man bei der Division der beiden Masterflats ein fast weißes Bild erhält, erstaunt mich nicht. Bei der Division kommt für alle Pixel ein Ergebnis nahe 1 heraus (naja, jedenfalls näherungsweise...). Pixinsight skaliert das Ergebnis auf den Wertebereich 0 bis 1. Wenn ich in "PixelMath" die Formel "MasterFlat1/MasterFlat2" eingebe, erhalte ich daher ein ähnliches Ergebnis wie Du, ein praktisch weißes Bild. Im Histogramm ist erkennbar, dass starkes Clipping auftritt, d. h. die Werte > 1 sind abgeschnitten. Um das zu verhindern und ein aussagekräftiges Ergebnis zu erhalten, muss man in Pixinsight im Prozess "PixelMath" deshalb 0.5 subtrahieren. Mit der Formel "MasterFlat1/MasterFlat2-0.5" erhält man ein vernünftiges Histogramm, bei dem keine Werte abgeschnitten sind. Allerdings kann ich das Ergebnis-Bild nicht interpretieren - dazu bräuchte ich mal die Quelle, aus der dieser Tip stammt.


Darks zur Kalibrierung der Flatfield-Aufnahmen wirst Du wegen der kurzen Belichtungszeit wahrscheinlich gar nicht brauchen, unverzichtbar sind aber Bias-Aufnahmen. Bias muss abgezogen werden, sonst geht die Flatfield-Korrektur in die Hose.


Bernd

 

[Pauldd]

Hallo Bernd

Vielen dank für deine Mühe.

Als Lichtquelle verwende ich meine EL-Folie die ich mit meinem Pseudo-Spektrograph "vermessen" habe und eigentlich ein äußerst kontinuierliches Spektrum ohne markante Linien haben müsste:
siehe BILD

Wie gesagt die beiden Masterflats sind warscheinlich fehlerhaft da ich sie nicht aus den Canon Raw's erstellt habe sondern aus Fits Dateien die bei mir als Greyscale angezeigt werden:

identify -verbose masterFlat1.fits
Image: masterFlat1.fits
Format: FITS (Flexible Image Transport System)
Class: DirectClass
Geometry: 5208x3476+0+0
Units: Undefined
Type: Grayscale
Endianess: MSB
Colorspace: Gray
Depth: 16/32-bit
Channel depth:
gray: 32-bit
Channel statistics:
Pixels: 18103008
Gray:
min: 546 (0.00833906)
max: 65535 (0.999992)
mean: 27236.7 (0.415606)
standard deviation: 10781.6 (0.164517)
kurtosis: -0.979844
skewness: -0.677799
entropy: 0.942025
Rendering intent: Undefined
Gamma: 0.454545
Background color: gray(255)
Border color: gray(223)
Matte color: gray(189)

Um so mehr wundert es mich das du Farbinformationen angezeigt bekommst.

Das mit dem dividieren habe ich von hier:
http://www.stargazing.net/david/qsi/ccdperfflats.html
und insbesondere hier:
http://www.optecinc.com/astronomy/catalog/alnitak/xl_testing.htm

Ich würde gerne auch einen Wert am Ende bekommen über die Gleichmässigkeit/Abweichung in Prozent über die gesamte Fläche.

Ich bin gerade fertig geworden neue Flats mit dazugehörigen Darks und Bias aufzunehmen. Nun arbeite ich mich durch die Standart Linux-Werkzeuge um zwei neue Masterflats wie in dem optecinc Link beschrieben zu bekommen.

Dort steht dann aber wieder das man ein Master Dark (mit der gleichen Belichtung der Flats) erstellen soll und alle Flats der ersten Serie damit subtrahiert. Dann erstellt man aus den Dark-subtrahierten Flats ein Masterflat, das erste.
Dann erstellt man aus den 90° gedrehten Flats das zweite Masterflat und dividiert dieses vom ersten Masterflat. Komischerweise steht da nirgends was von einem Bias.

Naja, ich mach erstmal die Bilder fertig bis ich zwei neue Masterflats habe und dann mal sehen wie die Farbverteilung dann ist.

 

[Pauldd]

Hast Du bei der Aufnahme der beiden Flatfield-Serien die Kamera gegen die Optik um 90 Grad verdreht, oder wie ist das zu verstehen?

Ja, also man kann die Lichtquelle selbst, also das Flatfield drehen oder die Kamera. Ich habe die Kamera am 2" OAZ gedreht da da viel genauer 90° zustande kommen als wenn ich meine Flatfolie drehe.

 

[Pauldd]

Ehrlich gesagt habe ich keine Ahnung was die 90° Grad Drehung bewirken soll. Meine Vermutung ist das evtl. Vignettierung bzw alles andere vor dem Flatfield herausgerechnet werden soll. Wieso dann aber gerade 90° Grad?


Hier ist mal ein Histogramm eines einzelnen Roh-Flats des Canon Raw so wie es Ufraw interpretiert:
Link zur Grafik: http://imgur.com/DrSb1EEl.png
Schön mittig, sollte also passen.



Hier nochmal meine Bearbeitungsschritte mit den neuen Bildern:

Die Raws (Flat/Bias/Dark) (*.cr2) habe ich per

dcraw -t 0 -4 -j -T FILE

in Tiff's umgewandelt, dann:

(20 Flat 0°)-(Masterdark 0°)-(Masterbias) = masterflat0°
(20 Flat 90°)-(Masterdark 90°)-(Masterbias) = masterflat90°
masterflat0°/masterflat90° = Endbild

Nun habe ich ein neues End-Bild, relativ gleichmäßig weiß ohne harte Kanten, mit folgenden Werten:

Red:
min: 3976 (0.0606699)
max: 65535 (1)
mean: 65035.2 (0.992374)
standard deviation: 1410.17 (0.0215178)
Green:
min: 43492 (0.663645)
max: 65535 (1)
mean: 64980.7 (0.991542)
standard deviation: 1493.46 (0.0227887)
Blue:
min: 35341 (0.539269)
max: 65535 (1)
mean: 65138.2 (0.993945)
standard deviation: 1179.67 (0.0180007)
Overall:
min: 3976 (0.0606699)
max: 65535 (1)
mean: 65051.3 (0.99262)
standard deviation: 1369.11 (0.0208913)

Wie die jetzt aber auf der optecinc Seite auf die Prozentzahl kommen ist mir völlig Rätselhaft.

Insbesondere:

Note the standard deviation of the flatted stack (Figure 3) is ~ 8 ADUs. Three standard deviations comprises 99.7% of the pixel value difference, which in this case would be ~24 ADU variation in the image. Since the average pixel value in the image is 31293 ADU, 99.7% of the pixel values are within 2X 24/31293 x 100 = 0.16% of each other!

Ich hätte jetzt gerechnet (Overall) (std.dev/(max-min))*100 = 2,2%.
Das wäre ja schon ordentlich wenn es auch wirklich so stimmen sollte was ich aber bezweifle.

 

[bulrichl]

Hallo Pauldd,

Wie gesagt die beiden Masterflats sind warscheinlich fehlerhaft da ich sie nicht aus den Canon Raw's erstellt habe sondern aus Fits Dateien die bei mir als Greyscale angezeigt werden:

OK, dann würde ich die FIT-Dateien löschen - damit kannst Du nichts anfangen.

Ich würde die Original-Aufnahmen immer als CR2-Dateien abspeichern und auch aufbewahren. Jeder Raw-Decoder bearbeitet bereits die Daten, wenn man falsche Parameter für das Decodieren verwendet. Pixinsight verwendet dcraw mit den folgenden Parametern, wenn 'Pure Raw' (d. h. keine Bearbeitung der Daten) einstellt ist: dcraw -4 -o 0 -r 1 1 1 1 -D -t 0 -k 0 -H 1 -T
(Das "-T" am Ende habe ich hinzugefügt, damit eine TIFF-Datei erzeugt wird.) Die Parameter sind hier erläutert: http://www.cybercom.net/~dcoffin/dcraw/dcraw.1.html

Ich empfehle Dir, die o. g. Parameter zu verwenden. Du hast dann das Graustufenbild (mit der Bayer-Matrix) ohne irgendwelche Manipulationen bezüglich Schwarzpunkt, Farbbalance, usw.. Wichtig ist, dass Du beim Decodieren der CR2-Dateien für ALLE Aufnahmen (Lights, Darks, Bias, Flats) dieselben Parameter verwendest.

Sehr wichtig ist auch, dass Du kontrollierst, dass bei Subtraktionen (Kalibrierung von Lights oder Flats mit Darks bzw. Bias) kein Clipping (negative Werte, die dann als Null interpretiert werden) aufgetreten ist. Clipping bedeutet Datenverlust, und das kann durch spätere Bildbearbeitung nicht wieder rückgängig gemacht werden.

Das mit dem dividieren habe ich von hier:
http://www.stargazing.net/david/qsi/ccdperfflats.html
und insbesondere hier:
http://www.optecinc.com/astronomy/catalog/alnitak/xl_testing.htm

Die Links werde ich mir später mal genauer ansehen.

Um so mehr wundert es mich das du Farbinformationen angezeigt bekommst.

Die Farbinformation steckt in dem Graustufenbild in Form der Bayer-Matrix, bei Canon-Kameras:

R   G   R   G

G   B   G   B

R   G   R   G

G   B   G   B


Bernd

 

[Pauldd]

Super, Danke für die Informationen. Ich lass nochmal alle *.cr2 Bilder durch dcraw mit deinen Parametern laufen.

 

[Pauldd]

Was mich gerade wieder stutzig macht sind die Statistik-Werte der Flats nach dem umwandeln mit der neuen dcraw Syntax.

Ich bekomme jetzt für ein Flat.tiff

identify -verbose FlatTest2-0deg_Flat_001.tiff | grep 'min\|max\|mean\|deviation\|Red\|Green\|Blue\|Overall\|Gray'
  Type: Grayscale
  Colorspace: Gray
    Gray: 16-bit
    Gray:
      min: 2543 (0.0388037)
      max: 5849 (0.08925)
      mean: 3773.42 (0.0575787)
      standard deviation: 476.591 (0.00727231)
    tiff:photometric: min-is-black

Wie kann das sein? Ich habe meine Flats versucht mit ADU~50% aufzunehmen, ufraw zeigt mir ein mittiges Histogramm.
Nach dem umwandeln sehe ich aber nun einen mean von 3773.42 was bei 16bit 65535 Werte sind und davon sind 3773.42 gerade mal 5,7%. Oder hängt das mit der Bayer Matrix zusammen?

@Bernd
Wenn du nochmal eins meiner Raws in PI auf seine Werte prüfen könntest wäre das echt super, ich traue den Imagemagick Statistiken irgendwie nocht so ganz.

Hier mal das erste Flat aus der ersten Serie:
https://drive.google.com/file/d/0B-Xegfe-6xKaNGJzZ2JtZU1RTVE/view?usp=sharing

 

[bulrichl]

Hallo Pauldd,

Wie kann das sein? Ich habe meine Flats versucht mit ADU~50% aufzunehmen, ufraw zeigt mir ein mittiges Histogramm.
Nach dem umwandeln sehe ich aber nun einen mean von 3773.42 was bei 16bit 65535 Werte sind und davon sind 3773.42 gerade mal 5,7%. Oder hängt das mit der Bayer Matrix zusammen?

die Statistik-Werte sind korrekt. Hier noch mal das, was Pixinsight für die Farbkanäle getrennt für die Datei "FlatTest2-0deg_Flat_001.cr2" ausgibt:

Kanal  mean   median  stdDev avgDev MAD   min   max
R      3037   3049    105     83     70   2543  3673
G      4117   4146    206    162    138   3100  5562
B      3823   3849    180    142    120   2930  5849

Die Diskrepanz wird daran liegen, dass mit Deinen alten dcraw-Parametern bereits die Intensitätswerte gestreckt wurden.

Bei meiner Canon 600D ist der maximale Wert (= Sättigung) mit den genannten dcraw Parametern bei 15300 und nicht bei für einen 14-bit ADC theoretisch zu erwartenden 2^14 - 1 = 16383. Am besten mit Deiner Kamera (durch eine überbelichtete Aufnahme) noch mal überprüfen.

Fazit aus diesem Ergebnis: Du solltest die Belichtungszeit der Flatfield-Aufnahmen noch ungefähr um den Faktor 2 erhöhen. (Meine Rechnung: Bias ist ca. 2050, Sättigung entspricht 15300 => (15300 - 2050)/2 + 2050 = 8675).)

Bernd

 

[Pauldd]

Du hast da sicherlich recht, das habe ich mir auch schon gedacht. Ich mache die Bilder nochmal (kostet ja nix ).

Wie kommst du beim Bias auf 2050? Erfahrungswerte? Und warum ziehst du das einmal ab und addierst es dann wieder drauf?

In Kstars ich das aber auch noch nicht ausgereift. Dort hat man bei der Raw Aufnahme überhaupt keine Statistik/Histogramm zu den Bildern, nur wenn man Fits einstellt, aber das bringt in dem Fall nix, da muss ich das jetzt halt extern Prüfen ob die Werte stimmen.

Vielen Dank dir erstmal, ich habe mir gerade die PI-Trial installiert, damit sollte ich 14 Tage Zeit haben konsistente Bild Statistiken auszulesen

 

[bulrichl]

Hallo Pauldd,

Wie kommst du beim Bias auf 2050? Erfahrungswerte? Und warum ziehst du das einmal ab und addierst es dann wieder drauf?

bei meiner 600D liegt der Median einer Bias-Aufnahme bei 2048 und bin davon ausgegangen, dass das bei der 700D genauso ist (am besten überprüfst Du das noch mal). Dieser Wert ist also praktisch der "Nullpunkt", der Startwert jedes Pixels. Durch die Belichtung können die Intensitätswerte vom Startwert 2048 bis zur Sättigung (bei mir 15300) zunehmen. Die Differenz (Intensitätswert - Bias) sollte also der Belichtungszeit proportional sein. Die Differenz wird halbiert (man möchte in die Mitte dieses Bereichs). Um den Sollwert für die Flatfield-Aufnahmen zu erhalten, muss am Ende der Bias-Wert wieder dazuaddiert werden. (Diese Rechnung gilt natürlich nicht streng für jeden einzelnen Pixel, sondern nur für das statistische Mittel.)

Die von Dir verwendete Software (Ufraw, Kstars) kenne ich nicht - dazu kann ich also nichts sagen.

Vielen Dank dir erstmal, ich habe mir gerade die PI-Trial installiert, damit sollte ich 14 Tage Zeit haben konsistente Bild Statistiken auszulesen smile

Ein Tip für das Ausprobieren von Pixinsight:
betätige zu Anfang einmal in "View/Explorer Windows/Format Explorer/DSLR_RAW/Edit Preferences" den Button "Pure Raw" und bestätige die Änderung mit "OK". Dann werden beim Öffnen von CR2-Dateien die richtigen dcraw-Paraneter verwendet.

Bernd

 

[Pauldd]

Danke Bernd
Ha, endlich stimmt mal was
Meine Bias haben einen Median von 2047.
Mit der Rechnug habe ich jetzt auch kapiert, ich hatte nur nicht realisiert das du vom Median ausgegangen bist und
man da natürlich nach oben und unten rechnen muss.

Das mit dem Pure Raw habe ich schon rausgefunden.

Was ich inzwischen noch herausgefunden habe ist das meine Flatflieldfolie bei Aufnahmen um +/-2,5% in der Helligkeit schwankt (aus 20 Flats vom Mittelwert ermittelt). Keine Ahnung ob das gut oder schlecht ist.

Jetzt prozessiere ich erst mal die ganzen Bilder durch.

 

[bulrichl]

so, ich habe mir die beiden Links mal angeschaut. Wenn ich es richtig verstanden habe, unterscheidet sich die beschriebene Rotation:

1) http://www.stargazing.net/david/qsi/ccdperfflats.html
"One way to test the quality of the flat frame light source is to create a master flat frame and then create a second master flat frame with the telescope or light source rotated 90 degrees."

Dort ist klar beschrieben, dass entweder das Teleskop (samt Kamera) oder die Lichtquelle um 90° gedreht wird. Das halte ich für sinnvoll zur Kontrolle, ob die Lichtquelle eine gleichmäßige Helligkeit über die relevante Fläche hat. Im Idealfall sollte die Division (wie weiter oben schon geschrieben ist eine Subtraktion von 0.5 erforderlich) ein Bild mit gleichmäßigem Grauwert liefern. Das Histogramm sollte eine schmale, symmetrische Verteilung zeigen.


2) http://www.optecinc.com/astronomy/catalog/alnitak/xl_testing.htm
"Figure 2: The Master flat produced by Maxim from 20 one-second duration images after having rotated the camera by 90 degrees on the telescope."

Hier ist die Beschreibung anders: "... after having rotated the camera by 90 degrees on the telescope." würde ich so interprestieren, dass die Kamera gegen das Teleskop um 90° gedreht wird. Das ergibt für mich aber überhaupt keinen Sinn. Wenn man bei der Aufnahme von Lightframes Kamera und Teleskop gegeneinander verdreht, benötigt man für die Flatframe-Korrektur auch neue, passende Flatframes, denn alles, was sich im optischen Wege befindet, beeinflusst die Flatframes. Daher würde ich nicht erwarten, dass bei diesem Procedere etwas Vernünftiges herauskommt.


Zwei Fragen noch:
Wie groß ist die Belichtungszeit für die Flatframes?
Bearbeitest Du die neuen Flatframes dann komplett in Pixinsight?

Bernd

 

[Pauldd]

Hm, also ich weiss auch nicht wirklich. Ich habe jetzt immer die Kamera gedreht weil die Seite von 2. irgendwie "seriöser" wirkte.
Zu zweitens, es geht ja nicht darum Lightframes zu kalibrieren sondern in dem Fall primär die Güte der Flatfieldfolie zu bestimmen. Wenn man dann regulär die Lights macht macht man das ganze gedrehe Procedere natürlich nicht. Ich suche mal im Netz ob es vielleicht noch eine dritte oder vierte Beschreibung zu dem ganzen gibt.

Meine Flats und Darks habe ich mit zwei Sekunden gemacht. Dann habe ich solange am StepDown Converter meiner EL-Folie gedreht bis ich ungefähr auf einen Mean Wert von 8500 komme, also von 12V runter auf 4,3 Volt.

Ja, ich habe gerade alles mit PI durchlaufen lassen.
Bin gerade durch mit allen Flats und habe nun wieder zwei Masterflats mit

MasterFlat0
            K
count (%)   100.00000
count (px)  18103008
mean        6688.487
median      7316.994
stdDev      1845.198
minimum     2133.722
maximum     10527.492

Sollte also jetzt passen mit der Helligkeit obwohl ich in PI nur zwei ziemlich dunke Bilder sehe.

Außerdem stellt sich mir gerade die Frage wie ich in PI zwei Bilder dividiere? Ich habe das bisher immer in Gimp gemacht.

Was mich ausserdem wundert, das ich garkeine Donuts in den Masterflats sehe. Mein Teleskop ist zwar noch relativ jungfräulich aber so blitze blank?

 

[Pauldd]

Ok hier gibts schon mal einen Hinweis:

take four shots through your telescope at the box and rotate the box or the scope (with the camera) by 90 degrees between each shot. You want to make sure that the gradient moves with the scope rotation. If it doesn't, then your box is not evenly illuminated.

https://www.cloudynights.com/topic/...esting-after-lightbox-completation/?p=6257568

Das würde den zweiten Link tatsächlich unglaubwürdiger machen.

 

[Pauldd]

Hm, dann müsste ich erstmal eine Art Rahmen oder Klammern bauen die meine Folie beim drehen mittig hält, ich bin noch immer in den Vorarbeiten des automatischen Flatfield-Dustcover. Im Moment liegt das Flatfield auf dem Tubus.

Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/dustcover2.jpg
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/dustcover1.jpg

Ich dachte halt nur bevor ich nochmehr Arbeit in das ganze stecke prüfe ich erstmal die Güte der EL-Folie.

Aber auch das kriegen wir hinn

 

[bulrichl]

Hallo Pauldd,

2 Sekunden Belichtungszeit erscheinen mir vernünftig.

Zu Pixinsight:
1) Wenn das Bild zu dunkel ist (das ist bei linearen Bildern ja praktisch immer der Fall) musst Du "Process/IntensityTransformations/ScreenTransferFunktion" aufrufen und "Auto Stretch" anwählen (das Radioaktiv-Symbol). Das ist im Control Bar auch ohne Menü-Gewurschtel direkt anwählbar. Das Bild bleibt dabei linear, nur die Bildschirmdarstellung wird geändert.

2) Bei dem Graustufenbild mit Bayer-Matrix ist die Intensitätsverteilung für die einzelnen Farbkanäle interessant. Das kannst Du ansatzweise (weil nur als Summe dargestellt) im Histogramm sehen ("Process/IntensityTransformations/HistogramTransformation").

3) An die einzelnen Farbkanäle kommst Du folgendermaßen ran:
"Process/PixelMath/PixelMath", Formel:
a) Rot-Kanal:
iif(x()%2 == 0 && y()%2 == 0, $T, 0)
"Apply"

"Process/Statistics" aufrufen. Dabei "Normalized" und "Unclipped" nicht checken.
"Process/IntensityTransformations/HistogramTransformation" aufrufen.
(Bei beiden Prozessen wird das Bild, auf das sich der Prozess bezieht, in der Auswahlliste des Prozesses ausgewählt.)

anschließend Undo,
b) Grün-Kanal:
iif((x()%2 == 0 && y()%2 != 0) || (x()%2 != 0 && y()%2 == 0), $T, 0)
"Apply"

anschließend Undo,
c) Blau-Kanal:
iif(x()%2 != 0 && y()%2 != 0, $T, 0)
"Apply"

(Erläuterung: x() ist die x-Koordinate, y() die y-Koordinate eines Pixels. Die Numerierungen starten bei Null. x()%2 == 0 bedeutet z. B. Pixel mit gerader x-Koordinate (also 0, 2, 4, ...). Die Pixel, für die die Bedingung wahr ist, bleiben unverändert (= $T), der Rest wird auf Null gesetzt.)

4) Division von Bildern geht ebenfalls mit PixelMath:
Beide Bilder öffnen, Formel:
image1/image2-0.5
(Die geöffneten Bilder kann man im "Expression Editor" unter "Images" aus einer Liste wählen)
"Destination" aufklappen, "Create new image" wählen,
"Apply"

Bernd

 

[Pauldd]

Danke Bernd

Hier mal die Ergebnisse der neuen Aufnahmen in PI wobei nur das Flatfield gedreht wurde:

a. Ich habe alle Darks einer Serie "Average", "No Normalization", "Dont Care Weights" und "No Rejection" zu einem Masterdark integriert. Die Noise Dinger habe ich so gelassen.
Das selbe mit den Bias, wobei es da nur eine Serie gibt mit denen ich alle Flats kalibriere.

b. Alle Flats einer Serie mit der dazugehörigen Serie Darks und den allgemeinen Bias kalibriert. Noise auf "multiresolution", "Calibrate" und "Optimize" bei den Master Bias und Master Dark Einstellungen aktiviert.

Punkt deines Posts:

1. Das atomisierte MasterFlat bei 0° Position:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/atommasterflat.png

2. Dessen Histogramm
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/histogramm.png

und die Statistik dazu:

MasterFlat0
            K
count (%)   100.00000
count (px)  18103008
mean        6198.660
median      6740.350
stdDev      1701.465
minimum     2218.300
maximum

3. Hier bin ich hängen geblieben. Die erste Formel (rot) kommt wo genau rein? Ganz oben bei RGBK? Muss ich dann noch ein Bild angeben oder wird automatisch das geöffnete genommen?
Ich habe das so gemacht und dann bei Statistics das bekommen:

MasterFlat0
            K
count (%)   25.00000
count (px)  4525752
mean        3527.974
median      3581.125
stdDev      336.819
minimum     2218.300
maximum     4733.725

Danach das HistogrammTransformation, da ist eigentlich nix zu sehen:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/histogramm2.png
Hier habe ich dann erstmal abgebrochen.

4. Division klappt, das Resultat sieht so aus:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/flatsdivided.png

Ich weiss leider noch nicht so richtig wie ich jetzt die Helligkeitsabweichung in Prozent bekomme.
Ich hätte jetzt Pi*Daumen gerechnet. Die StandartDeviation durch zwei, das ganze durch 65535 und mal 100 um auf Prozent zu kommen, das macht bei mir +/- 1,3% Abweichung, wäre eigentlich gar nicht so schlecht wenns stimmt.

Da ist schon ein ziemlich heller Fleck unten Rechts, der macht mich etwas stutzig. Evtl. müsste ich nochmal Probieren das Flatfield andersrum 90° zu drehen. Die Frage ist dann ob das einen Unterschied macht und von wo aus "im Uhrzeigersinn" gemeint ist... vom Tubus nach außen oder oben drauf geschaut. Kann aber auch täuschen wenn das Bild eh nur einen kleinen Bereich der Grauwerte anzeigt, da sieht die Abweichung evtl. so aus.

 

[Pauldd]

Nachtrag: Bei dem Histogramm wo nix zusehen ist war selbstverständlich auch das Bild selektiert und nicht leer wie auf dem Bild... war trotzdem nix zu sehen.

Könnte man nicht auch das Grau Bild in den BatchDeBayer schicken und dann die RGB Kanäle anschauen? Oder macht dieses etwas anderes?

 

[bulrichl]

Zur Kalibrierung:
Schau Dir mal das Tutorial zur Kalibrierung von Herbert Walter an, siehe:
www.skypixels.at/downloads/PixInsight/tutorials/Master_Bias_Dark_Flat_v2.pdf
Die Infos zur Einstellung im Format Explorer/DSLR_RAW sind (wegen Änderungen in der aktuellen PI-Version) nicht mehr auf dem neuesten Stand, aber ansonsten enthält dieses Tutorial meiner Meinung nach alles Wichtige zur Kalibrierung.


Zu den Punkten 1) + 2):
Das sieht doch schon mal sehr gut aus.

Zu Punkt 3):
Ja, die Formel gehört in die obere Eingabezeile des PixelMath-Fensters, RGB/K. Die PixelMath-Arithmetik hat bei Dir auch korrekt funktioniert, man sieht es an der Statistik: count = 25 % bedeutet ja, dass ein Viertel der Pixel ausgewertet wurden (nämlich die "roten"). Wenn Du trotzdem kein Histogramm gesehen hast, liegt das an der fehlenden Bildwahl im Prozess-Fenster "HistogramTransformation". Man muss das Bild entweder manuell in der Auswahlliste auswählen, oder man selektiert das Häkchen rechts unten ("Track View") - dann beziehen sich die Angaben auf das aktuelle Bild (das oberste Fenster). Das gilt sowohl für "Statistics" als auch "HistogramTransformation" (und soviel ich weiß noch für einige andere Prozesse). Bei "Statistics" hast Du das wohl richtig gemacht, bei "HistogramTransformation" aber offenbar nicht - einfach noch einmal probieren. Mit den anderen Kanälen funktioniert es genauso. Für grün ist dann logischerweise count = 50 %, weil 2 von 4 Pixeln "grün" sind.

Für die Beurteilung der richtigen Belichtung der Flatframes bringt debaybern gar nichts. Das Graustufenbild enthält alle Informationen, die Du benötigst. Ein Viertel der Pixel haben einen Rotfilter, ein Viertel der Pixel einen Blaufilter und die Hälfte hat einen Grünfilter. Ziel ist es, so reichlich zu belichten, dass auch in den Pixeln mit der höchsten Intensität (bei Dir: die mit dem Grünfilter) kein Clipping auftritt. D. h. von Hot Pixeln einmal abgesehen dürfen keine Pixel im Grünkanal gesättigt sein. Das kannst Du Dir mit der Pixel-Arithmetik für den Grünkanal entweder im Histogramm oder in der Statistik sehr schön anschauen.

Zu Punkt 4):
Die Drehrichtung dürfte keinen Einfluss auf das Ergebnis haben, außer dass die hellere Ecke woanders liegt. Das ist nun aber wirklich egal.


Bernd

 

[Pauldd]

Also zu Punkt 3, ich bekomme da irgendwas ins Histogramm. Ich habe das an einem MasterFlat probiert. Das ist aber so winzig das ich dort bis ins unendliche zoomen muss. Das scheint mir nicht normal zu sein.

Hier ein "Beweisvideo" :
Vieleicht erkennst du ja was ich falsch machen könnte

Und hier noch der Link zu dem MasterFlat:
https://drive.google.com/file/d/0B-Xegfe-6xKaUlZuWFFUVG4wakk/view?usp=sharing

 

[Pauldd]

Ich hätte noch eine einzige letzte Frage zu der Formel bei der Division der zwei Flats im PixelMath. Auf was bezieht sich die 0.5 ? Also was "0.5" wird da vom zweiten Bild abgezogen? Und geht da Punktrechnung vor Strichrechnung, also wird 0.5 erst nach der Division abgezogen?

Ich habe mir das PDF angeschaut aber irgendwie hatter bei "Master Flat 1/3" vergessen das Master Dark mit zu kalibrieren oder ich kappiers einfach nicht

 

[bulrichl]

Hallo Paul,

Also zu Punkt 3, ich bekomme da irgendwas ins Histogramm. Ich habe das an einem MasterFlat probiert. Das ist aber so winzig das ich dort bis ins unendliche zoomen muss. Das scheint mir nicht normal zu sein.

ich habe mir die Datei Masterflat0.XISF heruntergeladen und Dein Video angeschaut. Wie schon gesagt funktionierte die PixelMath-Arithmetik für den Rotkanal bei Dir fehlerfrei. Ich habe es noch einmal überprüft und erhielt die gleichen Statistik-Werte wie in Deinem Video. Bei Dir klappte dann die Anzeige des Histogramms für den Rotkanal nicht, was bei mir jedoch fehlerlos ging. Nachdem ich mir das Video noch mal genau angeschaut hatte, war die Sache schnaell klar: Du hattest - warum auch immer - im HistogramTransformation-Fenster den Button "Reject saturated Pixels" nicht aktiviert. Das ist der Fehler! Mit dieser Einstellung wird der Peak bei Intensität 0 (75 % aller Pixel sind auf 0 gesetzt!) so hoch, dass die restlichen Pixel mit einem y-Zoom von 1 im Histogramm nicht mehr darstellbar sind. Auf jeden Fall funktioniert alles, wenn Du in HistogramTransformations den Button "Reject saturated Pixels" aktivierst (was die Default-Einstellung ist). Probier es noch mal aus.

Übrigens kann man in Pixinsight, wenn man mal mit allen Einstellmöglichkeiten rumgespielt hat und plötzlich gar nichts mehr so funktioniert wie gewohnt, weil unbeabsichtigt irgendein wichtiger Parameter auf einem unsinnigen Werte steht, in den meisten Prozessen auf sehr simplem Wege die Default-Werte wieder einstellen: einfach den "Reset"-Button unten rechts betätigen.


Bernd

 

[bulrichl]

Ich hätte noch eine einzige letzte Frage zu der Formel bei der Division der zwei Flats im PixelMath. Auf was bezieht sich die 0.5 ? Also was "0.5" wird da vom zweiten Bild abgezogen? Und geht da Punktrechnung vor Strichrechnung, also wird 0.5 erst nach der Division abgezogen?

Bei der Division der beiden Masterflats erhältst Du Pixelwerte in der Nähe von 1. Pixinsight repräsentiert die Werte intern im Gleitkommaformat und zwar im Wertebereich 0 bis 1. Die Werte über 1 würden dann abgeschnitten (oder aber es wird eine Reskalierung durchgeführt; dies ist einstellbar in PixelMath, Destination/Rescale result). In diesem Fall Du würdest bei der Darstellung als Histogramm nur die untere Hälfte des Peaks sehen. Um das zu vermeiden, habe ich vorgeschlagen, den Wert 0.5 abzuziehen - dann liegt der Peak im Histogramm etwa in der Mitte der x-Achse.

Klar, Punktrechnung vor Strichrechnung. Im Zweifelsfall Klammern setzen. Ein paar Beispiele für PixelMath Ausdrücke und auch der Expression Editor sind z. B. hier erläutert:
https://pixinsight.com/forum/index.php?topic=6332.0

Ich habe mir das PDF angeschaut aber irgendwie hatter bei "Master Flat 1/3" vergessen das Master Dark mit zu kalibrieren oder ich kappiers einfach nicht laugh

Nein, er hat es nicht vergessen, sondern kalibriert die Flatfield-Aufnahmen absichtlich nur mit dem MasterBias. Das dürfte auch in den allermeisten Fällen empfehlendwert sein. Der Grund ist, dass im Gegensatz zur Belichtungszeit der Lightframes (beispielweise 300 s) die Belichtungszeit der Flatframes (beispielsweise 2 s) sehr gering ist. Da der Dunkelstrom porportional zur Belichtungszeit ist, spielt er (zumindest bei rauscharmen Kameras) bei Flatframe-Aufnahmen keine große Rolle; oder anders gesagt: ein Darkframe mit 2 s Belichtungszeit sieht ähnlich aus wie ein Biasframe mit 1/4000 s Belichtungszeit (Du kannst ja mal überprüfen, ob das auch für Deine Kamera zutrifft). Was man aber auf keinen Fall machen darf, ist, auf die Bias-Subtraktion zu verzichten - dann geht die Flatframe-Korrektur in die Hose.


Bernd

 

[Pauldd]

So, ich habe nochmal alles durchrechnen lassen und auch noch ein paar Fehler entdeckt wie z.Bsp. das der MasterBias bei der Integration in die Flats nicht "calibrated" werden sollte ...

Das Dividierte Resultat:

Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/enddivided.png

MasterDivided
K
count (%) 100.00000
count (px) 18103008
mean 24656.405
median 24512.362
stdDev 1551.982
minimum 19752.767
maximum 33127.186

Und ja dieser eine verflixte Knopf hat mich fast wahnsinnig gemacht

Hier nun die einzelnen Farbkanäle:

Rot:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/histo_r.png
Grün:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/histo_g.png
Blau:
Link zur Grafik: https://pauledd.files.wordpress.com/2017/06/histo_b.png

An der Endrechnung hat sich nicht viel verändert ausser das ich statt mit der 2^16 zu rechnen eher 61239 genommen habe da im 14bit Raum meine Bilder ja auch bereits bei 15310 gesättigt waren und nicht bei 2^14. Am Ende komme ich auf unglaubliche ((1551/2)/61239)*100 = +/-1,26% Abweichung von der Mitte. Wenn das stimmen sollte bin ich äusserst zufrieden.

Damit wäre mein Flat Test beendet und ich kann mich optimistisch meinem Flatfield Dustcoverbau zuwenden.

Ich möchte nochmal meinen herzlichsten Dank an Bernd richten der mir dabei so toll geholfen hat. :super:

 

[Pauldd]

Ich habe gerade noch ein Dokument gefunden das auf der letzten Seite erklärt wie die Rechnung vom zweiten Link zustande kommt.

The best way to evaluate the uniformity is to check
the histogram of this flattened flat. It should look like a
symmetrical Gaussian distribution or bell curve, and the
width of the distribution is proportional to the uniformity
of illumination. To make a numerical estimate of unifor-
mity, look at the standard deviation of pixel values in the
image using the information window of your acquisition
program. In a Gaussian distribution, 99.7% of all values
lie within three standard deviations (commonly referred
to by the symbol σ) of the mean on either side, so you can
calculate the degree of uniformity of your flat field using
this simple formula:

% of variation from uniformity =

100% × 2 ×3σ / (Mean pixel value of “flatted flat”)

http://www.skyandtelescope.com/wp-content/uploads/documents/Flatfields+Mar11.pdf
Mal sehen ob ich das morgen hin bekomme so zu rechnen.

Komischerweise wird hier auch wieder davon geschrieben das die Kamera gedreht wird:

To evaluate the uniformity of illumination of your flat field,
you can perform this simple test. Take an image of
your illumination source, and then rotate your camera by 90°
and take another image. Now calibrate the first image
using your master dark and using the second image as
the flat field. Doing this is essentially “flat-fi
elding a flat”, so your resulting calibrated image
should be completely uniform.

 

[bulrichl]

Der Artikel erklärt das ganz gut. Ich bin aber davon überzeugt, dass mit "Take an image of your illumination source, and then rotate your camera by 90° and take another image." NICHT gemeint ist, die Kamera gegen die Optik zu drehen, sondern das gesamte System (Kamera + Optik) gegen die Lichtquelle zu drehen. Bei einer Drehung der Kamera gegen die Optik würden durch Verschmutzung der Optik hervorgerufene "dust donuts" eine ungleichmäßig leuchtende Lichtquelle vortäuschen, da die "dust donuts" in den beiden Aufnahmen um 90° versetzt auftauchen. Dieser Effekt wäre bei stärkerer Verschmutzung größer als bei einer sauberen Optik. Da das Ziel der Bemühungen aber ist, die Gleichmäßigkeit der Lichtquelle zu ermitteln ergibt das überhaupt keinen Sinn. Daher denke ich, dass die oben zitierte Formulierung einfach etwas ungenau ist.


Bernd

 

[Pauldd]

Ja das fände ich auch logischer. Aber es gibt noch eine Unstimmigkeit. In dem PDF ist die Rede von

calibrate the first image
using your master dark and using the second image as
the flat field.

Wieder keine Rede von einem Bias, nur von einem an sich doch sinnlosen Dark. Außerdem wird das zweite Flat roh genommen, ohne irgendwelche Dark abzüge. Wäre schön zu wissen ob das einfach nur ungenau beschrieben ist oder ob das tatsächlich so sein soll.

Ich habe gerade Kontakt mit dem Author des Artikels geknüpft und frage ihn mal dazu, insbesondere zu der Rechnung mit der Gauss-Verteilung. Da kappier ich einfach nicht wie sich der Wert für σ herleiten lässt.

 

[Soffel]

Hallo Paudd,
ich habe mir die Artikel jetzt nicht durchgelesen, aber wird das Dark zufällig mit der gleichen Belichtungszeit/Temperatur wie das Flat aufgenommen? Falls ja, dann ist es ein Flat-Dark und enthält schon das Bias.

VG
Stefan