GraXepert Informationsverlust

Status
Es sind keine weiteren Antworten möglich.
Ulli_K

Ulli_K

Aktives Mitglied
Hallo zusammen,
seit einiger zeit benutze ich GraXepert und frage mich manchmal, ob bei ausgedehnten Nebeln nicht zuviel vermeintlicher "Hintergrund" abgezogen wird. Hier ein Beispiel mit Rohdaten, frisch gestackt und in Pixinsight mit STF automatisch gestreckt. Da geht im rechten Nebelteil einiges an H-alpha Information verloren.
Wie kann ich das beeinflussen?

Danke und CS, Ulli

links: Original rechts: nach GraXepert
Original.jpg
GraXepert.jpg

hier der abgezogene Hintergrund
Hintergrund.jpg
 
Hi Ulli,
Du kannst mal versuchen, "Smoothing" auf 1.0 zu stellen (oder zwischen 0...1, default ist 0). Zumindest bei mir hat das geholfen. Obs da noch besserer Möglichkeiten gibt würde mich auch interessieren ;-)
 
Hallo Ulli,

deine Aufnahme im Original ist eigentlich so gut, dass nicht viel abzuziehen wär. Ich würde mal ohne GraXpert eine Version erstellen.
 
Dieses Ergebnis würde ich nicht akzeptieren. Bleibt wohl nur, wie in "alten Zeiten" manuell vorzugehen.
Ansonsten finde ich GraXpert AI echt toll, bringt fast immer sehr gute Ergebnisse.
 
Hallo,

Hatte vor kurzer Zeit ein zweiteiliges Mosaic erstellt von NGC1499, dabei hatte mir der AI von GradXpert die meisten Hbeta Daten in blau beigemischt als Gradienten rausgehauen wie ich das klar sehen konnte am abgezogenen Hintergrund.
Gut danach musste ich das manuell auch machen, was etwas gedauert hat.

Clear skies,
- Martin
 
Hallo zusammen,
danke für Eure Rückmeldung. Hier eine neue Version mit DBE und dazugehörigem Background. Das gefällt mir deutlich besser. Man muss wohl offenbar doch noch NI einsetzen, wenn die AI an ihre Grenzen kommt ... :)
Aber es würde mich natürlich interessieren, ob man bei GraXepert nicht noch etwas Feintuning machen kann - es ist halt schon ein sehr praltisches Werkzeug. Smoothing auf 1 habe ich probiert. Der Unterschied war nicht so groß. Auch dort war der rechte Nebelteil ziemlich "ausgedünnt".

Hier die DBE-Version
DBE.jpg

DBE_bgr.jpg
 
Hallo,

man kann bei GraXpert AI kein Feintuning machen. Wenn man das smoothing erhöht verwischt man nur, man ändert aber nichts an der Tatsache.
Wenn die AI nicht sauber arbeitet, sollte man es mit z.Bsp. der RBF Methode versuchen, die ja imer noch da ist und die immer noch sehr gut funktioniert. Was für uns leider etwas frustrierend ist, ist die Tatsache, dass solche Dinge zwar öffentlich diskutiert werden, ihr uns damit aber nicht helft. Was wir in dem Fall benötigen ist das Bild. Nur mit den Bildern wo GraXpert AI NICHT gut funktioniert, können wir die AI neu trainieren und verbessern. Leider bekommen wir annähernd Null Bilder zugeschickt.

Hier die entsprechenden Links

https://bit.ly/46mubXS Upload Images
https://bit.ly/48itmBf Contributor Agreement

CS Frank
 
Zitat von Pitufo:
Hatte vor kurzer Zeit ein zweiteiliges Mosaic erstellt von NGC1499, dabei hatte mir der AI von GradXpert die meisten Hbeta Daten in blau beigemischt als Gradienten rausgehauen wie ich das klar sehen konnte am abgezogenen Hintergrund.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Hallo, GraXpert wurde nicht an Daten trainiert, bei denen Schmalbandbilder zu einer Farbpalette gemischt wurden, folglich funktioniert es da nicht. Der Weg geht nur so, dass man GraXpert AI an den gestackten Einzelkanälen anwendet.

CS Frank
 
Woher soll die schlaue AI auch wissen, was Gradient und was Objekt ist? Das funktioniert kontraststärkeren und kleineren Strukturen noch sehr gut, aber in diesem Fall hat sie es mit großflächigem diffusem Glühen knapp über dem Hintergrundrauschen. Genau so sehen Gradienten in der Regel auch aus und werden von der AI platt gemacht.

Ich habe in GraXpert dein Original.jpg geladen und die Punkte manuell gesetzt, RBF Methode, Smoothing 0.7, funktioniert wunderbar, alle Details im Nebel bleiben erhalten, im Background drückt der Nebel nicht durch:y:.

Wie Harald oben schon geschrieben hat, ist das Original bereits so schön eben, dass es eigentlich gar keine weitere Ebnung braucht. Von so etwas kann ich nur träumen. Bei mir sieht das Dank Stadtflut, Laternen und oft auch Mond meist eher so aus, da muss ich immer die Punkte per Hand setzen, was ich jedoch nicht tragisch finde, ist ja schnell gemacht:
M45_514x30s_roh_Autostretch2.jpg
 
Zitat von Stathis:
Woher soll die schlaue AI auch wissen, was Gradient und was Objekt ist?
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wenn man so will aus Erfahrung! Denn in der schlauen AI steckt antrainiertes aus knapp 100 Astrofotos bei denen nichts anderes gemacht wurde, wie manuelle Samples gesetzt. Verbessert werden kann es durch besseres Training.
Woher weiß die manuelle Methode was Gradient und was Objekt ist? Gar nicht! Es ist eine Interpolation, lediglich eine Annahme. Zugegeben kann man hier mit der Wahl der Messpunkte irgendwie versuchen Einfluss zu nehmen.

Gradientenentfernung so wie wie wir es (bisher) betreiben ist "Guess Work", mit oder ohne KI.

CS Frank
 
Hallo,

100 Bilder sind sehr, sehr wenig und dadurch wird oft nicht der gewünschte Effekt erzielt. Ich empfehle erstmal deutlich mehr Bilder zu trainieren (>1000-10.000) um ein robustes Basis Modell zu erhalten. Das müssen erstmal nicht Bilder sein, die problematisch sind. Sollte doch alleine hier im Forum viele dazu beitragen können. Je unterschiedlicher die Daten (Nutzer), desto robuster wird das Modell. Dann kann man mit nicht funktionierenden Bildern feintuning am Modell betreiben.

Es heißt nicht ohne Grund „Deep learning“ ;)

Dieses Problem sehe ich auch sehr oft in meinem Beruf mit mikroskopischen Bildern.

Ihr könntet es auch mit data augmentation probieren, alleine mit spiegeln hättet ihr 50% mehr Daten. Hat allerdings in meinem Fall nur marginal geholfen.
Man könnte die Bilder auch in Sub Bilder teilen, wenn wirklich nicht genug Trainingsdaten zusammen kommen. Das kann auch gegen Overfitting helfen, da das Bild zum lernen nicht so komplex ist.

Viele Grüße
Stefanie
 
Zitat von particle_gun:
Hallo,

100 Bilder sind sehr, sehr wenig und dadurch wird oft nicht der gewünschte Effekt erzielt. Ich empfehle erstmal deutlich mehr Bilder zu trainieren (>1000-10.000) um ein robustes Basis Modell zu erhalten. Das müssen erstmal nicht Bilder sein, die problematisch sind. Sollte doch alleine hier im Forum viele dazu beitragen können. Je unterschiedlicher die Daten (Nutzer), desto robuster wird das Modell. Dann kann man mit nicht funktionierenden Bildern feintuning am Modell betreiben.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wie er geschrieben hat ist hier aber Hilfe notwendig. Dh. Bild einsenden (vorher / nachher) damit auch angelernt und trainiert werden kann.

Es ist halt was anderes wenn ein einzelner 1000 Bilder bearbeiten muss oder die Masse von ein paar hundert Leuten mal ihre manuell erstellten Samples schickt.

Ich finde Frank hat recht. Sowas lebt nur richtig wenn die Community was beiträgt.

CS Dominik
 
Zitat von particle_gun:
100 Bilder sind sehr, sehr wenig und dadurch wird oft nicht der gewünschte Effekt erzielt.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Hallo Stefanie,
das kann ich nicht beurteilen. Wir haben schon nach 20 Bildern einen sehr gewünschten Effekt gesehen. Wir waren ja selber überrascht wie gut das funktioniert. Das Thema Overfitting wurde auch schonmal angesprochen, aber dazu kann ich leider nicht viel sagen, keine Ahnung wann es zu viele Daten sind. Bei meinen Bildern funktioniert GraXpert AI in 95% der Fälle ganz hervorragend.

Zitat von particle_gun:
Das müssen erstmal nicht Bilder sein, die problematisch sind. Sollte doch alleine hier im Forum viele dazu beitragen können. Je unterschiedlicher die Daten (Nutzer), desto robuster wird das Modell. Dann kann man mit nicht funktionierenden Bildern feintuning am Modell betreiben.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Drei Absätze weiter oben schrieb ich, dass es etwas frustrierend ist dass wir von außerhalb kaum Trainingsmaterial bekommen. Also machen! Her mit euren Bildern!
Ich denke was uns fehlt, sind vor allem nicht so gute Bilder. Ich glaube nämlich, dass es die Bilder mit schlechtem SNR sind, die problematisch sind.

Zitat von particle_gun:
Ihr könntet es auch mit data augmentation probieren, alleine mit spiegeln hättet ihr 50% mehr Daten.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Dazu gibt es Ideen, die gerade angefangen werden zu diskutieren. Du bist herzlich auf unserem Discord eingeladen, wo sich jeder beteiligen darf und Ideen und vor allem Man- und Womenpower einbringen darf und kann. Die Community macht irre viel Spaß und die Trainingsdaten kommen auch daher.
Und nicht vergessen, die Jungs machen das alles in ihrer Freizeit neben Beruf und Familie und dem eigentlichen Hobby.

CS Frank
 
Zuletzt bearbeitet:
Zitat von frasax:
Nur mit den Bildern wo GraXpert AI NICHT gut funktioniert, können wir die AI neu trainieren und verbessern. Leider bekommen wir annähernd Null Bilder zugeschickt.

Hier die entsprechenden Links

https://bit.ly/46mubXS Upload Images
https://bit.ly/48itmBf Contributor Agreement

CS Frank
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Hallo Frank,

ich glaube die Info ist mir irgendwie entgangen. Welche welche Bilder sind für euch interessant? Ich gehe davon aus, eine Aufnahme frisch nach dem Stack ohne weitere Korrekturen. Im Fits Format?
 
Zitat von particle_gun:
Hallo,

100 Bilder sind sehr, sehr wenig und dadurch wird oft nicht der gewünschte Effekt erzielt. Ich empfehle erstmal deutlich mehr Bilder zu trainieren (>1000-10.000) um ein robustes Basis Modell zu erhalten. Das müssen erstmal nicht Bilder sein, die problematisch sind. Sollte doch alleine hier im Forum viele dazu beitragen können. Je unterschiedlicher die Daten (Nutzer), desto robuster wird das Modell. Dann kann man mit nicht funktionierenden Bildern feintuning am Modell betreiben.

Es heißt nicht ohne Grund „Deep learning“ ;)

Dieses Problem sehe ich auch sehr oft in meinem Beruf mit mikroskopischen Bildern.

Ihr könntet es auch mit data augmentation probieren, alleine mit spiegeln hättet ihr 50% mehr Daten. Hat allerdings in meinem Fall nur marginal geholfen.
Man könnte die Bilder auch in Sub Bilder teilen, wenn wirklich nicht genug Trainingsdaten zusammen kommen. Das kann auch gegen Overfitting helfen, da das Bild zum lernen nicht so komplex ist.

Viele Grüße
Stefanie
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Hallo Stefanie,

wir haben schon mehrere Augmentations im Training implementiert, die möglichst unseren recht kleinen Datensatz kompensieren sollen. Dazu gehören z.B. gängige geometrische Transformationen wie z.B. Rotationen, Spiegelungen, Translationen, Zooms, aber auch kompliziertere Augmentations, wie z.B. dass auf ein bereinigtes Bild die Gradienten von einem anderen nichtbereinigten Bild addiert werden mit zufälligen Skalierungsfaktoren. Die Gefahr bei solchen komplizierten Augmentations ist aber immer, dass das daraus entstehende Bildpaar nicht mehr repräsentativ ist für echte Bilder und das Modell dann später bei echten Bildern nicht mehr richtig performt. Deswegen sind mehr echte Bilder natürlich immer besser.

Als Trainingsdaten könnt ihr uns 32bit Rohstacks zuschicken, egal ob tiff, fits oder xisf. Dazu einfach den Links folgen, die Frank schon gepostet hat :)

CS Steffen
 
Zitat von frasax:
Vor allem Bilder wo zum Beispiel RBF oder Kriging bessere Resultate liefert, als die AI.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Das bedeutet man müsste hier erst mal selbst versuche machen, und herausfinden ob bei RBF/Kringing die besseren Ergebnisse liefert. Ich hätte jetzt einfach blind ein paar unbearbeitete Stacks hochgeladen.

Mir geht es darum, ich würde ja gerne euren Link zum uploaden von Bildern selbst nutzen, und auch weiterleiten, nur fehlt hierzu etwas die Beschreibung "was" für euch in welcher "Form" auch sinnvoll ist. Vielleicht wäre es hilfreich, wenn ihr bei eurem Upload Link eine entsprechende Beschreibung eurer Anforderungen kurz und knackig beschreibt. Vielleicht mit Beispielbildern worauf zu achten ist.

Nur als Idee um besser zum Input animieren zu können. Wenn ich Zeit finde, versuche ich was hochzuladen. :y:
 
Also, mit schlechten Bildern kann ich massenhaft dienen. :ROFLMAO:
Ernsthaft: Ja, ich schau mal nach und schicke Euch was zu.

LG Olaf
 
Zitat von Dane_Vetter:
Das bedeutet man müsste hier erst mal selbst versuche machen, und herausfinden ob bei RBF/Kringing die besseren Ergebnisse liefert. Ich hätte jetzt einfach blind ein paar unbearbeitete Stacks hochgeladen.

Mir geht es darum, ich würde ja gerne euren Link zum uploaden von Bildern selbst nutzen, und auch weiterleiten, nur fehlt hierzu etwas die Beschreibung "was" für euch in welcher "Form" auch sinnvoll ist. Vielleicht wäre es hilfreich, wenn ihr bei eurem Upload Link eine entsprechende Beschreibung eurer Anforderungen kurz und knackig beschreibt. Vielleicht mit Beispielbildern worauf zu achten ist.

Nur als Idee um besser zum Input animieren zu können. Wenn ich Zeit finde, versuche ich was hochzuladen. :y:
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Eigentlich ist es ganz einfach: Wie im Beispiel oben: GraXpert AI zieht Objekt ab aber mit RBF oder DBE oder was weiß ich passiert das nicht. Dann benötigen wir dieses Bild in einem Bildformat für lineare Bilder unkomprimiert.
Ausführlich hier beschrieben ab Minute 11:45

youtu.be

GraXpert AI - Gradienten aus Astrofotos entfernen mit nur einem Knopfdruck // Deutsch // German

Die kostenfreie Software GraXpert, die Gradienten aus Astrofotos entfernen kann, hat nun ein KI Update bekommen. Mit Hilfe dieser KI ist GraXpert in der Lage...
youtu.be youtu.be

CS Frank
 
Vielen Dank an alle für euren Input.
Gerne steuere ich auch ein paar Bilder bei. Was mir nicht ganz klar war, ist der zweite Link, der weiter oben steht. Braucht ihr unbedingt eine Erklärung, dass ich die Rechte an meinem eigenen Bild besitze? Oder wie ist das zu verstehen?
 
Zitat von Steffenhir:
Hallo Stefanie,

wir haben schon mehrere Augmentations im Training implementiert, die möglichst unseren recht kleinen Datensatz kompensieren sollen. Dazu gehören z.B. gängige geometrische Transformationen wie z.B. Rotationen, Spiegelungen, Translationen, Zooms, aber auch kompliziertere Augmentations, wie z.B. dass auf ein bereinigtes Bild die Gradienten von einem anderen nichtbereinigten Bild addiert werden mit zufälligen Skalierungsfaktoren. Die Gefahr bei solchen komplizierten Augmentations ist aber immer, dass das daraus entstehende Bildpaar nicht mehr repräsentativ ist für echte Bilder und das Modell dann später bei echten Bildern nicht mehr richtig performt. Deswegen sind mehr echte Bilder natürlich immer besser.

Als Trainingsdaten könnt ihr uns 32bit Rohstacks zuschicken, egal ob tiff, fits oder xisf. Dazu einfach den Links folgen, die Frank schon gepostet hat :)

CS Steffen
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Hallo Steffen,

Das hab ich erwartet (bin kein Freund von Augmentierung) aber wie gesagt ihr befindet euch in einer traumhaften Lage, einfach immer mal wieder in mehreren Foren fragen (einmal geht unter) und ihr bekommt doch genug Bilder zusammen. Bei den Remote Sternwarten gibt es auch viele Beispiel Datensätze zum runterladen.

Das ist deutlich schneller und mit weniger Aufwand verbunden als ein Mini Model zu tunen.

Viel Erfolg
Stefanie
 
Hallo Frank,

Natürlich funktioniert das toll mit 20 Bilder, vor allem wenn sie im Trainingssatz waren oder sehr ähnlich sind und vom gleichen Nutzer kommen. Bei neuen / anderen Bilder die nicht im Training waren sieht die Sache dann anders aus (siehe oben).

Sollte auch keine Kritik an euer Hobby sein, nur ein Hinweis das ihr das Problem ziemlich einfach und ohne viel zu tun von eurer Seite beheben könnt.

Viel Erfolg
Stefanie

Nachtrag, vielleicht könnt ihr auch eine freundliche Message mit Upload in die Software einbauen. Bei so 1 Click Dinge sind die Nutzer meist motivierter.
 
Zitat von Ulli_K:
Was mir nicht ganz klar war, ist der zweite Link, der weiter oben steht. Braucht ihr unbedingt eine Erklärung, dass ich die Rechte an meinem eigenen Bild besitze? Oder wie ist das zu verstehen?
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wir benötigen lediglich deine Einverständnis, dass wir mit deinem Bild die KI trainieren dürfen und dass andere damit ihre Bilder bearbeiten dürfen. Wir möchten mit gutem Beispiel voran gehen, und so deutlich wie eben möglich dokumentieren, woher die Trainingsdaten kommen. Andere KI PlugIns geben keine Auskunft darüber.

CS Frank
 
Zitat von particle_gun:
Das hab ich erwartet (bin kein Freund von Augmentierung) aber wie gesagt ihr befindet euch in einer traumhaften Lage, einfach immer mal wieder in mehreren Foren fragen (einmal geht unter) und ihr bekommt doch genug Bilder zusammen.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Zitat von particle_gun:
nur ein Hinweis das ihr das Problem ziemlich einfach und ohne viel zu tun von eurer Seite beheben könnt.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Hallo Stefanie,

ja, so einfach wie es klingt ist es doch nicht, weil wir eben einen hohen Anspruch an die Transparenz haben. Wir wollen nicht einfach Bilder ohne Einverständnis nehmen und ich denke, das ist die Hürde, wo viele dann sagen: dann nicht. Wir sind uns des Problems aber bewusst und arbeiten dran. Es geht nur alles nicht mal eben so von Heute auf Morgen.

CS Frank
 
Hi Frank,

das ihr Traningsdaten sucht und das man die irgendwo hochgeladen kann, ist bis jetzt komplett an mir vorbeigegangen.
Obwohl ich auf discord bin, was ich ja immer noch sehr unübersichtlich finde. Aber ja, anderes Thema ;)

Wie wäre das direkt auf der Download Seite zu integrieren
So in der Art: Hilf mit und mache GraXepert noch besser.
Und auch welche Daten dazu gebraucht werden, das PDF usw.

Warum lande ich bei den Links oben eigentlich auf Youtube?

Grüße
Carsten
 
Zitat von castro.pic:
das ihr Traningsdaten sucht und das man die irgendwo hochgeladen kann, ist bis jetzt komplett an mir vorbeigegangen.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Naja, aber in meinen Videos sage ich das recht ausführlich :cool:
Zitat von castro.pic:
Wie wäre das direkt auf der Download Seite zu integrieren
So in der Art: Hilf mit und mache GraXepert noch besser.
Und auch welche Daten dazu gebraucht werden, das PDF usw.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wie geschrieben, wir arbeiten dran.
Zitat von castro.pic:
Warum lande ich bei den Links oben eigentlich auf Youtube?
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Keine Ahnung, habe sie aus YouTube einfach kopiert, da es abgekürzte Links sind ist da vermutlich YouTube noch verwurstet.

P.S. ich finde Discord nicht unübersichtlicher als jedes andere Forum auch.

CS Frank
 
Status
Es sind keine weiteren Antworten möglich.
Zurück
Oben