Meteor-Echo Detektion mit künstlicher Intelligenz (KI) / Machine Learning

[Wilm-52]

Guten Tag.
Hier ist mal wieder ein kleines Update:
In letzter Zeit habe ich mein Modell und die Auswertesoftware kräftig überarbeitet.
Das Modell wurde mit aktuellen Spektrogrammen gefüttert und alte Daten wurden entfernt. Die Sache ist schon etwas trickreich: Das Modell erkannte plötzlich nur noch wenige der kleinen Echos und die 100 % - 99 % Score-Rate war sehr schlecht. Ich habe dann mehr und mehr kleine Echos hinzugefügt. Nun funktioniert es perfekt: Alle Echos, ob groß oder klein, werden erkannt. Es gibt bestimmt Methoden, um so ein Modell auszubalancieren, aber ich mache es mit Test und Train again...

Der Übergang zwischen den gezackten Echos und den normalen Echos ist fließend. Die Ursache dafür ist, dass sich beim Durchgang des Radianten die Perspektive ändert. Daher gibt es Doppelerkennung. Das ist nun behoben:
Die Software erkennt eine Doppelerkennung aufgrund des geringen Abstandes der Zentren der Polygone und eliminiert das Echo mit dem schlechteren Score.
Das ist in den Bildern unten gezeigt;
Im Bild 1 ist links oben zu sehen, dass 40 gezackte Echos und 42 normale Echos entfernt wurden. Das Verhältnis ist immer ungefähr 1:1.
Bild 2: Das Echo der Klasse 4 (gezackt) hat einen besseren Score als das normale Echo (Klasse 3).
Bild 3 ist das Original zu Bild 2. Man sieht auch schön, dass der Träger ignoriert wird.

Nun werde ich mich zunächst mit einem anderen Projekt beschäftigen. Die Auswertung der Arietiden und das nötige Plotprogramm müssen noch etwas warten.
Liebe Grüße
Wilhelm

 

[Wilm-52]

Nachtrag zu gezackt und normal:

 

[Wilm-52]

Guten Tag
Hier geht es auch bald weiter.
Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

schön das du weiter so aktiv bist. Ich bin im Moment mit dem Seestar S50 beschäftigt.

Ich wollte dir kurz berichten, dass ich beruflich von den Mask-R-CNNs auf YOLO8 umgestiegen bin. Ultralytics bietet mehr komfortable Möglichkeiten und das Annotieren via Roboflow ist ganz angenehm (man kann erst ein kleines Model bauen und dieses dann zur Annotation nutzen). Vielleicht was für dein nächstes Projekt

Viel Erfolg bei den kommenden Perseiden
Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vielen Dank für die Infos. Ich habe mich auch schon etwas eingelesen. Das Ultralytics sieht sehr gut aus. Ich werde es mal testen. Irgendwann steht hier ein Umstieg an, da Pixellib nicht mehr gewartet wird und mein Tensorflow nur die Version 2.5 hat.

Im Moment läuft mein Modell noch. Angehängt ist ein Bild mit Doppelerkennung. Die Software speichert aber nur das gezackte Echo, erkennbar am +++J.
Man sieht auch schön, dass der Untergrund / Träger ignoriert wird.

Einen schönen Sonntag wünsche ich Euch,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Die Perseiden 2024 haben schöne Echos geliefert, wie in unserem Live-Thread zu sehen ist.

Leider hatte ich einige Probleme am neuen Standort: Die Antenne funktioniert bei (Stark)Regen nicht und just am 12. August gab es eine lange Störung vermutlich von einem Radargerät, siehe den Spectrum-Lab Plot und die Störung um 16 h.

Versuche, es irgendwie auszuwerten, machten keinen Spaß...
Man sieht aber schön, dass die gezackten Echos um 5 h ein prozentuales Maximum haben.
Also bis zum nächsten Strom,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier geht es erst im Dezember mit den Geminiden weiter.
Damit der Thread nicht einschläft, habe ich eine kleine Spielerei angehängt: Der Perseid wurde per Chroma-Keying mit dem Bild der Windmühle kombiniert.
Einen schönen Tag wünsche ich,
viele Grüße
Wilhelm

 

[Wilm-52]

Und hoch damit...
Liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Die Ferien nahen endlich und dank des schlechten Wetters werde ich meine Anlage mal wieder zum Laufen bringen.

Ich hoffe es geht dir gut,
Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für deine Nachfrage. Mir geht es gut. Meine Zeit vertreibe ich mit Fahrradfahren (Foto ist von heute), etwas Meteor-Beobachtung und funken über QO-100.
Für die Geminiden will noch eine neue Antenne ausprobieren, eine Eggbeater-Antenne. Die empfängt mehr von oben und nicht so sehr aus Richtung Horizont. Im Moment verwende ich eine Antenne, die stark in Richtung Horizont ist und daher viele Störungen einfängt.

Ich wünsche Euch ruhige Zeit,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Kleines Update:
Im letzten Artikel

About Spectrograms of Meteor Echoes at Different Stages of the Radiant Position – an AI/ML-Investigation

Abstract: Spectrograms of meteor echoes at different stages of the radiant position of the Quadrantid 2024 shower were examined. The analysis of the January 4th data show a very surprising result: …

www.emeteornews.net

Abbildung 9 ist beschrieben, dass die kleinen Echos an der Kerbe ein (Neben) Maximum haben.

Zitat aus dem Artikel mit Google zurückübersetzt:
Die kleinen Echos haben ein (sekundäres) Maximum im Minimum der Kerbe, siehe gelber Punkt. Die Menge der größeren Meteore nimmt ab. Das heißt nicht, dass die Zahl der kleinen Echos zugenommen hat, aber es bedeutet, dass große Echos nun perspektivisch kleiner erscheinen und in der Klasse der kleinen Echos auftauchen. Das Maximum der gelben Kurve im Minimum der Kerbe ist also eine Bestätigung der Theorie, dass geometrische Bedingungen wie oben beschrieben die Kerbe verursachen.
Zitat Ende.

Allerdings ist das Maximum recht klein. Geschickter ist es, den prozentualen Anteil der kleinen Echos zu plotten, so wie ich es auch bei den gezackten Echos gemacht habe. Dadurch ist das Maximum der gelben Kurve sehr viel deutlicher. Das gleiche habe ich für die Geminiden 2023 geplottet. Hier ist nur der Bereich um die Kerbe herum gezeigt, da es tagsüber viele Störungen gab.

Ich wünsche euch immer saubere Signale
Wilhelm

 

[Wilm-52]

Guten Tag,
so, nun ist alles klar für die Geminiden und Quadrantiden.
Die Antenne ist neu. Es handelt sich um eine sogenannte Eggbeater-Antenne, die eigentlich für den Satellitenempfang konzipiert wurde. Sie steht nun an einem Platz, wo es wenige Störungen gibt. Das ist auch am Noisefloor zu erkennen. Die Ausreißer im Noisefloor kommen dadurch zustande, dass auch Echos, besonders die von Satelliten, in den Bereich kommen, wo der Noisefloor erfasst wird.
Die Software habe ich noch etwas überarbeitet und kleinere Fehler beseitigt.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Heute ist nun ein Anstieg der Geminiden zu sehen, siehe die gelben Balken.
Von den vielen Satelliten gibt es nun extra Histogramme. Interessant finde ich, dass sie zur Zeit um ~4 h und ~11 h ein Maximum haben.

Besonders interessiere ich mich ja für die gezackten Echos.
Bei den Quadrantiden ist dieser Effekt sehr deutlich messbar. Hier ist er kaum sichtbar, siehe die grünen Prozentangaben.
Ein Grund ist vielleicht, dass ich fast nur mit gezackten Echos der Quadrantiden trainiert habe. Die gezackten Echos der Geminiden haben eine etwas andere Form und werden teilweise als normale Echos erkannt, siehe das Bild mit den Mondechos.
Ich wünsche euch einen klaren Himmel und wenige Funkstörungen
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Sehr spannend, meinen Lüfter hat es leider zerschossen und ich habe im Moment keinen Ersatz PC.
Vermutlich liegt es an den Trainingsdaten bzw. müsstest du ja auch eine Wahrscheinlichkeit pro Klasse bekommen und kannst vielleicht den Threshold für die gezackten etwas runterfahren?

Merkst du einen Unterschied an der Antenne?

Viel Erfolg und Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für deine Anregung. Schade, dass dein PC nicht läuft. Bei meinem Laptop, an dem ich gerade schreibe, rappelt auch der Lüfter...

Die gezackten Echos der Geminiden haben teilweise rechts den Glitch, sodass sie als normale Echos, aber mit schlechtem Score, erkannt werden. Ich werde es erst mal beobachten.

Die Antenne gefällt mir sehr gut. Sie bringt viele Echos und wenig Träger (siehe das Bild mit den fünf Satelliten) und und ist bis jetzt wasserdicht. Sie ist aber sehr sperrig. Unter dem Dach im Wohngebiet kannst du besser eine 4-Element Yagi, vertikal polarisiert, nehmen.

Hier ist ein Vergleich mit einer Yagi.

Beitrag im Thema "Live Beobachtungen GRAVES 5. Teil ab 1.1.2024"

6. Dezember 2024

Guten Tag.
Hier ist ein kleines Fazit:
Die Yagi empfängt genau so viele Echos oder sogar noch mehr als die Eggbeater. Allerdings empfängt die Eggbeater weniger Störungen bzw Träger vom Horizont.
Da ich ja Untersuchungen bei den Meteorströmen an der Kerbe mache, möchte ich eine Rundstrahlantenne verwenden. Bei der Yagi ist noch die Richtwirkung, die Keule, überlagert.

Für den normalen Meteorempfang kann man besser eine Yagi, vertikal polarisiert, nehmen.
--------------
Die Antenne stand heute Morgen noch. Die Heringe waren tief genug.

Auf dem Bild Dez-5-Yagi-zu-Eggbeater ist...

• Wilm-52

• 

Einen schönen Tag wünsche ich allen und viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Ein Update von heute. Ich habe die Beschriftung verändert, sodass die Raten nun lesbar sind.
Auch die prozentuale Anzahl der gezackten Echos steigt, siehe den roten Punkt.
Zwei Plots mit gezackten und normalen Echos sind auch noch dabei.
Morgen wird es wohl durch die Decke gehen.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist eine erste Übersicht meiner Geminiden 2024.
Am neuen Standort mit der neuen Antenne habe ich schöne Daten bekommen. Der Noisefloor steigt geben Mittag etwas an, stört aber nicht.

Ich werde vermutlich das Modell etwas überarbeiten, da die gezackten Echos nun teilweise auch ein Kopfecho haben, s. oben, und so falsch erkannt werden.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Ich bastele gerade an einem neuen Artikel. Ein Punkt ist die Erkennung von großen Echos. Da es am 17. Dezember ein schönes großes Echo gab, habe ich die Detektion damit dokumentiert:

Großes Echos:
Die Spektrogramme werden im Abstand von 20 s gespeichert. Die ganze Aufnahmezeit beträgt aber auf der GRAVES Frequenz ~50 s, sodass auch große Echos komplett abgebildet werden. Gezählt wird aber nur, wenn der Schwerpunkt des Echos in dem 20 s Bereich zwischen den beiden blauen Linien liegt.
Die Gefahr besteht nun, dass bei langen Echos mehrfach gezählt wird. Wie in dem Beispiel zu sehen ist, wird das große Echo aber nur einmal gezählt und vermessen, und zwar im Bild 3-Output. Von diesem Output ist der entsprechende Input abgebildet.

Zur Dopplershift:
Die Dopplershift wird an der zarten lila Linie abgenommen. Dazu wird vom Schwerpunkt des Echos das Lot auf diese Linie gefällt. Man sieht, dass in zwei Bildern die Dopplershift identisch ist. Das zeigt, dass die lila Linie exakt senkrecht zur Vorschubrichtung verläuft.
Neben den 20 s Sprungweite ist diese Linie einer der wenigen Parameter des Programms.
Das bunte Bildchen ist eine Zugabe.
Anmerkungen sind willkommen.
Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

sehr schön und viel Erfolg mit dem Paper.
Ich habe eine gute Methode gefunden um doppelte ROIs zu erkennen, sag Bescheid falls da Bedarf besteht, dann könnte ich den Code raussuchen.

Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für deine Antwort.
Die Doppelerkennung wird auch ein Punkt des Papers sein. Dazu muss ich noch ein schönes Bildchen machen.
Das Hauptthema werden aber Kopfechos sein.

Doppelerkennung:
Im Bild 1-Output (s. oben) gab es eine Doppelerkennung von einem normalen und einem gezackten Echo.
Das Programm schaut nun mit einem gewissen Fangbereich, ob 2 Schwerpunkte nahe beieinander liegen. Dann wird das Echo mit dem schlechteren Score verworfen.
Das passiert aber nur im 20 s Fenster. Unten am Bildrand ist es egal.

Im Anhang im Rohplot sind die Doppelerkennungen dokumentiert.

Dein Code interessiert mich sehr.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Seit einiger Zeit habe ich ein neues Modell im Test.
Dies ist ein Auszug aus dem letzten Training:
#19.12.2024 21:01 mask_rcnn_model.025-0.591145.h5
#19.12.2024 21:09 mask_rcnn_model.033-0.585232.h5
#19.12.2024 21:13 mask_rcnn_model.037-0.560807.h5
#19.12.2024 21:16 mask_rcnn_model.041-0.504945.h5 test 2 schlecht
#19.12.2024 21:29 mask_rcnn_model.054-0.503095.h5 test 1 ok
#19.12.2024 21:30 mask_rcnn_model.055-0.451505.h5 test 3 sehr gut #################
#19.12.2024 21:34 mask_rcnn_model.059-0.447540.h5 test 4 schlechter
#19.12.2024 21:35 mask_rcnn_model.060-0.432130.h5 test 5 mehr Sats
#19.12.2024 21:47 mask_rcnn_model.072-0.397191.h5 test 6 weniger Echos
#19.12.2024 22:07 mask_rcnn_model.092-0.373184.h5
Hier kann man auch Rechenzeiten meines Gaming-PC ablesen. Inzwischen sind es exakt 1000 Plots mit geschätzt 3000 gelabelten Strukturen.

Das Modell wurde mit vielen Daten der Geminiden vom neuen Standort und mit der neuen Antenne gefüttert.
Die erste Version funktionierte schlecht. Das Modell übersah kleine Meteorechos und Satellitenechos. Darauf hin habe ich nochmal genau so viele kleine Echos gelabelt und damit neu trainiert.
Nun funktioniert es prima.
Die Farben wurden auch etwas geändert, sodass man nun die gezackten Echos in hellblau (% jagged) gut erkennen kann.

Die Quadrantiden stehen schon vor der Tür. Im Moment installiere ich meine zweite Anlage, um zusätzlich mit einer anderen Skala aufzuzeichnen, s. die Störung um 14 h im Plot bg.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Nun habe ich schöne Quadrantiden 2025 Daten und weis noch nicht, wie ich das am Besten zusammenfassen soll.

Hier ein Versuch:
Man erkennt die Kerbe und die Ansammlung von roten Punkten um 9 h herum. Das sind Echos, die kein Kopfecho haben, da der Radarstrahl und die Flugbahn quasi parallel verlaufen. Hier hatte der Radiant der Quadrantiden einen Azimut von 0° (oder 180°).
Die grünen Punkte repräsentieren die normalen Echos mit Kopfecho. Die entstehen, wenn die Flugbahn mehr oder weniger senkrecht zur Radar-Richtung verläuft.
Dann gibt es auch noch die Echos mit ganz wenig Kopfecho.

Mit den linken (gezackten) Echos und mit Meteore mit Kopfecho habe ich das neuronale Netzwerk trainiert. So kann man an dem hellblauen Histogramm (% jagged, gezackt) unten erkennen, wann ein Radiant vorbeigezogen ist. An der Stelle hat das Histogramm ein Maximum und die Raten haben ein Minimum. Die gelben Balken repräsentieren die Rate, die roten Balken zeigen die Rate gewichtet mit den Größen der Meteore. Die Kerbe bei den roten Balken ist ausgeprägter als bei den gelben Balken, da durch die Perspektive (Radarstrahl parallel zur Flugbahn) die Echos in der Nähe der Kerbe kleiner erscheinen als wenn sie weiter außen beobachtet würden.

Die Satelliten und der Weltraumschrott werden auch noch geloggt. Es sind die hellblauen Punkte und das magenta Histogramm. Gelbe Punkte sind UFOs oder der Mond.

Die lila Spur in der Zeitskala ist der Noisefloor, der am neuen Standort sehr niedrig ist.

Viele schöne Kopfechos und Sonstiges habe ich auch noch. Aber das ist ein anderes Thema.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist wieder ein Entwurf eines Artikels über die Quadrantiden 2025. Ein zweiter Teil soll über Kopfechos handeln. Dazu muss ich aber noch Nachforschungen anstellen. Nun möchte ich ein paar Tage wieder etwas anderes machen.
Wenn ihr Lust und Zeit habt, könnt ihr mal reinschauen.
Über kritische Kommentare würde ich mich freuen.
Viele Grüße
Wilhelm

 

[particle_gun]

Klasse Wilhelm und dir noch ein gesundes neues Jahr!

Ich schaue es mir diese Woche noch an, bin sehr gespannt.

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vielen Dank.
Ich wünsche Euch alles Liebe und gute fürs Neue Jahr.
Das Lesen des Papers eilt nicht.
Nun arbeite ich doch wieder am Hauptteil, aber Setup und Einleitung werden sich nicht viel ändern.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Um das Warten auf die endgültige Fassung etwas zu versüßen, habe ich gerade einen Plot gemacht, der in ähnlicher Form ins Paper soll.

Ich beschäftige mich ja mit Schwingungen am Kopfecho.
Laut Literatur sind Schwingungen bei der Fragmentierung bekannt.

Ich glaube, hier habe ich ein Beispiel für eine Fragmentierung:
Das Bild zeigt ein 2D- und ein 3D-Spektrogramm vom gleichen Meteorecho, aufgezeichnet mit zwei identischen Anlagen.
Von links kommt der Plasmakopf (Weak Head Echo) ins Bild und endet in einem Trailecho. Dann fliegen ein oder mehrere Fragmente weiter und produzieren die Oszillationen, so die Vermutung. Solche Bilder habe ich schon häufiger gesehen. Die 2D-Aufnahmen mache ich vorübergehend, um die Zeit des Kopfechos zu messen. Aber die ist extrem kurz.
Ein älteres Bild von einem Perseiden habe ich zur Verdeutlichung eingefügt. Auch hier sieht man vor der Explosion ein Aufblähen wie ich es in vielen Spektrogrammen beobachte und nach der Explosion fliegen Teilchen weiter.
Von dem Perseiden-Bild habe ich kein Radar-Echo!
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag,
Hallo Stefanie,
so, das Paper ist nun fertig.
Ich habe zwei Sachen in dem Paper untergebracht: Die Quadrantiden 2025 und etwas Neues: Einen Bauch in den Spektrogrammen kurz bevor der Plasmakopf explodiert. Das ist nicht optimal, aber zwei Arbeiten daraus zu machen, scheint mir auch nicht optimal.
Ich wünsche Euch ein schönes Wochenende,
liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

vielen Dank für die schöne und interessante Zusammenfassung! Ich habe ein paar kleine Anmerkungen, die dir vielleicht weiterhelfen könnten:

• Das Wort „belly“ wirkt in diesem Kontext etwas unpassend. Vielleicht wäre „bulge“ eine treffendere Alternative? Ähnlich wie hier. Ich bin allerdings auch wenig kreativ in solchen Sachen...
• AI/ML im Abstract solltest du bei der ersten Erwähnung vollständig ausschreiben.
• Auch wenn du dein ML-Paper verlinkst, wäre es hilfreich, den Ansatz kurz in einem Satz zu erläutern. Beispielsweise könntest du die Größe des Trainingsdatensatzes, die Anzahl der Epochen oder zentrale Parameter kurz erwähnen.
• Bei Figure 9 finde ich die Beschreibung etwas zu kurz.

Viel Glück bei der Einreichung
Viele Grüße und ein schönes Wochenende
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vielen herzlichen Dank fürs Lesen.
Ja bulge, bulgous ist besser.
Deine Anregungen werde ich umsetzen.
Ich muss auch noch etwas mehr zu den Schwingungen schreiben. Es gibt eine Literatur, in der Pulsierungen des Echos beobachtet wurden.
Sie könnten eine Folge von Fragmentierungen sein und werden als Ergebnis der Interferenz zweier unterschiedlicher Streuzentren interpretiert.

Ich wünsche Euch ein schönes Wochenende,
liebe Grüße
Wilhelm

 

[Wilm-52]

Hallo Stefanie und alle,
ich habe nun doch 2 Paper daraus gemacht.
Stefanie, deine Anregungen habe ich umgesetzt, siehe am Ende von Setup des Quadrantiden Papers und schaue auch ans Ende des Papers.
Das Quadrantiden-Paper ist schon ziemlich ausgereift.

Beim Kopfecho-Paper ist noch Luft nach oben. Daher habe ich es auch in Deutsch angehängt.
Das Thema ist sehr interessant. Man kann an den Spektrogrammen erkennen, ob ein Meteoroid fragmentiert unterwegs ist und ob nach der Explosion Partikel den Flug fortsetzen....
Viele Grüße
Wilhelm