Meteor-Echo Detektion mit künstlicher Intelligenz (KI) / Machine Learning

[Wilm-52]

Guten Tag.
Die Quadrantiden 2024 haben sehr schöne Daten geliefert und die Störungen hielten sich bis jetzt in Grenzen. Daher kommt hier schon mal ein erster Entwurf.

Es gibt eine ausgeprägte Kerbe mit In-Line-Peak, s. den roten Punkt.
Zu dem Plot mit den drei Kurven:
Abgebildet sind die Rate, die Größen und der Quotient Größe/Rate. Diese (rote) Kurve zeigt, dass die Partikel am Ende des Durchflugs gegen 12 h größer werden.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist nun der Entwurf meines Quadrantiden-2024-Papers.
Es war ein längerer Kampf, aber am Ende ist noch was Neues herausgekommen. Über Kommentare würde ich mich freuen.
Nun muss ich es noch ins Englische übersetzen und werde es dann den Experten in Belgien und UK schicken.
Ein schönes Wochenende wünsche ich Euch,
Liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist auch die englische Version. Nun kann ich endlich mal wieder was anderes machen...

Stefanie, vielleicht kannst du mal drüberschauen.
Einen schönen Sonntag wünsche ich Euch,
liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ich schau es mir morgen an. Ich muss noch den letzten Strom auswerten, da ging irgendwie was schief. Mein Lüfter hat sich auch verabschiedet…

Melde mich morgen, bin sehr gespannt

Schönen Sonntag noch
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke, aber lass dir ruhig Zeit.
Ich wünsche dir auch noch einen schönen Sonntag-Nachmittag,
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

sehr interessantes Paper!

Ich habe nur 2 Anmerkungen:
- die Referenzen sind doppelt erwähnt Kaufmann (Kaufmann, 2020) -> reicht eigentlich Kaufmann (2020)
- "However, the red histogram at the maximum of the Quadrantids is heavily overloaded" Das ist irgendwie nicht klar warum das Diagramm so "überladen" dargestellt wird, vielleicht einfach 2 Plots machen!? Oder Skala ändern?

Hast du den Effekt auch bei anderen Strömen beobachten können? Wenn nein, wäre es interessant ein bisschen Statistik zu machen und die Signifikanz statistisch zu belegen.

Ich werde heute Abend mal schauen, ob ich das Phänomen auch sehe. Leider habe kurzfristig auf den SDRPlay gewechselt und nicht die Einstellungen genau geprüft. Die ML funktioniert nicht so toll, vermutlich wegen anderer Hintergrund Farbe. Aber ich versuche da noch was raus zu holen.

Sehr spannend und danke fürs Teilen mit uns

Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vielen Dank fürs Lesen und die für die Anmerkungen. Das Diagramm werde ich noch umprogrammieren.
Die „jagged“ Echos habe ich auch bei anderen Kerben gefunden, aber nicht in der Häufigkeit wie bei den Quadrantiden 2024.
Auch der Artefakt, die Zunahme der Satellitenechos zur Kerbe hin, ist dort nicht zu sehen.
Für eine genaue Untersuchung muss ich das Modell mit einer neuen Klasse (Jagged-Meteor oder so) neu trainieren. Wenn ich aber mit allen bisher gefundenen jagged Echos eine neue Klasse mache, kann ich damit keine Untersuchung an alten Daten machen, da dann das Modell die Echos eventuell schon kennt. Um Fehlinterpretationen zu vermeiden, sollte ich die neue Klasse dann nur auf zukünftige Daten anwenden. Das wird bestimmt sehr spannend.
Wenn es ein Update gibt, zeige ich es dir hier.
Ich bin gespannt, ob du auch welche findest. Sie sollten sich gehäuft an den Flanken der Kerbe befinden. Sie treten natürlich auch sporadisch auf.
Liebe Grüße
Wilhelm

 

[speul]

Moin Wilhelm,
ich bewundere ja immer wieder Deinen aufwand den Du betreibst. Hut ab!
Mit Deiner Theorie kann ich mich im Moment nur bedingt anfreunden, vieles erscheint mir logisch, anderes weniger. Auf jeden Fall sollte die Erklärung für das Phänomen "Kerbe" bei allen Strömen gleich sein. Wichtig finde ich auch eine klare Fehlerbetrachtung zu machen. "Fehler <10% um 7:00 " scheint mir sehr aus der Luft gegriffen. Ich glaube auch, das dann klar wird, dass "Das erste Minimum erscheint bei 8h12m AM, das zweite Minimum liegt bei 8h42m AM" nichts anderes ist als statistisches Rauschen. Das selbe für: "Die gelbe Spur (Echos unter 1000 Pixel) zeigt ein Maximum (siehe gelber Punkt), wo die Kerbe und alle anderen Meteorgrößen ein Minimum haben.", dann solltest Du auch das "Maximum" der gelben Kurve bei etwa 3:40 UT erklären können, denn das ist ja noch etwas stärker!
Wie dem auch sei, Fakt ist, dass die Kerbe existiert, auch bei unterschiedlichen Beobachtern mit unterschiedlichen Settings und daß es sich dabei um einen geometrischen Effekt handelt. Irgendwann werden wir klüger sein und die Theorie verstehen.
LG
Ulrich

 

[Wilm-52]

Hallo Ulrich,
danke fürs Lesen und für deinen Beitrag.
Die Kerbe entsteht immer dann, wenn der Azimut 0° beträgt. Wenn sich Sender und Beobachter in USA befinden, kommt die Kerbe Nachmittags (UT). Das kann man auf RMOB kontrollieren.

Auf die gezackten Meteore bin ich gestoßen, weil die KI einen Fehler macht. Um 7h werden 19 Echos für Satelliten gehalten, was bei 198 Meteorechos 10 % ausmacht. Ich wollte damit nur zum Ausdruck bringen, dass die Fehlinterpretation nicht die Ursache für die Kerbe ist.

Das erste Maximum der gelben Kurve habe ich nicht erklärt, weil es eigentlich selbstverständlich ist: Ohne den geometrischen Effekt, um den es hier neben den gezackten Echos geht, müsste die Kurve aussehen, wie die anderen drei. Dadurch, dass große Echos nun klein erscheinen, wächst hier ein Peak heraus. Das hat nichts mit Rauschen zu tun.

Die gezackten / jagged Echos sind was wirklich Neues. Wenn sich das bestätigt und andere es auch finden, ist das eine sensationelle Sache. Ohne Aufwand geht das nicht.

Einen schönen Abend wünsche ich,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Oben muss es heißen:
Die Kerbe entsteht immer dann, wenn der Azimut 0° oder 180° beträgt.

Ein paar Änderungen möchte ich noch zeigen.
Liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Kleines KI/ML-Update:
Ich habe mal probeweise ein neues Modell mit einer neuen Klasse für die gezackten/jagged Echos trainiert. Das kommt aber nicht mehr ins Paper.

Das alte 3-Klassen-Modell "Artificial-Star", "Background", "Meteor" basiert auf 506 Plots, wobei darin das mehrfache an Signalen enthalten ist. Nun habe ich eine neue Klasse mit 93 Plots und knapp 200 Echos gelabelt. Die Echos stammen nur aus der Nähe der Quadrantiden-Kerbe und zwar von 6 h UT bis 9:59 h UT vom 4. Januar 2024.
Im alten Modell sind noch 20 gezackte Echos enthalten. Das erklärt, dass sie teilweise erkannt wurden.
Das neue 4-Klassenmodell erkennt nun auch die gezackten Echos, siehe Anhang. Es klappt schon ganz gut. Der verwendete Plot ist natürlich nicht im Trainings/Testdatensatz enthalten.
Einen schönen Tag wünsche ich Euch,
liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist nun die neue Version des Papers.
Vielen Dank an Stefanie und Ulrich. Das steht auch im Acknowledgment.
Stefanie, deine Anmerkung zu Figure 2 habe ich eingebaut. Die Literatur habe ich so zitiert, wie bei MeteorNews üblich.
Ulrich, auf das Rauschen bin ich eingegangen. Die Fehlerangabe in dem einen Fall habe ich so gelassen. Messfehler beeinflussen in dem Paper ja nicht die Kernaussagen.
Zu dem globalen Maximum der gelben Kurve habe ich auch nichts weiter geschrieben. Das Maximum wäre ohne den Effekt auch schon da. Wichtig ist, dass am Minimum der Kerbe sich die gelbe Kurve genau entgegengesetzt zu den anderen Kurven verhält.

Falls Ihr es noch mal lesen wollt, lasst Euch ruhig Zeit.
Ein schönes Wochenende wünsche ich Euch,
liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Danke fürs Teilen, ich werde es morgen noch mal lesen. Meine Bilder lassen sich leider nicht automatisch auswerten aber ich werde mal stichprobenartig schauen, ob sich der Effekt auch bei mir zeigt.

Im Moment viel um die Ohren aber es kommen wieder ruhigere Zeiten.

Euch einen schönen Sonntag, wir genießen noch den Schnee.

Viele Grüße
Stefanie

 

[Wilm-52]

Guten Tag.
Ich habe nun doch noch das neue Modell kurz vorgestellt, siehe das Kapitel am Ende und Figure 10.
An extension of the ML model.
Ferner wurde auf Seite 5 der rote Text hinzugefügt.
Jetzt gehts an die Sonne.
Liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ich finde es deutlich verbessert und wünsche viel Glück beim Einreichen

Leider hat meine Anlage kaum was vor 11 Uhr aufgenommen, daher kann ich deine Beobachtungen nicht überprüfen. Hast du mal geschaut, ob der Effekt auch bei vorherigen Strömen auftrat? Falls du das neue Modell teilen möchtest, würde ich beim nächsten Strom wieder anschalten (allerdings mit Tests vorher ).

Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
dankeschön.
Ein Einreichen gibt es bei MeteorNews ja nicht. Aber es soll noch an Mike und Felix vorbei.
Der nächste interessante Strom sind die Tages-Arietiden mit dem Maximum am 7. Juni, siehe Figure 10. Darum geht es auch in meiner ersten Arbeit.
Einen schönen Tag wünsche ich Euch,
Wilhelm

Nachtrag:
Kerben kann man in allen großen Strömen beobachten, den beschriebenen Effekt untersuche ich noch. Mein Modell gebe ich natürlich gerne weiter.
Es ist 250 Mb groß.

 

[Drehrumbum]

Ich habe mir dein paper jetzt mal kurz durchgelesen. Viel kann ich dazu nicht sagen, denn eigentlich sollten das Maximum morgens detektiert werden. Wie unten noch zu lesen ist, ist es im März am ruhigsten.

Colorgramme & Meteor , radioastronomy softwares for Radio Meteor scatter

radio.meteor.free.fr

 

[Wilm-52]

Ich habe mir dein paper jetzt mal kurz durchgelesen. Viel kann ich dazu nicht sagen, denn eigentlich sollten das Maximum morgens detektiert werden. Wie unten noch zu lesen ist, ist es im März am ruhigsten.

Colorgramme & Meteor , radioastronomy softwares for Radio Meteor scatter

radio.meteor.free.fr

Guten Tag.
Ja, bei den sporadischen Meteoren ist das so.

Ich bastele noch am Paper und habe ein schönen Datensatz von August 2022 gefunden.
Die gezackten Echos haben auch hier in der Kerbe um 5 h ein Maximum (von 40 %).
Bei der Ansammlung von gelben Punkten handelt es sich um Mondechos.
Viele Grüße
Wilhelm

 

[Wilm-52]

Hast du mal geschaut, ob der Effekt auch bei vorherigen Strömen auftrat?

Hallo Stefanie und alle,
ich habe nun alte Daten mit dem neuen Modell ausgewertet und unter dem Kapitel
First results achieved with the new neural network
am Ende ab Seite 12 eingebaut.
Ich finde, das gibt schöne Ergebnisse.
Liebe Grüße
Wilhelm

 

[particle_gun]

Hallo,

sehr gut Wilhelm, ich finde das sehr spannend.

Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie und alle.
Danke, ja, das ist total interessant und auch in der Literatur nicht beschrieben, so viel ich weis.

Bisher war mein Ansatz, schwache Ströme anhand der Kerbe zu erkennen, weil eine Kerbe, die offensichtlich bei 0° oder 180° Azimut des Radianten entsteht, leichter zu detektieren ist als ein breites Maximum. Das wird z.B. auch bei der Minimumpeilung genutzt. Funkamateure nutzen das Verfahren zur “Fuchsjagd“.

Nach dieser Arbeit kann man den Azimut-Durchgang direkt aus der Form der Spektrogramme extrahieren, weil die Echos weit ab vom 0° / 180° Azimut-Durchgang “glatt“ sind und in der Nähe und am Durchgang “gezackt“ sind, siehe Bildchen.
Das geht aber nur mit KI/ML.
Ein schönes Wochenende und
liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
So, das Paper ist raus. Es beschreibt einen Effekt, der bisher nicht bekannt war: Beim Durchgang des Radianten eines Meteorschauers ändern sich die 3D-Spektrogramme. Diese Änderung kann meine ML-Software feststellen und damit das grüne Histogramm erstellen. Man erkennt z.B. ein Maximum bei 5 h und eins bei 12 h.

Um nun zu testen, ob die Balken Zufall oder Meteore anzeigen, gibt es einen schönen Test: Die Auswertung wird mit verschiedenen Qualitätsanforderungen durchgeführt. Der Giff wurde mit dem Original-Histogramm und mit zwei Histogrammen mit besserer Wahrscheinlichkeit erstellt. Man sieht dann schön, welche Balken echt sind.
Im Artikel stehen die Werte natürlich nur in einer Tabelle, in Figure 13.
Viele Grüße,
Wilhelm

 

[Wilm-52]

Guten Tag.
Im Moment ist die Rate sehr niedrig und die Störungen sind relativ intensiv. Das ist eine gute Gelegenheit, die Falscherkennung bei der neuen Klasse, den gezackten Echos, zu untersuchen. Nach der High-Score-Methode, das entspricht dem mittleren Bildchen oben im Giff, werden in den 8 h keine Störungen als Gezackte erkannt.
Das ist gut zu wissen.
Einen schönen Tag wünsche ich und viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
In meinem letzten Artikel ging es ja darum, dass sich die Spektrogramme eines Meteorschauers in der Nähe des Azimuts von 0° oder 180° verändern. Hier habe ich nun die Auswertung etwas erweitert (vergl. Figure 14): Die gezackten (jagged) Echos sind in den Plots unten in Rot dargestellt. Der Background ist jetzt weiß geplottet. Man erkennt eine Häufung der roten Punkte bei 4 h bis 6 h. Besser ist es allerdings am grünen Histogramm wie im Paper zu sehen. Nach meiner Theorie wird hier mehr oder weniger nur der Kopf des Meteors frontal belichtet, was dann zu einem anderen Reflektionsverhalten führt als wenn überwiegend die Spur die Radarwellen reflektiert.
Die gelben Punkte sind Mondechos.

Noch besser ist der Effekt im zweiten Bild zu sehen. Das sind die Quadrantiden 2023, die im Artikel nicht vorkommen. Interessant ist noch, dass die gezackten Echos, die roten Punkte, in einem relativ schmalen Größenbereich liegen.

Das dritte Bild zeigt eine Auswertung vom 17. Februar 2024 (gestern). Es sind viel Background (weiße Punkte), Satelliten (hellblaue Punkte) und etwas Noisefloor (lila) zu sehen. Zwischen den wenigen grünen Meteorechos gibt es ein paar gezackte Echos (rot), die natürlich immer auftreten können. Der Plot verdeutlicht schön, dass die ganzen Störungen keinen Einfluss auf die gezackten Echos haben. Die Prozentangaben sind hier natürlich nicht sinnvoll.

Die Starlink-Satelliten (hellblau) wurden wohl kürzlich erst gestartet und sind nun unterwegs zu ihren Positionen.

Es handelt sich in allen Fällen um High-Score Auswertungen: Es wurden nur Meteorechos mit einer Wahrscheinlichkeit von besser oder gleich 98 % verwendet.

Einen schönen Sonntag wünsche Euch,
liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
So, der Artikel ist nun auch offiziell erschienen, s. ab Seite 103.

https://www.emeteornews.net/wp-content/uploads/2024/03/eMetN_2024_2.pdf

Mit dem Layout bin ich sehr zufrieden, obwohl einige Zahlen etwas klein sind. Aber viele der wichtigen Grafiken haben die volle Breite bekommen.
Vielen Dank nochmal an alle, die mitgeholfen haben.
Liebe Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Dankeschön!
Ein kleines Update:
Meine Anlage läuft nun seit einiger Zeit am neuen Standort, s. Bild 1. Dort auf der Anhöhe (Berge gibt es hier nicht) habe ich deutlich mehr Signale als hier im Wohngebiet. Besonders die Echos der Satelliten sind intensiver. Interessant ist, dass die Satelliten massiv von 8-16 h auftreten, siehe die blauen Punkte und Linien in den Bildern 2 und 3.

Die Antenne ist eine rechtsdrehende zirkular polarisierte 4-Element-Kreuz-Yagi. Die Elevation beträgt etwa 20° und sie ist nach Süden in Richtung Dijon in Frankreich ausgerichtet. Ich werde auch noch meine Turnstyle Antenne testen. Das ist auch eine zirkular polarisierte Antenne, aber mit Rundstrahlcharakteristik.

Die Daten hole ich mir auf meiner täglichen Radtour durchs Münsterland.
Einen schönen Tag wünsche ich Euch,
liebe Grüße
Wilhelm

 

[Wilm-52]

Zu den Lyriden 2024.

Guten Tag.
In meinem letzten Artikel über die Quadrantiden 2024 ging es ja darum, dass sich Spektrogramme von Meteorechos nahe an der Kerbe bzw nahe bei einem Azimut des Radianten von 0° oder 180° von Spektrogrammen gewöhnlicher Meteorechos unterscheiden: Sie sind eher klein, haben oft wenig Kontrast, haben eine gezackte Oberfläche und ähneln den Spektrogrammen von Satelliten, die aufgrund ihrer Metalloberfläche eine kammartige Struktur aufweisen.

Als Grund hatte ich postuliert, dass aus geometrischen Gründen nur der heiße Plasmakopf mit ähnlichen Reflexionseigenschaften wie Metall die Radarwellen reflektiert.

Den gleichen Effekt beobachte ich nun auch bei den Lyriden 2024.
Die Bilder 3h35 und 3h38 zeigen Beispiele. Die Original-Spectrum-Lab Echos sind in der linken Bildhälfte zu sehen. Rechts sind die mit der KI-Software untersuchten Echos dargestellt. Die bunten Polygone stellen die Größe der Echos dar. Es sind alle drei Arten vorhanden: normale und gezackte Echos und ein Satellit.

Es gibt auch andersartige Lyriden-Echos. Die hatte ich gestern hier schon gezeigt.

Im dritten Bild, in der Auswertung vom 22. April 2024, erkennt man um 5 h eine leichte Kerbe und eine Ansammlung von roten Punkten. Diese markieren die gezackten Echos. Die normalen Echos sind als grüne Punkte geplottet, die Satellitenechos sind hellblau.

An dem gelben Histogrammen erkennt man die Kerbe um 5 h deutlich. Das grüne Histogramm zeigt um 5 h ein prozentuales Maximum der gezackten Echos von 25 %. Das bedeutet, dass hier der Radiant einen Azimut von 180° durchlaufen hat.

Einen sonnigen Tag wünsche ich,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Mit den Daten der letzten Wochen habe ich nun mein Modell überarbeitet. Besonders wegen der steigenden Zahl der Satellitenechos war dies nötig.

Meine Label-Technik habe ich dabei geändert:

Früher habe ich die Objekte in der Reinform gelabelt, siehe das Bild nur-Meteorechos.

Nun nehme ich den kompletten Spectrum-Lab Plot und labele die gewünschte Objekte in realer Umgebung, siehe die Bilder Satellit-mit Meteorechos und Meteorechos-mit-Satelliten. Jetzt werden auch Objekte getrennt, die nahe beieinander liegen, siehe das letzte Bild. Dort werden ein schwaches Satellitenecho und ein Meteorecho korrekt erkannt.
Die Arietiden können also kommen.
Einen schönen (Feier)Tag und viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Hier ist noch ein Bonbon:
Die Mondechos rechts am Rand werden einfach ignoriert.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Die Arietiden liefern gerade sehr schöne Daten. Die 3 oder das m ist vom 6. Juni.
Zur Zeit bastele ich noch an der Auswertesoftware.
Nähere Informationen kommen in Kürze.
Viele Grüße
Wilhelm