Automatische Detektion von Meteor Scatter Spektrogrammen | Seite 2 | Astronomie.de - Der Treffpunkt für Astronomie

Automatische Detektion von Meteor Scatter Spektrogrammen

Okke_Dillen

Mitglied
Windows-PC? Oha, da werde ich wieder neugierig, weil mir ja auch sehr an einer automatisierten Interpretation gelegen wäre :cool:
Bei 3/4 bis 4/5 Schrappsignalen wäre das schon hilfreich...

Daumendrückende Grüße, Okke
 

Wilm-52

Mitglied
Okke, bei der Schrapprate hilft nur menschliche Intelligenz.
Bei BRAMS gibt es zum Beispiel dafür das Projekt Zoo.

Hier ein kleines Update: Es sieht bisher sehr gut aus! Zumindest gibt es keine prinzipiellen Probleme. Die Framerate war gestern 7 Bilder pro Sekunde, was ausreicht. Es werden also 7 Screenshots je Sekunde auf Meteor Spektrogramme hin untersucht. Es dürfen auch mehrere Echos gleichzeitig sein, siehe Bilder, solange sie sich nicht gegenseitig verdecken. (Das würde man mit KI mit Instance Segmentation lösen können.) Beim Überschreiten der Ziellinie werden die Fläche, Zeit und Dopplershift gespeichert.
Man wird aber 2 Bildschirme benötigen. Links auf dem Notebook-Bildschirm läuft Spectrum-Lab, rechts auf dem Monitor die Auswertesoftware. Die CPU Auslastung auf dem 2.3 GHz i3 ist 33% für SL und 25% für die Auswertung.
Die Langwellensoftware wird vermutlich mit einem Bildschirm auskommen.
Viele Grüße,
Wilhelm
 

Anhänge

  • Auswertung-unter-Win10.jpg
    Auswertung-unter-Win10.jpg
    1,2 MB · Aufrufe: 59
  • dual-Screenshot.jpg
    dual-Screenshot.jpg
    135,6 KB · Aufrufe: 85
  • dual-Screenshot1.jpg
    dual-Screenshot1.jpg
    135 KB · Aufrufe: 65
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag.
Mein Programm zum loggen von Meteoren stelle ich gerade auf Postprocessing um.
Dazu habe ich hier ein kleines Update verfasst:

Spectrum Lab (SL) speichert bei mir im Abstand von 20 Sekunden einen Plot. Daher wird jeweils nur ein 20 Sekunden-Bereich des Plots auf Signale hin untersucht. Dieser Bereich ist in den Bildern als roter Rahmen zu erkennen.

Vier Fälle sind hier abgebildet:

A) Normales Signal im 20 Sek. Auswertefenster, s. Bild Normales_Signal_im_Fenster.jpg.

B) Manche Spektrogramme erzeugen mehrere Konturen, welche dann aufsummiert werden, so dass nur ein Meteor gezählt wird, s. Bild Signal_ok. Gezählt werden die blauen Kreise.

C) Falls nun mehrere echte Signale in dem 20 Sekunden-Bereich liegen, werden diese zur Zeit ebenfalls zusammengefasst. Ein Beispiel zeigt Bild zwei_Signale_im_Fenster.jpg.
Das muss natürlich noch anders programmiert werden. Die überwiegende Anzahl der Punkte im Log_plot.jpg ist jedoch grün, was besagt, dass nur ein Signal vorlag.

C) Ferner müssen die Störungen noch als solche erkannt werden, s. Bild Stoerung.jpg. In diesem Fall wird das Programm die Störung an dem roten Kreis rechts oben und an der großen Anzahl von Signalen erkennen.
Die pathologischen Fälle sammle ich nun in einen extra Ordner, um damit dann die Störungserkennung „anzulernen“.

Der Log_plot.jpg zeigt um 12 Uhr UTC schon 380 Signale. Es sind aber noch die Störungen dabei.
Viele Grüße,
Wilhelm
 

Anhänge

  • Normales_Signal_im_Fenster.jpg
    Normales_Signal_im_Fenster.jpg
    298,4 KB · Aufrufe: 23
  • Signal_ok.jpg
    Signal_ok.jpg
    338,6 KB · Aufrufe: 26
  • zwei_Signale_im_Fenster.jpg
    zwei_Signale_im_Fenster.jpg
    323,5 KB · Aufrufe: 20
  • Stoerung.jpg
    Stoerung.jpg
    307,2 KB · Aufrufe: 19
  • Log_plot.jpg
    Log_plot.jpg
    247,8 KB · Aufrufe: 22

Wilm-52

Mitglied
Kleines Update:
So sieht Noise Floor bei der automatischen Aufzeichnung aus. Zum Glück tritt es selten auf. Die Y-Skala ist logarithmisch, 1 (X-Achse), 10, 100, 1000, 10000, 100000.
Auf dem zweiten Bild sieht man, wie die Software große Signale sieht. Es werden mehrere, in diesem Fall 9, Konturen zusammengefasst.
Viele Grüße,
Wilhelm
 

Anhänge

  • 11&12_Juli_mit_Noise_Flor.jpg
    11&12_Juli_mit_Noise_Flor.jpg
    283 KB · Aufrufe: 22
  • Detektion_von_XL_Signal.jpg
    Detektion_von_XL_Signal.jpg
    464,2 KB · Aufrufe: 29
Zuletzt bearbeitet:

Wilm-52

Mitglied
Nun habe ich begonnen, die Daten zu analysieren. Dazu werden natürlich vergleichbare Datensätze benötigt. Daher nehme ich nun von 0-12 Uhr UTC auf, beziehungsweise werte nur diesen Bereich aus.

So viel ich weis gibt es keine Statistiken über die Größenverteilung der Meteore. Ist z.B. die Größenverteilung in einem der großen Meteorströme anders als zu Zeiten mit schwachem Aufkommen?
Ist Euch etwas darüber bekannt?

Hier sind nun ein Log von gestern und von heute. Es ist nur ein Test, da z.B. die Störungserkennung noch nicht eingebaut ist. Ferner ist das Detektieren der Meteore im Moment noch recht simple programmiert.
Nur der Wert: Treffer vor 12, eine Kontur (n=1) ist verlässlich und wird sich auch mit anderen Algorithmen nicht verändern, s. ein Beispiel im anhängenden Bild. Zu dieser Kategorie gehören allerdings die meisten (grünen) Punkte im Plot.

>>Jahr Monat Tag Stunde Minute Sekunde 20210716235939
Fläche 1 - 10 ---------------58
Fläche 10 - 100------------143
Fläche 100 - 1000----------232
Fläche 1000 - 10000--------74
Fläche 10000 - 100000------0
>>Treffer vor 12 n=1: 352 n=*: 507


>>Jahr Monat Tag Stunde Minute Sekunde 20210717152400
Fläche 1 - 10----------------46
Fläche 10 - 100-------------106
Fläche 100 - 1000----------185
Fläche 1000 - 10000--------68
Fläche 10000 - 100000------1 (siehe Abbildung)
>>Treffer vor 12 n=1: 294 n=*: 406

Viele Grüße,
Wilhelm
 

Anhänge

  • Test_Auswertung_17_7_2021.jpg
    Test_Auswertung_17_7_2021.jpg
    649,7 KB · Aufrufe: 29
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag,
mit einem grafischen Update möchte ich mich schon mal ins verlängerte Wochenende verabschieden. Viele Hits wünsche ich Euch,
viele Grüße,
Wilhelm

Nachtrag: zum Abschluss noch ein sehr schönes Exemplar von vorhin und der Originalplot von 3:24 UTC.
 

Anhänge

  • Update-11_August_2021.jpg
    Update-11_August_2021.jpg
    308,9 KB · Aufrufe: 20
  • GRAVES-DI-Vv_210811032359.jpg
    GRAVES-DI-Vv_210811032359.jpg
    580,3 KB · Aufrufe: 18
  • GRAVES-DI-Vv_210811065700.jpg
    GRAVES-DI-Vv_210811065700.jpg
    591,2 KB · Aufrufe: 18
  • GRAVES-DI-Vv_210811065720.jpg
    GRAVES-DI-Vv_210811065720.jpg
    591,4 KB · Aufrufe: 19
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag.
Ein kleines Update:
Ich habe noch ein paar Fehlerquellen beseitigt, so dass der nächste Strom, die
Alpha-Aurigiden, 25. Aug. bis 8. Sep., Max. 1. Sep.

kommen kann. Er soll aber nur 7% vom 13.8. betragen. Bin gespannt.
Viele Grüße,
Wilhelm
 

Anhänge

  • Test-Uebersicht.jpg
    Test-Uebersicht.jpg
    271,3 KB · Aufrufe: 27

speul

Mitglied
Guten Tag.
Ein kleines Update:
Ich habe noch ein paar Fehlerquellen beseitigt, so dass der nächste Strom, die
Alpha-Aurigiden, 25. Aug. bis 8. Sep., Max. 1. Sep.

kommen kann. Er soll aber nur 7% vom 13.8. betragen. Bin gespannt.
Viele Grüße,
Wilhelm

Moin,
für das aktuelle Jahr besser hier nachschauen, da sind spätere Vorhersagen noch eingearbeitet:

auf Grund der besseren Prognose habe ich das auch schon hier gepostet in der Hoffnung auf viele schöne Counts

LG speul
 

Wilm-52

Mitglied
Guten Tag.
Danke für die Info.
Ich habe die Ausgabe noch etwas schöner gemacht.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht.jpg
    Uebersicht.jpg
    559,7 KB · Aufrufe: 23
  • 20.jpg
    20.jpg
    277,5 KB · Aufrufe: 20

Wilm-52

Mitglied
Danke, Eberhard.
Ich habe die Farben noch etwas geändert. Die Größe des Bildes ist 1920 x 1430 Pixel, eine Größe, die von der Forensoftware nicht reduziert wird.

Spectrum Lab läuft seit 6 Tagen. In Kürze muss ich den Rechner aber neu starten, da ein Win10 Update ansteht. Das lässt sich zwar mit Updates aussetzen eine Zeit lang verhindern, aber nicht unbegrenzt. Wenn man es nicht macht, findet man irgend wann morgens einen neu gestarteten PC vor.

Interessant finde ich schon mal, dass die Zeiten des Tagesmaximums der Anzahl und des Tagesmaximums der Flächen (Größen) teilweise unterschiedlich sind.
Viele Grüße,
Wilhelm
 

Anhänge

  • 1920x1430.jpg
    1920x1430.jpg
    329,1 KB · Aufrufe: 14
Zuletzt bearbeitet:

Wilm-52

Mitglied
Ein kleines Update:
Die Alpha-Aurigiden sollen in den nächsten Tagen kommen. Ich logge daher parallel mit der Richtantenne und der Rundstrahlantenne, siehe Übersicht.

Bei schneller Signalfolge wird die Anzahl unterbestimmt. Wie in dem zweiten (todo) Bild zu sehen ist, werden die beiden Echos als ein einzelnes registriert. Mir ist noch kein passender (kurzer) Code eingefallen, der das Problem löst.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht-2526_8.jpg
    Uebersicht-2526_8.jpg
    260,1 KB · Aufrufe: 15
  • todo1_25_8XY.jpg
    todo1_25_8XY.jpg
    387,5 KB · Aufrufe: 14

Wilm-52

Mitglied
Guten Tag,
dies ist meine Übersicht der letzten Tage. Danach ist alles noch konstant.
Manchmal checke ich zu kritischen Zeiten den Fehler durch manuelles Nachzählen:
Automatisch von 8-9 UTC: 42, von Hand: 48.
Automatisch von 9-10 UTC: 32, von Hand: 34.
Das Problem aus dem vorigen Post ist noch nicht programmiert. Es existiert aber schon eine Lösung auf dem Papier. Jedoch sind nur wenige Echos davon betroffen.
„unterbestimmt“ war der falsche Ausdruck; gemeint war: es werden zu wenige gezählt.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht_27-29_August.jpg
    Uebersicht_27-29_August.jpg
    388,3 KB · Aufrufe: 15
  • 29_ed_xy.jpg
    29_ed_xy.jpg
    199,6 KB · Aufrufe: 38
  • GRAVES-XY-Vv_210829013019.jpg
    GRAVES-XY-Vv_210829013019.jpg
    593,4 KB · Aufrufe: 15

Wilm-52

Mitglied
Guten Tag,
das Programm ist nun so ziemlich fertig. Die ersten 3 Bilder zeigen Auswertungen, die damit erstellt wurden. Bilder 2 und 3 zeigen schön die momentane Basislinie. (Gestern habe ich nach dem Sonntagsausflug leider die Daten nicht rüberkopiert.) Die Fehlerquote ist sehr gering, nur lange Raucher und sehr große Signale werden als 2 (manchmal auch als 3) Echos gezählt. Die Summe der Flächen ist dabei aber ~ok. Das Problem sollte sich in der nächsten (KI)-Version leichter lösen lassen.
Bild 4 (demo) zeigt, wie ein Signal neben einer Störung (Knackimpuls) sicher erkannt wird. Im Bild 5 (demo1) werden 2 Signale im Suchfenster erkannt. Bild 6 ist das Original zu Bild 5.
Mit diesem Programm logge ich nun die kommenden (schwachen) Ströme.

Nun nehme ich die KI (künstliche Intelligenz) in Angriff. Das Auswerteprogramm bleibt im Prinzip so erhalten, es wird nur eine KI-Routine, die Instance Segmentation, vorgeschaltet. Wie der Output der KI-Routine ungefähr aussehen soll, zeigt das letzte Bild. Zu Python gibt es inzwischen eine schöne Bibliothekssoftware,

mit der man die Segmentierung mit wenigen Zeilen programmieren kann.
Es muss natürlich ein neuer Datensatz mit alle möglichen Meteorechos und Störungen erstellt werden. Damit muss dann ein neuronales Netzwerk trainiert werden. Ob und wie das im Einzelnen funktioniert, weis ich noch nicht…
Viele Grüße,
Wilhelm
 

Anhänge

  • 9-September.jpg
    9-September.jpg
    753,7 KB · Aufrufe: 10
  • 18-September.jpg
    18-September.jpg
    528 KB · Aufrufe: 9
  • 19-September.jpg
    19-September.jpg
    460,9 KB · Aufrufe: 11
  • demo.jpg
    demo.jpg
    1,1 MB · Aufrufe: 12
  • demo1.jpg
    demo1.jpg
    1,1 MB · Aufrufe: 11
  • GRAVES_MF_Vv_DA_210918012739.jpg
    GRAVES_MF_Vv_DA_210918012739.jpg
    537,5 KB · Aufrufe: 13
  • Plan-instance-segmentation.jpg
    Plan-instance-segmentation.jpg
    549 KB · Aufrufe: 16

Wilm-52

Mitglied
Die Auswertesoftware ist soweit fertig. Das Untersuchen der Bilder ist teilweise etwas frickelig zu programmieren und auch nie perfekt. Deshalb ist eine KI-Version in Arbeit.

Ulrich (speul) hatte mich darauf gebracht, die gewonnen Daten zu filtern und weiter zu analysieren. Hier möchte ich nun meine aktuelle Filtersoftware dazu zeigen:

Die Auswertesoftware generiert nun nicht nur die bereits häufig gezeigten Stundenhistogramme, sondern unterteilt die Werte jeder Stunde abhängig von ihrer Größe noch mal in 5 Klassen. Die Größen sind: 1-10, 10-100, 100-300, 300-1k, 1k-10k, 10k-100k. Die Einheit sind die Pixel der Flächen der Spektrogramme. Die Schrittweite ist eigentlich immer Faktor 10, nur der Bereich 100-1k ist noch mal unterteilt, weil es hier die meisten Treffer gibt.

Das erste Bild zeigt das neue Format der Datei am Beispiel des 23. September.

Mit den Spalten kann man nun herumspielen, zB um den Durchflug durch einen Meteorstrom zu untersuchen.

Im zweiten Bild zeigt die hellblaue Kurve die Differenz zwischen der orangefarbenen Kurve (Meteorgrößen 1-100) und der hell magentafarbenen Kurve (Meteorgrößen 100-1000).
Im Tages-Sextantiden und im September-Perseiden Thread sind Plots gezeigt, in denen die hellblaue Spur den Verlauf der Partikel-Größenverteilung zeigt.

Man sieht schon, dass es dort im Weltraum sehr inhomogen zugeht.
Viele Grüße,
Wilhelm
 

Anhänge

  • neues-Datenformat.jpg
    neues-Datenformat.jpg
    269 KB · Aufrufe: 12
  • 8-11-Sptember_Differenz.jpg
    8-11-Sptember_Differenz.jpg
    143,7 KB · Aufrufe: 29
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag,
hier ist ein Testlauf der letzten paar Tage. Die hellblaue Spur ist die Fläche (rote Punkte) dividiert durch die Anzahl (gelbe Punkte) mal 10.
Die Flächengröße (Teilchengröße) variiert bei meiner Aufzeichnungsmethode von 2 -100000, also über fast 5 Dekaden. Die blaue und die orange farbige und die magenta farbige Kurven zeigen die Verläufe der angegeben Größen. Die Summe dieser 3 Kurven ergibt dann wieder die grüne Kurve.
Viele Grüße,
Wilhelm
 

Anhänge

  • GRAVES-1-5-November.jpg
    GRAVES-1-5-November.jpg
    156,5 KB · Aufrufe: 32
Zuletzt bearbeitet:

APM_Pietsch

Sponsor Astronomie.de
Für alle User, die SDR Console benutzen. Es gibt jetzt eine neu Version Console V3.1 . Neu ist das Wasserfalldiagramm in 3D. Es ist zunächst nur eine experimentelle Version, die noch ausbaufähig ist.
 

Wilm-52

Mitglied
Guten Tag,
hier sind zwei beachtliche Meteore, einmal vom 23. November 10:36 UTC und von heute, den 25. November um 5:37 UTC. Beides sind Echos mit 2 Spuren.
Meine Software zählt das große Echo von heute 4 mal. Die Fläche stimmt, da sie aufsummiert wird.
Viele Grüße,
Wilhelm
 

Anhänge

  • 25_11_Morgens.jpg
    25_11_Morgens.jpg
    291,4 KB · Aufrufe: 9
  • GRAVES-XY-Vv_211123103639.jpg
    GRAVES-XY-Vv_211123103639.jpg
    608,9 KB · Aufrufe: 8
  • GRAVES-XY-Vv_211125053659.jpg
    GRAVES-XY-Vv_211125053659.jpg
    610,3 KB · Aufrufe: 6
  • GRAVES-XY-Vv_211125053719.jpg
    GRAVES-XY-Vv_211125053719.jpg
    613,7 KB · Aufrufe: 5
  • GRAVES-XY-Vv_211125053740.jpg
    GRAVES-XY-Vv_211125053740.jpg
    604,3 KB · Aufrufe: 5

Wilm-52

Mitglied

Anhänge

  • GRAVES_Discone_211125053639.jpg
    GRAVES_Discone_211125053639.jpg
    594,2 KB · Aufrufe: 3
  • GRAVES_Discone_211125053659.jpg
    GRAVES_Discone_211125053659.jpg
    601,5 KB · Aufrufe: 4
  • GRAVES_Discone_211125053719.jpg
    GRAVES_Discone_211125053719.jpg
    606,3 KB · Aufrufe: 4
  • GRAVES_Discone_211125053740.jpg
    GRAVES_Discone_211125053740.jpg
    602,8 KB · Aufrufe: 7
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag,
hier ist meine erste, mit der automatischen Auswertung erstellte Monatsübersicht vom 2. bis 30. November 2021 in mehreren Darstellungen.

Das erste Bild zeigt die Tagesübersicht vom 30. November. Die diversen Striche an der X-Achse zeigen, wann Störungen ausgeblendet wurden. Die meisten Störungen gibt es morgens, mittags und zur Feierabendzeit.

Das zweite Bild zeigt die Tagesübersicht vom 16. November. Um 14h war GRAVES abgeschaltet. (Ich hatte es auf RMOB kontrolliert.) In diesem Fall und auch bei massiven Störungen ersetze ich die entsprechende(n) Stunde(n) durch ihre (plausiblen) Nachbarn, damit das Filterprogramm keine Kerben generiert.

Die Achsenbeschriftung ist noch etwas provisorisch. An der Y-Achse ist der Abstand 10 Echos bzw 10k Pixel bei der Fläche.
Der Abstand der Punkte in X-Richtung ist eine Stunde. Gefiltert wurde mit folgenden Koeffizienten über 11 Stunden:
0.0439
0.1353
0.3246
0.6065
0.8825
1.0000
0.8825
0.6065
0.3246
0.1353
0.0439
Summe: 4.9858

Vermutlich wird im Dezember mehr Bewegung in die Sache kommen.
Viele Grüße,
Wilhelm
 

Anhänge

  • 30-November-XY.jpg
    30-November-XY.jpg
    320,7 KB · Aufrufe: 6
  • 16-November-XY.jpg
    16-November-XY.jpg
    327,9 KB · Aufrufe: 6
  • November_XY&Discone.jpg
    November_XY&Discone.jpg
    292,7 KB · Aufrufe: 6
  • November_Discone.jpg
    November_Discone.jpg
    381,1 KB · Aufrufe: 7
  • November_Kreuzyagi.jpg
    November_Kreuzyagi.jpg
    436,7 KB · Aufrufe: 6
Oben