Automatische Detektion von Meteor Scatter Spektrogrammen | Seite 2 | Astronomie.de - Der Treffpunkt für Astronomie
  • Wartungsarbeiten am 24.09.2021 von 20.00 Uhr bis 21.00 Uhr

    Am Samstag, den 24.09.2021 wird in der Zeit von 20.00 bis 21.00 Uhr ein neues Update (Patchday) der Forensoftware eingespielt.
    In diesem Zeitraum wird das Forum in den Wartungsmodus versetzt.

    Vielen Dank für Euer Verständnis
    Euer Moderatorenteam

Automatische Detektion von Meteor Scatter Spektrogrammen

Okke_Dillen

Mitglied
Windows-PC? Oha, da werde ich wieder neugierig, weil mir ja auch sehr an einer automatisierten Interpretation gelegen wäre :cool:
Bei 3/4 bis 4/5 Schrappsignalen wäre das schon hilfreich...

Daumendrückende Grüße, Okke
 

Wilm-52

Mitglied
Okke, bei der Schrapprate hilft nur menschliche Intelligenz.
Bei BRAMS gibt es zum Beispiel dafür das Projekt Zoo.

Hier ein kleines Update: Es sieht bisher sehr gut aus! Zumindest gibt es keine prinzipiellen Probleme. Die Framerate war gestern 7 Bilder pro Sekunde, was ausreicht. Es werden also 7 Screenshots je Sekunde auf Meteor Spektrogramme hin untersucht. Es dürfen auch mehrere Echos gleichzeitig sein, siehe Bilder, solange sie sich nicht gegenseitig verdecken. (Das würde man mit KI mit Instance Segmentation lösen können.) Beim Überschreiten der Ziellinie werden die Fläche, Zeit und Dopplershift gespeichert.
Man wird aber 2 Bildschirme benötigen. Links auf dem Notebook-Bildschirm läuft Spectrum-Lab, rechts auf dem Monitor die Auswertesoftware. Die CPU Auslastung auf dem 2.3 GHz i3 ist 33% für SL und 25% für die Auswertung.
Die Langwellensoftware wird vermutlich mit einem Bildschirm auskommen.
Viele Grüße,
Wilhelm
 

Anhänge

  • Auswertung-unter-Win10.jpg
    Auswertung-unter-Win10.jpg
    1,2 MB · Aufrufe: 31
  • dual-Screenshot.jpg
    dual-Screenshot.jpg
    135,6 KB · Aufrufe: 63
  • dual-Screenshot1.jpg
    dual-Screenshot1.jpg
    135 KB · Aufrufe: 50
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag.
Mein Programm zum loggen von Meteoren stelle ich gerade auf Postprocessing um.
Dazu habe ich hier ein kleines Update verfasst:

Spectrum Lab (SL) speichert bei mir im Abstand von 20 Sekunden einen Plot. Daher wird jeweils nur ein 20 Sekunden-Bereich des Plots auf Signale hin untersucht. Dieser Bereich ist in den Bildern als roter Rahmen zu erkennen.

Vier Fälle sind hier abgebildet:

A) Normales Signal im 20 Sek. Auswertefenster, s. Bild Normales_Signal_im_Fenster.jpg.

B) Manche Spektrogramme erzeugen mehrere Konturen, welche dann aufsummiert werden, so dass nur ein Meteor gezählt wird, s. Bild Signal_ok. Gezählt werden die blauen Kreise.

C) Falls nun mehrere echte Signale in dem 20 Sekunden-Bereich liegen, werden diese zur Zeit ebenfalls zusammengefasst. Ein Beispiel zeigt Bild zwei_Signale_im_Fenster.jpg.
Das muss natürlich noch anders programmiert werden. Die überwiegende Anzahl der Punkte im Log_plot.jpg ist jedoch grün, was besagt, dass nur ein Signal vorlag.

C) Ferner müssen die Störungen noch als solche erkannt werden, s. Bild Stoerung.jpg. In diesem Fall wird das Programm die Störung an dem roten Kreis rechts oben und an der großen Anzahl von Signalen erkennen.
Die pathologischen Fälle sammle ich nun in einen extra Ordner, um damit dann die Störungserkennung „anzulernen“.

Der Log_plot.jpg zeigt um 12 Uhr UTC schon 380 Signale. Es sind aber noch die Störungen dabei.
Viele Grüße,
Wilhelm
 

Anhänge

  • Normales_Signal_im_Fenster.jpg
    Normales_Signal_im_Fenster.jpg
    298,4 KB · Aufrufe: 10
  • Signal_ok.jpg
    Signal_ok.jpg
    338,6 KB · Aufrufe: 12
  • zwei_Signale_im_Fenster.jpg
    zwei_Signale_im_Fenster.jpg
    323,5 KB · Aufrufe: 10
  • Stoerung.jpg
    Stoerung.jpg
    307,2 KB · Aufrufe: 10
  • Log_plot.jpg
    Log_plot.jpg
    247,8 KB · Aufrufe: 12

Wilm-52

Mitglied
Kleines Update:
So sieht Noise Floor bei der automatischen Aufzeichnung aus. Zum Glück tritt es selten auf. Die Y-Skala ist logarithmisch, 1 (X-Achse), 10, 100, 1000, 10000, 100000.
Auf dem zweiten Bild sieht man, wie die Software große Signale sieht. Es werden mehrere, in diesem Fall 9, Konturen zusammengefasst.
Viele Grüße,
Wilhelm
 

Anhänge

  • 11&12_Juli_mit_Noise_Flor.jpg
    11&12_Juli_mit_Noise_Flor.jpg
    283 KB · Aufrufe: 11
  • Detektion_von_XL_Signal.jpg
    Detektion_von_XL_Signal.jpg
    464,2 KB · Aufrufe: 18
Zuletzt bearbeitet:

Wilm-52

Mitglied
Nun habe ich begonnen, die Daten zu analysieren. Dazu werden natürlich vergleichbare Datensätze benötigt. Daher nehme ich nun von 0-12 Uhr UTC auf, beziehungsweise werte nur diesen Bereich aus.

So viel ich weis gibt es keine Statistiken über die Größenverteilung der Meteore. Ist z.B. die Größenverteilung in einem der großen Meteorströme anders als zu Zeiten mit schwachem Aufkommen?
Ist Euch etwas darüber bekannt?

Hier sind nun ein Log von gestern und von heute. Es ist nur ein Test, da z.B. die Störungserkennung noch nicht eingebaut ist. Ferner ist das Detektieren der Meteore im Moment noch recht simple programmiert.
Nur der Wert: Treffer vor 12, eine Kontur (n=1) ist verlässlich und wird sich auch mit anderen Algorithmen nicht verändern, s. ein Beispiel im anhängenden Bild. Zu dieser Kategorie gehören allerdings die meisten (grünen) Punkte im Plot.

>>Jahr Monat Tag Stunde Minute Sekunde 20210716235939
Fläche 1 - 10 ---------------58
Fläche 10 - 100------------143
Fläche 100 - 1000----------232
Fläche 1000 - 10000--------74
Fläche 10000 - 100000------0
>>Treffer vor 12 n=1: 352 n=*: 507


>>Jahr Monat Tag Stunde Minute Sekunde 20210717152400
Fläche 1 - 10----------------46
Fläche 10 - 100-------------106
Fläche 100 - 1000----------185
Fläche 1000 - 10000--------68
Fläche 10000 - 100000------1 (siehe Abbildung)
>>Treffer vor 12 n=1: 294 n=*: 406

Viele Grüße,
Wilhelm
 

Anhänge

  • Test_Auswertung_17_7_2021.jpg
    Test_Auswertung_17_7_2021.jpg
    649,7 KB · Aufrufe: 18
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag,
mit einem grafischen Update möchte ich mich schon mal ins verlängerte Wochenende verabschieden. Viele Hits wünsche ich Euch,
viele Grüße,
Wilhelm

Nachtrag: zum Abschluss noch ein sehr schönes Exemplar von vorhin und der Originalplot von 3:24 UTC.
 

Anhänge

  • Update-11_August_2021.jpg
    Update-11_August_2021.jpg
    308,9 KB · Aufrufe: 12
  • GRAVES-DI-Vv_210811032359.jpg
    GRAVES-DI-Vv_210811032359.jpg
    580,3 KB · Aufrufe: 9
  • GRAVES-DI-Vv_210811065700.jpg
    GRAVES-DI-Vv_210811065700.jpg
    591,2 KB · Aufrufe: 10
  • GRAVES-DI-Vv_210811065720.jpg
    GRAVES-DI-Vv_210811065720.jpg
    591,4 KB · Aufrufe: 12
Zuletzt bearbeitet:

Wilm-52

Mitglied
Guten Tag.
Ein kleines Update:
Ich habe noch ein paar Fehlerquellen beseitigt, so dass der nächste Strom, die
Alpha-Aurigiden, 25. Aug. bis 8. Sep., Max. 1. Sep.

kommen kann. Er soll aber nur 7% vom 13.8. betragen. Bin gespannt.
Viele Grüße,
Wilhelm
 

Anhänge

  • Test-Uebersicht.jpg
    Test-Uebersicht.jpg
    271,3 KB · Aufrufe: 14

speul

Mitglied
Guten Tag.
Ein kleines Update:
Ich habe noch ein paar Fehlerquellen beseitigt, so dass der nächste Strom, die
Alpha-Aurigiden, 25. Aug. bis 8. Sep., Max. 1. Sep.

kommen kann. Er soll aber nur 7% vom 13.8. betragen. Bin gespannt.
Viele Grüße,
Wilhelm

Moin,
für das aktuelle Jahr besser hier nachschauen, da sind spätere Vorhersagen noch eingearbeitet:

auf Grund der besseren Prognose habe ich das auch schon hier gepostet in der Hoffnung auf viele schöne Counts

LG speul
 

Wilm-52

Mitglied
Guten Tag.
Danke für die Info.
Ich habe die Ausgabe noch etwas schöner gemacht.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht.jpg
    Uebersicht.jpg
    559,7 KB · Aufrufe: 11
  • 20.jpg
    20.jpg
    277,5 KB · Aufrufe: 10

Wilm-52

Mitglied
Danke, Eberhard.
Ich habe die Farben noch etwas geändert. Die Größe des Bildes ist 1920 x 1430 Pixel, eine Größe, die von der Forensoftware nicht reduziert wird.

Spectrum Lab läuft seit 6 Tagen. In Kürze muss ich den Rechner aber neu starten, da ein Win10 Update ansteht. Das lässt sich zwar mit Updates aussetzen eine Zeit lang verhindern, aber nicht unbegrenzt. Wenn man es nicht macht, findet man irgend wann morgens einen neu gestarteten PC vor.

Interessant finde ich schon mal, dass die Zeiten des Tagesmaximums der Anzahl und des Tagesmaximums der Flächen (Größen) teilweise unterschiedlich sind.
Viele Grüße,
Wilhelm
 

Anhänge

  • 1920x1430.jpg
    1920x1430.jpg
    329,1 KB · Aufrufe: 4
Zuletzt bearbeitet:

Wilm-52

Mitglied
Ein kleines Update:
Die Alpha-Aurigiden sollen in den nächsten Tagen kommen. Ich logge daher parallel mit der Richtantenne und der Rundstrahlantenne, siehe Übersicht.

Bei schneller Signalfolge wird die Anzahl unterbestimmt. Wie in dem zweiten (todo) Bild zu sehen ist, werden die beiden Echos als ein einzelnes registriert. Mir ist noch kein passender (kurzer) Code eingefallen, der das Problem löst.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht-2526_8.jpg
    Uebersicht-2526_8.jpg
    260,1 KB · Aufrufe: 6
  • todo1_25_8XY.jpg
    todo1_25_8XY.jpg
    387,5 KB · Aufrufe: 7

Wilm-52

Mitglied
Guten Tag,
dies ist meine Übersicht der letzten Tage. Danach ist alles noch konstant.
Manchmal checke ich zu kritischen Zeiten den Fehler durch manuelles Nachzählen:
Automatisch von 8-9 UTC: 42, von Hand: 48.
Automatisch von 9-10 UTC: 32, von Hand: 34.
Das Problem aus dem vorigen Post ist noch nicht programmiert. Es existiert aber schon eine Lösung auf dem Papier. Jedoch sind nur wenige Echos davon betroffen.
„unterbestimmt“ war der falsche Ausdruck; gemeint war: es werden zu wenige gezählt.
Viele Grüße,
Wilhelm
 

Anhänge

  • Uebersicht_27-29_August.jpg
    Uebersicht_27-29_August.jpg
    388,3 KB · Aufrufe: 8
  • 29_ed_xy.jpg
    29_ed_xy.jpg
    199,6 KB · Aufrufe: 28
  • GRAVES-XY-Vv_210829013019.jpg
    GRAVES-XY-Vv_210829013019.jpg
    593,4 KB · Aufrufe: 6

Wilm-52

Mitglied
Guten Tag,
das Programm ist nun so ziemlich fertig. Die ersten 3 Bilder zeigen Auswertungen, die damit erstellt wurden. Bilder 2 und 3 zeigen schön die momentane Basislinie. (Gestern habe ich nach dem Sonntagsausflug leider die Daten nicht rüberkopiert.) Die Fehlerquote ist sehr gering, nur lange Raucher und sehr große Signale werden als 2 (manchmal auch als 3) Echos gezählt. Die Summe der Flächen ist dabei aber ~ok. Das Problem sollte sich in der nächsten (KI)-Version leichter lösen lassen.
Bild 4 (demo) zeigt, wie ein Signal neben einer Störung (Knackimpuls) sicher erkannt wird. Im Bild 5 (demo1) werden 2 Signale im Suchfenster erkannt. Bild 6 ist das Original zu Bild 5.
Mit diesem Programm logge ich nun die kommenden (schwachen) Ströme.

Nun nehme ich die KI (künstliche Intelligenz) in Angriff. Das Auswerteprogramm bleibt im Prinzip so erhalten, es wird nur eine KI-Routine, die Instance Segmentation, vorgeschaltet. Wie der Output der KI-Routine ungefähr aussehen soll, zeigt das letzte Bild. Zu Python gibt es inzwischen eine schöne Bibliothekssoftware,

mit der man die Segmentierung mit wenigen Zeilen programmieren kann.
Es muss natürlich ein neuer Datensatz mit alle möglichen Meteorechos und Störungen erstellt werden. Damit muss dann ein neuronales Netzwerk trainiert werden. Ob und wie das im Einzelnen funktioniert, weis ich noch nicht…
Viele Grüße,
Wilhelm
 

Anhänge

  • 9-September.jpg
    9-September.jpg
    753,7 KB · Aufrufe: 3
  • 18-September.jpg
    18-September.jpg
    528 KB · Aufrufe: 3
  • 19-September.jpg
    19-September.jpg
    460,9 KB · Aufrufe: 4
  • demo.jpg
    demo.jpg
    1,1 MB · Aufrufe: 4
  • demo1.jpg
    demo1.jpg
    1,1 MB · Aufrufe: 4
  • GRAVES_MF_Vv_DA_210918012739.jpg
    GRAVES_MF_Vv_DA_210918012739.jpg
    537,5 KB · Aufrufe: 5
  • Plan-instance-segmentation.jpg
    Plan-instance-segmentation.jpg
    549 KB · Aufrufe: 3
Oben