Meteor-Echo Detektion mit künstlicher Intelligenz (KI) / Machine Learning

[Wilm-52]

Guten Tag.
In diesem Thread habe ich ein Programm entwickelt, das Meteor-Echos loggt.
Im Anfang war es eine Echtzeitversion, die auf einem Nvidia Jetson Computer lief. Vor einiger Zeit habe ich das Programm dann zu Windows-10 portiert und auf Postprozessing umgestellt.
Das Programm funktioniert prima, hat aber Schwachstellen. Konventionell programmierte Objekterkennung ist nie perfekt. Bild 1 zeigt, wie das Programm richtig zwischen einer Störung und einem Meteorsignal unterscheidet. Bild 2 ist ein Beispiel dafür, wo das Programm versagt. (Bild 2 wird weiter unten noch mal benötigt.) Es wäre also zusätzlicher Code nötig, der solche Fälle behandelt. Daher stand von Anfang an fest, dass das Programm mal auf KI / Maschine Learning umgestellt werden wird.

Kürzlich bin ich nun auf ein Tutorial und eine exzellente Software gestoßen; das PixelLib von Ayoola Olafenwa. Pixellib ist eine Programmbibliothek, die genau die Prozeduren zur Verfügung stellt, die für die Objekterkennung mit KI Methoden benötigt werden.

GitHub - ayoolaolafenwa/PixelLib: Visit PixelLib's official documentation https://pixellib.readthedocs.io/en/latest/

Visit PixelLib's official documentation https://pixellib.readthedocs.io/en/latest/ - GitHub - ayoolaolafenwa/PixelLib: Visit PixelLib's official documentation https://pixellib.readthedocs...

github.com

Es verwendet als zentrale KI-Programme Tensorflow und Pytorch. Die Programmiersprache ist Python3.

Zur Erkennung der Meteore möchte ich die Instanzen Segmentierung nutzen. Wie das funktioniert, sollen die Bilder Bild 3 bis Bild 6 (selbst gemacht) veranschaulichen. Die Software erkennt die Pferde und die Rinder als einzelne Instanzen, auch wenn sie unvollständig bzw verdeckt sind. Die farbigen Flächen und Ränder in den Bildern 4 und 6 wurden von mir programmiert. Damit habe ich also später Zugriff auf die Größen und Anzahl der einzelnen Echos.

Nun muss „nur“ noch ein neuronales Netzwerk mit Meteor-Spektrogrammen und Störungen trainiert werden. Dafür nimmt man üblicherweise ein vorhandenes Modell und trainiert es einfach um. Bild 1 zeigt den ersten Schritt aus diesem Prozess: Zunächst legt man eine Kontur um das Spektrogramm, welche dann als json-Datei zusammen mit dem jpg-Bild abgespeichert wird. Ob alles richtig gelaufen ist, lässt sich mit einem kleinen Tool überprüfen, s. Bild 7. Mit möglichst vielen Dateien wird dann das Trainingsprogramm gefüttert.
Ich verwende hier die Spektrum-Lab 3D Spektrogramme, aber es könnte im Prinzip auch mit anderen Darstellungsarten trainiert werden.

Fortsetzung folgt.
Viele Grüße,
Wilhelm

 

[Wilm-52]

Ein kleines Update zur Technik:
KI / Machine Learning ist sehr rechenintensiv, so dass man zB beim Trainieren eines Modells einen Tag oder mehr benötigen würde. Aber auch das Auswerten von ein paar tausend Bildern pro Tag würde ewig lange dauern.
Nun gibt es aber zu den rechenintensiven KI-Programmen Pytorch und Tensorflow Bibliotheken zum Parallelrechnen, so dass man sie mit Nvidia Grafikkarten beschleunigen kann.
Für meine KI Experimente habe ich mir nun ein Gaming Notebook (NB) mit einer RTX3060 GPU (Grafik Prozessor Unit) gekauft. Es ist nicht das Top Modell, enthält aber 3840 Rechenkerne, die zB bei Computerspielen oder Raytracing für einen schnellen Bildaufbau sorgen.
Einen Vergleich mit meinem normalen Notebook kann ich schon zeigen: das Untersuchen des Bildes unten dauerte auf meinem normalen NB 10 Sekunden, während das Gaming NB 5 Bilder pro Sekunde schaffte.
Viele Grüße,
Wilhelm

 

[Wilm-52]

Guten Tag,
nun kann ich Euch schon erste Meteore zeigen, die von der KI-Software erkannt wurden. Zum testen habe ich nur 30 Bilder verwendet und nur wenige Epochen (= Zyklen) wurden gerechnet. Das erklärt, warum einige Meteore nicht erkannt werden und die Wahrscheinlichkeiten niedrig sind. Aber das Prinzip funktioniert und die Rechenzeiten werden dank Beschleunigung durch die Grafikkarte im Bereich von ein paar Stunden liegen.
Jetzt muss das neuronales Netzwerk noch mit vielen Daten trainiert werden. Es müssen Spektrogramme von allen mögliche Echos, von langen, kurzen, breiten, doppelten u.s.w. erfasst werden. Die zweite Klasse wird dann alle Formen von Störungen enthalten. Hier wurde die zweite Klasse durch Schmetterlinge simuliert, weil sie in großer Menge im Datensatz des Tutorials vorhanden waren.
Die abgebildeten Schmetterlinge habe ich fotografiert. Das Foto rechts ist eine UV Aufnahme, aufgenommen mit einer IR/UV offenen Kamera mit Baader Venus Filter und hat vermutlich zu wenig Kontrast fürs Machine Learning.
So richtig losgehen wird das Trainieren aber erst, wenn Ayoola Olafenwa die Bibliotheksroutinen für das Pytorch PointRend Modell veröffentlicht hat, s. zB hier:

Custom Training with PointRend? · Issue #108 · ayoolaolafenwa/PixelLib

Could you @ayoolaolafenwa provide a basic guide for custom training the Pytorch PointRend Model with PixelLib??

github.com

Das Modell ist schneller und genauer als das hier benutzte Mask R-CNN Modell mit Tensorflow.
Das letzte Bild zeigt noch eine andere Anwendung. Dort ist auch der GPU Load festgehalten.
Viele Grüße,
Wilhelm

------------------------
Hier sind noch ein paar Begriffe für die Suchfunktion des Forums und für die Suchmaschinen:
Meteor Scattering, Artificial Intelligence (AI ), Machine Learning, Instance Segmentation, Tensorflow, Pytorch, Pixellib, Nvidia RTX3060-GPU, CUDA, cuDNN.

 

[eberhard_ehret]

...Wilhelm...das wird langsam unheimlich, was Du da an tollen Ergebnissen ablieferst...
Nachher wirst Du noch von einem Geheimdienst gekidnappt....
LG Eberhard

 

[Wilm-52]

Eberhard, danke für deine Antwort. Was ich mache ist nichts, was einen Geheimdienst interessieren würde.
Aber es ist wohl so, dass Künstliche Intelligenz von einer gewissen Mystik umgeben ist.
Die Bezeichnung Künstliche Intelligenz ist jedoch irreführend, weil die Software natürlich nicht intelligent ist, sondern dumm wie alle andere Software auch. Besser ist der Begriff Machine Learning. Nur die Strukturen des Programms und wie man dem Programm beibringt, Objekte zu erkennen, hat man sich beim Gehirn abgeschaut, so wie man sich das Flugzeug bei den Vögeln abgeschaut hat.
Das selbstfahrende Auto zB ist auch in keiner Weise intelligent. Die so genannte KI-Software dient nur dazu, das Bild der Kamera (oder der Kameras) zu untersuchen und dann auszugeben, was sich dort mit einer gewissen Wahrscheinlichkeit vor der Linse befindet, so wie es oben in Bildern zu sehen ist. Das Ergebnis sind dann die verschiedenen Klassen, zB Mensch, Baum, Straße, Bürgersteig, Verkehrsschild usw. Dann muss eine ganz normale Software klitzeklein (if...then...else) programmiert werden, die alle möglichen Eventualitäten bis ins kleinste Detail behandelt.
Einen schönen Tag wünsche ich und
viele Grüße,
Wilhelm

 

[Wilm-52]

Nach längerer Zeit kommt hier ein Update:

In letzter Zeit habe ich die Schnittstelle zwischen der KI-Software und dem Meteor-Log-Programm programmiert. Da ich noch kein ordentliches neuronales Netzwerk für Meteore erstellt habe und das auch erst dann machen wollte, wenn dieses Testprogramm läuft, mussten Testobjekte herhalten, die das verwendete Neuronale Netzwerk bereits kennt. Man sieht daran aber auch, dass das Programm universell ist.

Ein Spektrogramm eines Meteorechos wird in der Regel aus mehreren Bruchstücken bestehen, siehe zB den Extremfall Bild 2. Daher wurden die Figuren so gewählt, dass einige aus Bruchstücken bestehen. Die KI-Software erkennt die Objekte trotzdem mit hoher Wahrscheinlichkeit, s. den Eintrag tensor.

Aus den (gleichfarbigen) Bruchstücken werden dann mit der Gaußschen Trapezformel die Flächeninhalte berechnet. Sie sind links unten im Bild 1 aufgelistet.

An das Log-Programm werden später die Anzahl, die Flächen, die Wahrscheinlichkeiten und die Klassen (Meteor(Typ), Störung, Satellit...) weitergegeben.
Viele Grüße,
Wilhelm

 

[Wilm-52]

Guten Tag.
Diesen Thread habe ich etwas vernachlässigt, aber es gibt große Fortschritte.
Details dazu stehen in diesem Thread.

Automatische Detektion von Meteor Scatter Spektrogrammen

Guten Tag. Die Daten will ich nun in drei Klassen einteilen: smal, medium und big. Dann kann ich gezielter das Aufteilen zwischen Test- und Trainingsdatensatz vornehmen und gezielt nachfüttern, so die Idee. Verschieben zwischen den Klassen ist relativ einfach: man muss nur die Filenamen ändern...

forum.astronomie.de

Hier zeige ich nur die Highlights, um es übersichtlich zu halten.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
So, mein Artikel:
Meteor Detektion mit Künstlicher Intelligenz / Machine Learning
ist fertig. Es gibt eine deutsche Version fürs Forum und eine englische zum Einreichen.
Viele Grüße
Wilhelm

 

[particle_gun]

Super Wilhelm! Kannst du noch die englische Version schicken? Wenn du magst schau ich dann mal drüber.

Viele Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie.
Dankeschön. Hier ist die englische Version.
Für die Diskussionen hier im Forum würde dir gerne ein Acknowledgment reinschreiben, wenn du magst.

Lass dir ruhig Zeit mit dem Lesen. Es wird noch von ein paar Radioenthusiasten begutachtet.

Einen schönen Sonntag wünsche ich Euch und viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhem,

Gute Zusammenfassung, gefällt mir sehr

Hier meine Kommentare:

• Artifical-Star -> Korrektur Artificial-Star
• Ich würde vielleicht noch erklären warum du die Plots genau in 20 Sekunden Intervallen aufnimmst
• Vorschlag für den Titel: "Meteor Detection using Artificial Intelligence and Machine Learning"
• PixelLib ist letztendlich (nur) ein komfortabler Wrapper für DeepLabv3+ und Mask R-CNN, daher würde ich die 2 Methoden zumindest in den Referenzen mit aufnehmen oder im Text 1-2 Sätze erwähnen. Meines Erachtens haben die zwei Methoden die Segmentierung auf Pixel Ebene revolutioniert.

Fast zu Schade für eine Submission ohne Impact Factor

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie.
Vielen herzlichen Dank.
Die Vorschläge werde ich umsetzen.
Der Fehler mit Artificial-Star ist sehr peinlich. Ich hatte schon befürchtet, dass alle Labeldaten und das Modell neu gemacht werden müssen.
Aber eine Änderung im Programm reicht erst mal.

Zu den 20 Sekunden hier schon mal vorab:
Die Gesamtzeit des Plots ist bei 143.05 MHz ungefähr 50 s. So ist sichergestellt. dass auch größere Echos komplett im Bild sind. 20 s ist ein Kompromiss zwischen Auflösung und Datenmenge.
Da alle 20 s ein Plot gespeichert wird, darf auch nur ein 20 s langer Bereich ausgewertet werden. So ist sichergestellt, dass (fast) immer ein komplettes Echo, dass auch deutlich länger als 20 s dauert, komplett geloggt wird, s. Anhang: Aus den 3 Plots wird nur ein Echo geloggt, siehe ++++.
So oder ähnlich schreibe ich es dann noch in den Anhang rein.

Vielen Dank noch mal und liebe Grüße
Wilhelm

 

[Wilm-52]

Hallo Stefanie,
ich habe die Sache mit den 20 s noch mal überarbeitet und ein Bild dazu eingebaut:

4 The Evaluation
The evaluation software reads all the images addressed by file names and wildcards one after the other, usually those from an entire day. The total recording time per chart is approximately one minute. However, since the plots are saved every 20 seconds, only the contents of a 20-second time window need to be logged. Due to the long recording time, even large echoes that last significantly longer than 20 seconds are still recorded correctly. This is explained in Figure 7.

Figure 7 is based on a plot from 8:37:20 am. Two insets, one on the left from 8:37:00 and one from 8:37:40 on the right edge, were added. So three recordings are displayed approximately 20 seconds apart. At 8:37:00 a.m. the meteor is partially at the bottom of the image but is not recorded because the center of mass is still below the blue line. At 8:37:20 a.m. the center of gravity is in the 20-second evaluation window and logging takes place. At 8:37:40 a.m. the center of gravity is again outside the evaluation area.

Figure caption:
Figure 7 – Logging an Echo. Only the echo from 8:37:20 a.m. is logged because the center of gravity is in the 20 s evaluation window.

Blau auf blau ist doof, aber ich kann die Farbe (im Transparentmodus) nicht ändern.

Liebe Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

das ist sehr gut und die Leser werden besser verstehen warum in diesem Intervall.

Kleine Anmerkung, hinter jede Uhrzeit würde ich überall AM setzten > 8:37:20 AM

Viele Grüße
Stefanie

 

[Wilm-52]

Fast zu Schade für eine Submission ohne Impact Factor

Hallo Stefanie,
die Arbeiten in Meteor-News sind nicht peer reviewed, aber es ist eine sehr gute Lösung für einen einfachen Bastler. Die Artikel sind zitierbar und werden nicht hinter einer Paywall versteckt.
Die Artikel werden zB. auch hier gelistet:

Radio observations on the Perseids and some other showers in August and September 2022

The Perseids 2022 were recorded between August 6th and 19th with two almost identical receiving systems, which differ only in the antennas. It's a cross Yagi and an omnidirectional antenna, a discone. Surprisingly, the discone gives the better Perseid results. The Perseid stream contained many...

ui.adsabs.harvard.edu

und

A notch in the Arietids radio data and a new so called in-line-effect

Meteor showers of the daytime Arietids (ARI), the zeta Perseids (ZPE) and the daytime lambda Taurids (DLT) were observed as echoes with the GRAVES radar, France, from June 9 to June 19, 2022. According to CMOR radar, the Arietids were the dominant stream in this time window. Although the ARI...

ui.adsabs.harvard.edu

Habe noch zwei Entwürfe von Figure 7 angehängt. Bei einem feht noch die Beschriftung.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
Das Paper liegt noch in England. Inzwischen habe ich ein neues Grafical Abstract mit Stefanies Vorschlag zum Titel und eine Abbildung zu den Ruinen gemacht.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag.
So, das Paper ist nun online.
Vielen Dank noch mal an Stefanie fürs Korrekturlesen und besonders für die vielen Diskussionen hier im Forum.
Das steht auch im Paper unter Acknowledgment.

Vielen Dank auch ans Forum, das uns hier eine tolle Plattform bietet.
Einen schönen Tag wünsche ich Euch,
viele Grüße
Wilhelm

Meteor Detection using Artificial Intelligence and Machine Learning

Abstract: In this article I would like to introduce a method that detects meteor echoes based on artificial intelligence. The advantages over conventional object detection are significant: The current version can detect meteors of various shapes and distinguish them from interferences and St

www.meteornews.net

 

[Wilm-52]

Guten Tag.
Nach dem Paper ist vor dem Paper.
Im Moment versuche ich die Auswertung von 2D-lang auf 3D umzustellen. Abgebildet ist schon mal der Noisefloor. Ein Tag fehlt. Zu sehen ist dass die Störungen ab 6 h kräftig zunehmen. Zum Glück kommt die Geminidenkerbe um 2 h.
Die Bilder mit dem Meteor und dem Satelliten zeigen, dass die neue Software sie schön trennt.
Das große Echo von heute um 7:15 h UT wird als 2 Meteore erkannt.
Einen schönen Tag wünsche ich euch,
viele Grüße
Wilhelm