Automatische Detektion von Meteor Scatter Spektrogrammen

[Wilm-52]

Guten Tag,
hier ist ein schönes Beispiel, wie die KI-Methode zwei Meteor-Signale und zwei Störungen unterschiedlicher Art voneinander trennt:
Die obere Störung (1) ist ein Knackimpuls, den meine alte Software schon mühelos beseitigen konnte. Der Träger rechts im Bild (2) ist neu. Zum Glück ist er selten und liegt nicht auf der Graves Frequenz.
Geloggt werden nur die beiden Echos, wenn sie zwischen den blauen Linien liegen, sich also im 20 s Zeitfenster befinden.

Einen schönen Tag wünsche ich Euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

sehr gut, ich bin gespannt, ob ich den In-line Effekt reproduztieren kann, sobald hier alles läuft.
Mit welchem Treshold filterst du die Stören?

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
das wäre gut. Dann treffen wir uns im Juni bei den Arietiden um 11 h UT, s. erstes Bild.

Die Störungen habe ich genau so wie die Meteorechos gelabelt. Es gibt da auch keinen Threshold.

In der konventionellen Methode hat der rote Kreis am linken Rand (bei der 5) den Knackimpuls angezeigt.
Den Träger, die Störung (2), erkennt meine alte Software nicht. Ich musste Bildchen löschen oder den Träger übermalen.
Viele Grüße,
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ich hatte vergessen das du für die Artefakte eine eigen Klasse hast, sorry! So ist es am Genausten. Die < 5 % Falsch Positive in der Meteor Klasse könntest du noch mit der Klassen Probability vom Netztwerk rausfiltern, die stehen ja bei dir neben "Meteor:". Du kannst ja mal schauen, wie die Werte bei den Falsch Positiven sind, ich vermute deutlich unter 0.9. Deine Werte sind ja im Laufe des Trainings schön nach oben gegangen, zumindest in den Beipielen, die du hier gezeigt hast. Natürlich muss man einen Threhsold wählen, um nicht zu viele positive zu verlieren.

Ich mache jetzt mal Feierabend und genieße meinen Wein
Gemütlichen Abend
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für den Tipp. Die Probability (Wahrscheinlichkeit, Score) habe ich noch gar nicht ausgewertet. Ich denke noch über ein neues Datenformat nach. Da sollten die Werte auch mit rein.

Nochmal zu den Arietiden:

Arietiden – Wikipedia

de.wikipedia.org

Im letzten Jahr hatte ich die Arietiden gar nicht auf dem Schirm und habe erst am 9. Juni gesehen, dass sie eine schöne Kerbe haben. Das Maximum am 7. Juni habe ich verpasst.
Sie beginnen aber schon ab Mitte Mai.
Einen schönen Abend noch und
viel Freude beim Genuss des Weines,
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Das wird dann spannend die Daten zu vergleichen. Im Prinzip läuft es jetzt bei mir, ich mache aber noch viele Tests, da ich ab und an noch Ausfälle habe…

Die Genauigkeitswerte (also wie sicher ist das NN für diese Klasse) sind sehr praktisch um falsch Positive zu filtern. In meiner Software übergebe ich sie als Parameter, wenn es sehr präzise sein soll und man auf ein Event verzichten kann da es viele gibt- sehr strenger Threshold. Wenn ich wenig Events erwarte und wirklich hinter jedem her laufen muss - sehr lockerer Threshold. Im letzten Fall kann es dann sogar sein, dass ich kurz manuell drüber schaue. Manchmal haben wir nur sehr begrenztes Saatgut und dementsprechend wenig ROIs.

Da du so viele Meteore einfängst könntest du einen hohen Threshold wählen. Eventuell verlierst du dann 1-2% Meteore aber die restlichen sind dafür zu 100% korrekt. Bei den anderen Klassen macht es keinen Sinn einen Threshold zu nutzen, diese möchtest du ja sowieso aus der Analyse haben.

Je mehr Trainingsdaten du hast, desto besser werden auch die Genauigkeitswerte. Am Anfang lagen sie bei deinen Beispielen um 70-80%, die letzten bei >90!

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
ich habe schnell eine Score-Statistik eingebaut.

Die Rechenzeit war nur noch 13 Minuten. Ein Pixellib-Aufruf war doppelt vorhanden.
Gute Nacht,
Wilhelm

 

[Wilm-52]

Hallo Stefanie und Manfred und alle, die sich fürs Thema interessieren.

Hier ist ein kleines Update zur Score-Diskussion und zur Frage, die ich mich immer stelle: Wann ist ein Modell ok und wann ist es unter- oder überbestimmt?

In der Tabelle sieht man, dass die Epochen 1-6 nacheinander CNNs ausgeben. Das nächste CNN erscheint dann bei Epoche 12, dann wieder ein CNN bei Epoche 18. Normalerweise beende ich hier die Iteration und nehme z.B. Epoche 12.

Hier habe ich nun untersucht, welche Ergebnisse die verschiedenen CNNs ergeben.
Epoche 18 liefert die meisten Echos und auch die meisten kleinen Echos, wäre also die erste Wahl.

Eine zu hoher 100 % Score deutet vermutlich auch auf eine Überbestimmung hin, oder?

Stefanie, wie gehst du vor, um das beste CNN zu finden?

Nicht alle roten Punkte sind Störungen. Der letzte Plot zeigt, dass auch Untergrund detektiert wird, um ihn von langen Signalen (Rauchern) zu unterscheiden.
Der Datensatz ist von den Geminiden 2021.

Einen schönen Abend wünsche ich euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

das sind berechtigte Fragen die schwierig zu beantworten sind und mit denen ich mich täglich rum quäle Die Antwort ist, es kommt darauf an (hilft nicht viel, ich weiß).

Ein paar Hinweise:

1) Kannst du den Verlauf des Traings plotten? Dann kannst du auch erkennen wieviele Epochen sinnvoll sind:

Accuracy and Loss - AI Wiki

machine-learning.paperspace.com

Dadurch kann man Under oder Overfitting recht gut erkennen und demenstprechen handeln:

https://machinelearningmastery.com/diagnose-overfitting-underfitting-lstm-models/

2) Versuche mal ein separates Validierungsset zu erstellen. Es darf nicht in dem Trainingsset enthalten sein und sollte mindestens 500 Events beinhalten, am Besten aus diversen Meteorströmen. Dann bekommst ein Gefühl für deine Modelle und du kannst sie miteinander vergleichen.

3) Kannst du mal ein paar falsch positive Meteor Objekte raussuchen und gucken wie der Score ist?

4) Dann gibt es diverse Paramter zu tunen, learning rate, dropout, Anzahl der Layer, Anzahl der Neuronen. Das ist aber zeitintensiv und komplex, bringt normalerweise nicht so einen straken Effekt, vor allem da du schreibst, dass deine Erkennungsrate sehr hoch ist.

100% wirst du nicht erreichen, ich würde ein Model bevorzugen das ein paar Objeket verliert aber den Rest der Klassen mit über > 95 % erkennt. Dann ist es wirklich vernachlässigbar und per Hand zu kontrollieren unnnötig. Du bekommst ja auch sehr viele Events rein, 1 % Fehlerquote bei 500 Events pro Nacht ist was anderes als bei 50.

Ich hoffe das hilft ein bisschen,
ich finde es bemerkenswert was du in der letzen (kurzen) Zeit erreichst hast. Alle Modelle sind gut, beobachte einfach die tägliche Auswertung und sammle die falschen weiter. Trainiere dann erneut und weiter geht es (wenn du magst). Wie gesagt, du liegst schon im Top Bereich und den Aufwand für 1-2 % mehr Genauigkeit muss man abwegen (80-20 Regel). Ich würde einfach mal passiv beobachten, die Probleme des NN werden sich dann auf Dauer zeigen und du kannst enstprechend handeln.

Beste Grüße
Stefanie

 

[particle_gun]

Achso du kannst deinen Code noch ChatGTP schicken und nach Verbesserungen fragen

 

[Wilm-52]

Hallo Stefanie,
danke für die Tipps und die Links. Damit kann ich arbeiten.
Die 80 % - 20 % Regel ist mir auch sehr geläufig und vor allem im Haushalt sehr hilfreich.
Einen gemütlichen Abend wünsche ich Euch,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag,
heute habe ich einen Benchtest zwischen meinem Gaming-PC mit der Nvidia 3060 GPU und meinem normalen i5-PC gemacht. Eine Stunde Daten (3. 4. 2023, 0 h) zu analysieren dauerten auf dem Gaming-PC 35 Sekunden und auf dem i5-PC 7 Minuten und 50 Sekunden (bereinigt um die Startup-Zeit). Beim Analysieren ist der GPU-Load im Bereich 30 %, während der GPU Load beim Trainieren ca. 80 % beträgt. Trainieren habe ich auf dem i5 nicht probiert.

Das Installieren von Pixellib auf dem i5 hat mich eine halbe Nacht gekostet, weil sich Tensorflow 2.5 eine ältere Numpy-Version installiert, mit der ein Modul
(scikit-image) in der aktuellen Version nicht kompatibel ist.

Folgende Reihenfolge und Versionen funktionieren:
(Python 3.9.7 ist meine benutzte Version)

Eine kurze Anleitung zur Installation von Python3 und Opencv auf Windows 10 PCs.

Meine Meteor Auswerteprogramme (zB hier) laufen unter Windows 10. Damit Ihr sie testen oder nutzen könnt, muss Python3 mit Opencv auf Eurem PC installiert sein. ---------------- Falls nicht schon installiert braucht man ein Microsoft Visual C++ Redistributable. Den aktuellen Installationsfile...

forum.astronomie.de

pip3 install scikit-image==0.18.3
pip3 install numpy==1.19.5
pip3 install tensorflow==2.5.0
pip3 install imgaug
pip3 install pixellib --upgrade

Falls Ihr aktuellere Versionen mit pixellib zum Laufen bringt, würde mich das sehr interessieren.

Das Programm ist nun im Erprobungsmodus. Es kommen täglich etwa 1000 Echos rein und ich beobachte damit, ob irgendwo (kleine) Ströme auftauchen.
Einen sonnigen Tag wünsche ich Euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Glückwunsch das du schon im Production Modus bist Pixellib läuft leider nur bis tf 2.4.1:

PixelLib supports tensorflow's version (2.0 - 2.4.1).

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie.
Dankeschön! Ich schreibe demnächst noch was zu den Problemchen.

Tensorflow 2.5 läuft problemlos, seriell und parallel auf der Grafikkarte.

Models Segmenting Nothing ,But Why ? · Issue #113 · ayoolaolafenwa/PixelLib

Hey i m new dude here, just a simple guy following PixelLib docs correctly ,accurately...i have tried all models MaskRCNN, XceptionMaskCnn ,PascalVOC model and almost all output are like this: This...

github.com

Wenn du runterscrollst: Ich bin WiSi-Testpilot...

Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ah gut zu wissen, danke für die Info!
Ich hoffe jemand antwortet...

Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vermutlich nicht. Es steht ja schon im Link. Ich hatte es nicht mehr auf dem Schirm.
Ich würde gerne ein aktuelles Softwarepaket nehmen, wenn es ähnlich einfach zu bedienen ist wie Pixellib. Hast du eine Idee, ob es so etwas gibt?
Viele Grüße,
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

gibt es einen Grund warum du ein aktuelles Paket möchtest? So lange alles gut funktioniert würde ich nicht unbedingt umsteigen (never change running code ) .

Ansonsten ist Pixellab ja nur ein bequemer Wrapper und du kannst jedem beliebige Tutorial folgen:

Train Mask R-CNN Net for Object Detection in 60 Lines of Code

A step-by-step tutorial using a minimal amount of code

towardsdatascience.com

Christian Mills - Training a Mask R-CNN Model on a Custom Dataset With IceVision

Train a [Mask R-CNN](https://arxiv.org/abs/1703.06870) model on a custom dataset using the [IceVision](https://airctic.com/0.11.

christianjmills.com

Training your own Data set using Mask_R-CNN for Detecting Multiple Classes

To differentiate multiple different objects in an image using Mask R-CNN

medium.com

Du kannst auch bei kaggle in den Notebooks schauen, die Wettbewerber nutzen fast nur noch ausschlißelich Mask-C-RNNs:

Kaggle: Your Machine Learning and Data Science Community

Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals.

www.kaggle.com

Search | Kaggle

Beste Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
vielen Dank für die Infos. Damit werde ich mich beschäftigen.
Als Ingenieur mag ich prinzipiell nicht mit alten Geräten oder alter Software arbeiten. Aber es hat auch sinnvolle Gründe:
Irgend wann bekommt man nämlich Probleme mit alter Software. Zum Beispiel bekomme ich gerade das Training unter Win11 nicht zum Laufen. Später probiere ich es auf einem alten Win10 PC noch mal.
Mein Gaming Notebook habe ich seit einem Jahr nicht mehr upgedatet und es darf auch nicht ans Netz, weil ein Windows Update mir schon mal Pixellib mit CUDA und CNN zerschossen hat.
Spätestens wenn das Win10 Gaming Notebook crasht und alte Versionen nicht mehr verfügbar sind, würde so ein Projekt sterben. Daher prüfe ich gerade, ob man in aktueller Umgebung Pixellib noch zum Laufen bringt, schiele aber auch nach Alternativen.

Einen schönen Nachmittag wünsche ich dir.
Ich fahre nun in den Nachbarort zum Kaffee Trinken und muss dann noch den Rasen mähen.
Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ich möchte auch immer das neuste und meistens gibt es ja auch interessante Features obendrauf Manchmal bin ich aus zeitgründen auch einfach froh, wenn es läuft und wenn ich dann wieder Zeit habe, investiere ich in ein Update. Ich kann dich also voll und ganz verstehen!

Ich experimentieren gerade mit zweitem SDR, bin aber nach dem Anstöpseln gleich wieder vom Boden, irgendwas raschelte da Darf der Held des Hauses begutachten

Ich wünsche dir viel Spaß beim Käffchen, bei uns gibt es jetzt Pizza und ein kühles Gerstengetränk. Es ist zwar sonnig aber bei 3 Grad ist man froh, wenn man wieder drin ist. Morgen fahre ich mit dem Fahrrad und Emil zum Nachbardorf Eier vom Hof kaufen. Dann endlich 2 Wochen Urlaub...

Beste Grüße
Stefanie

 

[Wilm-52]

Guten Morgen.
Diesen Test muss ich noch zeigen: Um 17 h ist schön eine Starlink Gruppe zu erkennen. Der Peak um 8 h ist auch auf RMOB z.B. bei Jochen Richert um 9 h zu sehen.

https://www.rmob.org/livedata/live_datas/Richert_2_042023rmob.TXT

Meine alte Software zeigt den Peak ebenfalls. Das Stundenhistogramm muss ich noch in die KI-Version übertragen.
-------
Das Win11 Problem ist auf Github gepostet.
-------
Auf einem älteren Win10 i3 PC habe ich mal 24 h trainiert, siehe den oberen Lauf im dritten Bild. Der Unterschied zum PC mit Nvidia 3060 Grafikkarte (unterer Lauf) ist ~Faktor 50. Man kann also durchaus auch ohne GPU trainieren, es dauert nur.
Gute Nacht wünscht
Wilhelm

 

[Wilm-52]

Fürs Archiv:
Das Trainieren unter Windows11 funktioniert nun. Das Problem ist wohl ein Bug im Programm labelme2coco.
Mit der allerersten Version klappt es nun.

Dies sind noch mal die Versionen und die Reihenfolge, mit denen Ihr Pixellib auf Win11 zum Laufen bringt:
pip3 install scikit-image==0.18.3
pip3 install numpy==1.19.5
pip3 install tensorflow==2.5.0
pip3 install imgaug ................................( ist 0.4.0)
pip3 install pixellib --upgrade
pip3 install labelme2coco==0.1.0

So kann man sich die Versionen anzeigen lassen:
C:\Users\wilsi>python
Python 3.9.7 (tags/v3.9.7:1016ef3, Aug 30 2021, 20:19:38) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> print (numpy.__version__)
1.19.5
>>>
Eine Ausnahme ist scikit-image.
Das importiert man mit: import skimage

Viele Grüße
Wilhelm

 

[particle_gun]

Danke Wilhelm, dass muss ich mir irgendwo ablegen.

Beste Grüße
Stefanie

 

[Wilm-52]

Guten Tag.
Nach dem vielen Text kommen hier mal wieder Bilder.
Sehr schön ist ein Starlink-Batch um ~6 h zu sehen. Das zweite Bild ist ein schönes Beispiel für die Instanzen Segmentierung.
Ich hatte noch Starlinks nachgelabelt. Nun gibt es auch keine UFOs mehr.

Falls wir uns hier nicht mehr treffen wünsche ich allen Mitstreitern, Lesern und dem Foren Team schöne Osterfeiertage.
Ganz liebe Grüße
Wilhelm

 

[particle_gun]

Cool

Ich wünsche euch auch allen frohe Ostern!

 

[particle_gun]

Wilhelm, kannst du bei Gelegenheit vom letzten Bild mit den Starlinks mal die Wahrscheinlichkeiten für die Meteor Klasse zeigen?

 

[Wilm-52]

Hallo Stefanie,
in dem Bild sind ja keine Meteore. Daher habe ich ein Bild mit Starlinks und einem kleinen Meteor geplottet.
Kleine Echos bekommen einen schlechteren Score oder werden gar nicht erkannt, wenn große Echos in der Nähe sind. Das habe ich schon häufiger beobachtet.
Wolltest du darauf raus?
Das letzte Bild ist eins meiner Testbilder, um diesen Effekt zu prüfen.
Einen schönen Abend wünsche ich euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Sorry, ich hatte mich aus Zeitgründen nicht ausreichend ausgedrückt. Wenn du in deinem Modell 3 Klassen trainierst, solltest du bei der Objektvorhersage die Wahrscheinlichkeiten der 3 Klassen bekommen. Ich weiß nicht genau ob und wie das Pixellib das zur Verfügung stellt, bei Keras geht das über model.predict():

Keras documentation: Model training APIs

Keras documentation

keras.io

Oder trainierst du 1 Modell pro Klasse? Mich würde im Fall von den vielen Starlink Signalen oder eigentlich für jede Klasse mal die Verteilung interessieren.

Also zum Beispiel:
Klasse 1 - Meteor
Klasse 2 - Artificial Star
Klasse 3 - Background

Wahrscheinlich Klasse:

1: 0.7
2: 0.2
3: 0.1

Ich schau mal wie Pixellib das macht…

CNN Feature Visualization ist übrigens auch cool:

Feature Visualization

How neural networks build up their understanding of images

distill.pub

Gemütlichen Abend, ich geh erstmal was verstecken…
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für die Anregungen.
Ich verstehe, weis aber nicht, wie ich an die Werte komme.

Ich trainiere ein Modell mit 3 Klassen:
segment_image.inferConfig(num_classes= 3, class_names= ["BG", "Artifical-Star", "Background", "Meteor"])

Das erste BG ist nicht von mir und gehört zu Pixellib.
Falls du es auch mal machst:
Die Klassen 1, 2, 3 müssen aufsteigend alphabetische Reihenfolge haben, sonst gibt es Durcheinander. Auch die Files im Test- und Train-Ordner beginnen bei mir mit A, B und der Rest ist für Meteore.

Viel Spaß beim Ostereier verstecken und suchen.
Viele Grüße
Wilhelm

 

[particle_gun]

Guten Morgen Wilhelm,

Danke für die Tipps, ich guck mal in den Ursprungscode.

So Emil sucht schon, seine Beine waren zu aufgeregt zum schlafen

 

[Wilm-52]

Guten Tag,
besonders viel habe ich über Ostern nicht gemacht, aber immerhin das Stundenhistogramm von der alten Software zur neuen übertragen. Die Skala ist hier eine andere.

Heute, am 11. April, zwischen 4 h und 5 h UT ist eine Lücke, weil ein Blitz den Vorverstärker gekillt hatte.

Gestern, am 10. April, waren es knapp 1100 Echos und ~50 Starlinks.
Ob es sich bei dem Maximum um 3 h und dem Einbruch (Kerbe) um 4-5 h um einen Strom handelt, beobachte ich noch. Es könnten die Virginiden sein.
Viele Grüße
Wilhelm