Automatische Detektion von Meteor Scatter Spektrogrammen

[Wilm-52]

Guten Tag.
Kleines Update: (nicht, dass Ihr denkt, es tut sich nichts mehr.)
Die Auflösung ist hier 3 Minuten. Zum Einsatz kommt ein neues Verfahren zum Generieren des Histogramms, nämlich das
Gaussian Random Average-Shifted-Histogram.
Das Random average shifted histogram ist in der Literatur beschrieben, auch ohne Random, das Gaussian habe ich hinzugefügt. Damit lässt sich gleichzeitig filtern. Die Filterbreite ist in 40 s Schritten veränderbar.
Werde weiter berichten.
Viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag,
meine Anlage hat am 20. und 22. Februar kurz vor Mitternacht je einen deutlichen Peak aufgezeichnet, s. die gelben Pfeile. Vermutlich handelt es sich um die Februar- oder Delta Leoniden. Sie haben zwar ihre maximale Radiantenhöhe erst um 2 h, aber dieses Maximum fällt dann mit einem Azimut von 180° zusammen, so dass wir hier eine Kerbe sehen sollten. Die Daten sind etwas dünn, aber auf dem CMOR Radar ist bei Leo und Umgebung nichts zu sehen.

Radar meteor radiants

Das zeigt, dass GRAVES ein tolles Instrument ist, um auch kleine Ströme und Effekte aufzuspüren.
Die Genehmigung zu Posten von CMOR Bildern liegt vor.
10 Minuten Starlink sind auch noch beigefügt. Der GIF wurde bei ezgif.com erstellt.
Einen schönen Tag wünsche ich Euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ich bastel gerade an meiner Webseite, hier mal meine Histogramme. Am 23.2. stieg meine Anlage leider aus.

Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
das freut mich.
Haben die Farben eine Bedeutung?
Vielleicht kannst du die Ziffern größer und kontrastreicher machen?
Die Balken würde ich etwas schmaler machen und enger zusammensetzen. Dann sieht man den Verlauf besser und es passen ein paar Tage nebeneinander.
Sind aber nur Ideen…
Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

Danke dir für die Vorschläge, dass ist ein Tool was ich beruflich nutze und ich habe aus Zeitgründen nur die Default Einstellungen gelassen. Wir haben so eine Hass-Liebe, auf der einen Seite kann man in 15 Minuten was tolles zaubern aber die Anpassungen nerven danach und kosten Zeit. Wollte nur mal schnell schauen, wie unsere Daten sich vergleichen, hübsch mach ich es später Im Moment baue ich eine Pipeline, um alles automatisch hochzuladen.

Schönen Abend
Stefanie

 

[Wilm-52]

Hallo Stefanie,
das sieht sehr gut aus. Der normale Tagesgang ist zu sehen und du hast abends den Anstieg drin, den ich auch habe.
1 zu 1 kann man die Histogramme von verschiedenen Orten nicht vergleichen. Das sieht man schön, wenn man RMOB Histogramme vergleicht.

Einen schönen Abend wünsche ich Euch
Wilhelm

 

[Counterfeiter]

Hallo Wilm,

für ein Projekt auf Arbeit habe ich ein CNN, das normalerweise Objekterkennung in 1000 Kategorien vornimmt, umtrainiert.

Dazu habe ich die Weights des, zwei Tage lang auf starken GPUs, vortrainierten Netzwerkes umtrainiert. Dazu musste ich den RGB Layer am Eingang entfernen und gegen Grayscale ersetzen und am Ausgang hatte ich nur noch zwei Kategorien. In meinem Fall, „Person still“, „Person bewegung“… Eingangsdaten war ein Spektrogram von einem Radar. Also recht ähnlich zu deinen Daten.
Das Ergebnis war nach nur 30 Minuten auf der GPU schon sehr verblüffend.

Was ich damit sagen möchte: Ich denke es geht und es geht in wenigen Stunden mit KI umzusetzen und das Internet ist toll und voller frei verfügbaren Ansätzen, damit man seinen Geldbeutel schonen kann ?

Ich meine ich hatte damals pytorch, eine Ableger eines „EfficencyNets“ verwendet. Das Netzwerk hat dann bei entsprechender Detection eine Boundingbox um das Target im Spektrogram gezeichnet.

Viele Grüße
Sebastian

 

[Wilm-52]

Hallo Sebastian,
vielen Dank für deine Anregungen.
Stefanie beschäftigt sich auch schon mit KI:

Automatische Meteor Klassifizierung

Hallo Meteor Freunde, da ich mich beruflich viel mit Objektklassifizierung beschäftige, wollte ich mal ein bisschen mit den Meteoren probieren. Die Idee ist mittels künstlicher Intelligenz und einen Trainingsdatensatz die verschiedenen Muster der Meteore vorherzusagen. Dafür habe ich einen...

forum.astronomie.de

Gelegentlich beschäftige ich mich auch mit KI/Machine Learning:

Meteor-Echo Detektion mit künstlicher Intelligenz (KI) / Machine Learning

Guten Tag. In diesem Thread habe ich ein Programm entwickelt, das Meteor-Echos loggt. Im Anfang war es eine Echtzeitversion, die auf einem Nvidia Jetson Computer lief. Vor einiger Zeit habe ich das Programm dann zu Windows-10 portiert und auf Postprozessing umgestellt. Das Programm funktioniert...

forum.astronomie.de

Die Sache ist allerdings etwas eingeschlafen, weil mein momentanes Programm ganz gut funktioniert, ich mich etwas gegen das Labeln ansehe und das verwendete Programmpaket Pixellib momentan nicht gepflegt wird. Mein Gaming-Notebook lasse ich aber regelmäßig trainieren, um zu testen, ob noch alles funktioniert. Es trainiert Eichhörnchen und Schmetterlinge auf Meteorechos und Schmetterlinge um.
Wenn die Objekte erkannt sind, muss noch die Größe der Flächen bestimmt werden (was schon mit der Gaußschen Trapezformel funktioniert) und sie müssen noch gezählt werden. Das Bestimmen der Größen ist besonders wichtig. Damit habe ich den In-Line-Peak entdeckt, s. oben. In der Rate ist der Peak nicht zu sehen.

Ich bin auch fleißig dabei, Spektrogramme zu sammeln. Die Störungen nehmen zu und die Starlink-Satelliten werden immer mehr, so dass auf Dauer an KI kein Weg vorbeigeht.

Hier scheint die Sonne.
Einen schönen Sonntag wünsche ich euch,
viele Grüße
Wilhelm

 

[particle_gun]

Hallo,

Schön das es noch mehr Interessierte gibt Aus meiner Erfahrung heraus reicht es wahrscheinlich sogar nur mit den Region of interests ein Random Forest oder XGboost Classifier zu bauen. Die aufwändige Annotation mit Pixellib ist vermutlich nicht nötig und kann mit klassischer Segmentierung geschehen (ich setze es so um). Bei Gelegenheit werde ich das mal vergleichen, die Spektrogramm Klassen sind ja recht unterschiedlich und klar zu trennen.

Wir gehen erstmal raus an die kalte Winterluft,

Beste Grüße
Stefanie

 

[particle_gun]

Falls es von Interesse ist, beruflich habe ich diese Methoden viel verglichen:

Deep phenotyping platform for microscopic plant-pathogen interactions

### Competing Interest Statement The authors have declared no competing interest.

www.biorxiv.org

https://spj.science.org/doi/10.34133/2020/5839856

Grüße

 

[Wilm-52]

Hallo Stefanie,
Glückwunsch zum Paper. Das ist ein sehr interessantes Gebiet.
In dem letzten Jahren meiner Berufstätigkeit konnte ich mich auch mit biochemischen Themen beschäftigen. Mit Hilfe der Dichtefunktionaltheorie (DFT) und der zeitabhängigen Dichtefunktionaltheorie (TD-DFT) haben wir Mechanismen an Häm-Enzymen untersucht. Meine Spezialität war das Eisenatom mit seinen vielen verschiedenen Spin- und Oxidationszuständen. Meteor-Daten auswerten ist ein guter Ersatz dafür und fast genau so interessant.

So, jetzt gehe ich auch an die Sonne.

 

[Counterfeiter]

Hallo,

ihr seit schon gut dabei, ich seh schon! Ich hatte kurz reingeschaut. Werde es aber wohl nicht mehr alles aufholen können, was hier in den letzten Seiten alles aufgelaufen ist. Ich hoffe ihr entschuldigt mein „reinplatzen“.
Es ist schon witzig, wenn ein CNN einen Fahrrad von einem Eichhörnchen unterscheiden kann, ist es schon so weit vorangeschritten, dass man die Layer vorn und hinten einfach für seine Zwecke austauschen kann. Ich nehme an eine BoundingBox hätte hier ebenfalls Vorteile, da man sicher innerhalb des erkannten Spektrums ein paar weitere Parameter abprüfen kann. Für meine Anwendung war es damals die Atemfrequenz der Person.
Ehrlich gesagt, ich versteh nicht so ganz was ihr da macht, es hat mich nur direkt an meine Versuche von damals erinnert. ?

 

[Wilm-52]

Hallo Sebastian,
jeder Kommentar ist willkommen.

Mein Ziel ist:
Mit der Instanzen Segmentierung die Meteorechos (blau, rot, gelb, grün) vom Rest unterscheiden, die Flächen bestimmen und sie auszählen.
Eine schönen Abend wünsche ich,
viele Grüße
Wilhelm

 

[Wilm-52]

Guten Tag,
hier sind ein paar Beispiele, die zeigen, wie eng die Echos teilweise kommen und wie unterschiedlich sie sind.
Einen sonnigen letzten Februar-Tag wünsche ich,
Wilhelm

 

[Wilm-52]

Dieses Bild zeigt noch, dass viele Echos (grüne Punkte) unter der Triggerschwelle (Threshold) liegen. Mit KI gibt es keinen Threshold, sondern eine Wahrscheinlichkeit. Damit lässt sich die Anzahl der detektierten Echos steigern, was dann den Dynamikumfang vergrößert.

 

[particle_gun]

Hallo Wilhelm,

Wirklich schöne Gebirge hast du da erwischt ? Woran erkennt man genau, das es sich bei dem einen Event um Starlink handelt? Zweite Frage noch, wenn du keinen Threshold nutz, wertest du dann schlichtweg alles aus und machst durchgängig alle x Sekunden einen Screenshot?

Bei mir ging heute alles schief, die Hardware wollte weder beim Teleskop noch beim SDR nicht kooperativ sein. Ich lese jetzt ein Buch ?

Schönen Abend noch
Stefanie

 

[Wilm-52]

Hallo Stefanie,
was liest du denn?
Starlink erkennt man gut daran, dass sie (nach dem Start) im Gänsemarsch daherkommen, so dass man immer mehrere im Bild hat.

...und nochmals STARLINK

...minutenlang der ganze Bildschirm voll.... LG Eberhard

forum.astronomie.de

Zu den Aufnahmen: Ich speichere die Plots im Abstand von 20 Sekunden. Aus jedem Plot wird aber nur ein 20 Sekunden langer Bereich ausgezählt, siehe im Bild den Bereich 1-5. Der breite Rand bewirkt, dass auch von großen Echos die Flächen bestimmt werden können.

Die blaue Box triggert das Loggen. Im Bild liegen 2 Echos im 20 s Fenster. Das würde bei der KI Software so bleiben.

Das Analysieren der Echos macht im Moment die Opencv Prozedur findContours. Nur das würde dann die KI übernehmen.
Gute Nacht und viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

ok, dann hatte ich bisher keinen Starlink auf dem Bild bzw. sortiert das mein SpectrumLab Meteor Script vielleicht vorher raus. Ich werde es mal mit deiner Brute-Force Methode probieren

Ich lese hauptsächlich Science Fiction, im Moment Asimov (habe doch tatsächlich noch eines gefunden, was ich nicht kannte). Nebenher noch "Die Symphonie der Sterne", ein Roman über die Geschwister Herschel (haupstächlich geht es um Caroline).

Sonnige Grüße
Stefanie

 

[Wilm-52]

Hallo Stefanie,
danke für die Lesetipps.

In den letzten Tagen habe ich noch etwas gebastelt. Falls etwas nicht richtig oder überinterpretiert ist, solltet ihr das gerne kommentieren.
-------------------------------------

Gerade durchläuft das Meteor-Aufkommen ein Minimum. Auf CMOR sind Orbits detektiert, aber es sind keine Radianten eingezeichnet. GRAVES ist ein leistungsstarkes Radar, so dass damit auch schwache Ströme nachweisbar werden.

Die roten Punkte sollen in den beiden Bildern die Tages-Capricorniden markieren, die hellblauen Punkte sollen die Delta- oder Februar-Leoniden zeigen.

Auszug aus Wikipedia:
Die Februar-Leoniden sind ein Meteorstrom, welcher vom 1. Februar bis zum 28. Februar beobachtbar ist.
Die Delta-Leoniden sind ein Meteorstrom, welcher vom 15. Februar bis zum 10. März beobachtbar ist.

Im Meteorstrom-Kalender 2022 seht, dass die Daytime/Tages-χ-Capricorniden den ganzen Februar über aktiv sind.

Am 26. Februar ab 8 h hat meine Anlage also die Capricorniden aufgezeichnet. Der Peak ist relativ groß und das Signal zeigt auch die bekannte Kerbe, wenn der Azimut des Radianten 180° beträgt. Dass es sich im Gegensatz zu den anderen Kerben/Einbrüchen um eine Azimut-Kerbe handelt, erkennt man daran, dass der ziemlich gleichmäßige Kurvenverlauf des Peaks durch die steil abfallende Flanke abgebrochen wird.

Die rote Kurve in der oberen Bildhälfte zeigt zur Orientierung die Elevation (El) des Sterns Theta Capricorni. Hier die Eckdaten der roten Kurve:
8 h, El = 11°
11 h, El = 25.3 °
11:23 h, El = 25.5°, Azimut 180°
15 h, El = 9°

Laut einer genauen Analyse (Daten nicht gezeigt) liegt das Minimum der Kerbe bei 11:10 h. Der Radiant der χ-Capricorniden liegt also 13 (Zeit) Minuten vor Theta Capricorni.
An den anderen 3 roten Punkten sind die χ-Capricorniden ebenfalls zu erkennen.

Die hellblauen Punkte markieren die Delta- oder Februar-Leoniden. Die hellblaue Kurve zeig hier die Höhe des Sterns Delta Leonis.

Ein paar Eckdaten:
19 h, El = 9°
1:37 h, El = 63°, Azimut = 180°
2 h, El = 62°
8 h, El = 11°

Die Stern-Daten wurden mit Stellarium Web ermittelt. Der Bezugsort ist Dijon in Frankreich, der Standort des Radars.
Die Genehmigung zum Posten von CMOR Plots liegt vor.
Einen sonnigen Tag wünsche ich euch,
viele Grüße
Wilhelm

 

[Wilm-52]

Die Feuerkugel vom 28. Februar 23:25 UT darf hier natürlich nicht fehlen.

International Meteor Organization

We received 278 reports about a fireball seen over Auvergne-Rhône-Alpes, Île-de-France, Baden-Württemberg, Bourgogne-Franche-Comté, Bretagne, Bruxelles, Drenthe, England, Esch-sur-Alzette, Flanders, Friesland, Gelderland, Grand Est, Hauts-de-France, Hessen, Kanton Esch an der Alzette, Kanton...

fireballs.imo.net

Es handelt sich um ein Seitenkeulen- oder Rückkeulenecho. Zu dem Thema gibt es hier im Forum einen Thread:

Kann man mit der GRAVES-Rückkeule Meteore beobachten?

Guten Tag. Ulrich (Speul) hatte hier einen Meteor mit GRAVES aufgezeichnet, zu dem es auch visuelle Beobachtungen gibt. Die Sichtungen waren aber größten Teils in Nord-Holland. GRAVES steht in Frankreich und strahlt Richtung Süden. Damit detektiert man theoretisch nur Meteore, die südlich eines...

forum.astronomie.de

Die Uhr auf dem Rechner ging etwa 10 s nach, weil er aus Sicherheitsgründen nicht am Netz hängt.
Das bunte Bildchen wurde mit ImageJ angefertigt.
Viele Grüße
Wilhelm

 

[particle_gun]

Hallo Wilhelm,

das klingt weiterhin sehr spannend und plausibel! Sobald das Wetter wieder schlecht ist (im Moment bastele ich am Teleskop), baue ich meine Anlage um. Bin gespannt auf die Vergleiche, im Moment ist aus Zeitgründen alles semi-optimal bei mir.

P.S. Asimov Foundation Reihe ist sehr zu empfehlen, falls du es noch nicht kennst.

Beste Grüße

 

[particle_gun]

Dieses Bild zeigt noch, dass viele Echos (grüne Punkte) unter der Triggerschwelle (Threshold) liegen. Mit KI gibt es keinen Threshold, sondern eine Wahrscheinlichkeit. Damit lässt sich die Anzahl der detektierten Echos steigern, was dann den Dynamikumfang vergrößert.

Guten Abend Wilhelm,

Kurze Nachfrage, welchen Threshold meinst du hier genau (dB, SNR oder was ganz anderes)?

Grüße und schönen Abend
Stefanie

 

[Counterfeiter]

Seh ich das richtig, dass die Z-Achse von der Darstellung her doppelt vorhanden ist und den „Pegel“ abbildet? Also einmal in Z Auslenkung und zusätzlich in Farbe?
Schaut denn der Algorithmus auf das 3D Bild oder ist das von dir nur zu Visualisierung?

 

[Wilm-52]

Hallo Stefanie,
mit Opencv extrahiere ich die Flächen der Echos aus den Plots, demonstriert am Bild_1.
Der Threshold wird dabei im HSV-Farbraum festgelegt. Dann entstehen die Masken im Bild_2 und die Flächeninhalte und die Anzahl der Echos können bestimmt werden.

Aber der Reihe nach:

Mit dem Befehl
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
wird das RGB-Bild in ein HSV-Bild umgewandelt.

Nun wird mit dem Befehl
maske = cv2.inRange(hsv, (10,70,70), (40,255,255))
ein Farbbereich (der Threshold) definiert und die Maske erzeugt, siehe auch die Seite von Stack Overflow. Von dort stammt auch das HSV-Farbschema.

Choosing the correct upper and lower HSV boundaries for color detection with`cv::inRange` (OpenCV)

I have an image of a coffee can with an orange lid position of which I want to find. Here is it . gcolor2 utility shows HSV at the center of the lid to be (22, 59, 100). The question is how to cho...

stackoverflow.com

10 und 40 sind die Farbwinkel, 70 und 255 die Intensitäten. Diese Werte muss man austesten.

Dieser Befehl plottet die Maske:
cv2.imshow("SW-Maske", maske)

Dieser Befehl berechnet die Daten aller Masken im Bild:
contours, hierarchy = cv2.findContours(maske, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)

Als Test wurde das Farbschema durch das Programm geschickt, s. Bild_4 und 5. Dann sieht man ob es funktioniert.
-------------------------------------------------------------------------------------------------------------------------

Hallo Sebastian,
Z ist doppelt, also Farbe und Höhe.
Die 3D-Darstellung brauche ich, um bei vielen Echos überhaupt Substanz zu bekommen. Ohne 3D wären es im Bild_1 nur zarte Striche.
3D ist Teil des Algorithmus.

Gute Nacht und viele Grüße
Wilhelm

 

[Counterfeiter]

Hallo Wilhelm,

danke für die Erklärung. Ich hatte den Algorithmus auch schon öfter eingesetzt. Der ist wirklich sehr praktisch für viele Anwendungen. Evtl. lässt sich die Fehlerrate noch drücken, wenn du die Daten auch als Matrix oder besser numpy-array vorliegen hast. Dann würde man sich die Farbwandlung mit HSV einsparen könne, da die Software erst die Farbe rein bringt und das Array lässt sich einfach thresholden und vor allem mit Sigma Clipping "Background Substructen". Anschließend könnte man das Integral aller zusammenhängenden Flächen bestimmen. Aber vielleicht kommst du nicht so einfach an die Rohdaten heran?

Viele Grüße

Sebastian

 

[particle_gun]

Guten Morgen.

danke fürt die Erklärung! RGB (oder HSV) Thresholds vermeide ich soweit es geht. Das Problem ist auch, wenn man an der Aufnahme nur Kleingkeiten ändert, dann funktionieren auch die Thresholds nicht mehr.

Meist kann man im Graukanal oder einem der HSV Kanäle gut Segmentieren und das ist deutlich robuster:

from skimage.filters import try_all_threshold
from skimage.io import imread, imshow
from matplotlib import pyplot as plt

img = imread('test.jpg', as_gray=True)

fig, ax = try_all_threshold(img, figsize=(10, 8), verbose=False)
plt.show()

Im Falle der Meteore ist die Sache ziemlich einfach, ich kämpfe beruflich meistens mit viel Rauschen.

Edge Detection wäre auch noch eine recht robuste Methode, wenn man nicht zu viele Objekte im Bild hat (Comparing edge-based and region-based segmentation — skimage v0.20.0 docs).

@Wilm-52 Wenn du sowieso die Konturen extrahierst, könntest du doch das Polygon direkt im PixelLib Format umwandeln. Ich hatte dananch mal gesucht aber damals keinen Code gefunden, sollte aber kein Problem sein und du brauchst nicht manuell labeln...

Beste Grüße
Stefanie

Edit: Oder du startest ein Projekt auf Zooniverse

 

[Wilm-52]

Hallo Stefanie und Sebastian,
danke für eure hilfreichen Tipps. Ich werde mich damit beschäftigen.

Stefanie,
das Problem mit dem Farbraum kenne ich. Die Einstellungen (CLUT in Spectrum Lab und Threshold und auch die Bildgröße) sind seit langem unverändert, damit die Ergebnisse vergleichbar sind. Wenn man diese Einschränkung in Kauf nimmt funktioniert es sehr gut. Am Mikroskop würde ich das auch nicht so machen.

Vielen Dank für die Ausarbeitung der verschieden Methoden. Damit werde ich auch Tests machen.
Noch zu bedenken ist, dass die Meteorechos nicht immer so sauber wie im Beispiel sind: sie können in Bruchstücken vorliegen und es gibt Starlinks und andere Störungen, die eliminiert werden müssen, s. Bilder.

----------------------------------------------------------
Habt ihr auch Jupiter und Venus gesehen? Ich habe gestern meine Kinder angerufen und sie waren alle begeistert...
Einen schönen Freitag wünsche ich,
viele Grüße
Wilhelm

Edit:
Mit der Methode mache ich auch Chroma Keying direkt auf dem Kopter.

 

[particle_gun]

Hallo Wilhelm,

ja, die Methode hat natürlich auch Ihre Grenzen und man muss schauen, wie es bei kleinen oder dicht nebeneinander liegende Events funktioniert. Im Moment extrahiere ich so > 95 % und bin damit erstmal zufrieden bzw. reicht die Zeit im Moment nicht für mehr.

Kopter ist cool, hätte ich auch gerne

Die letzten 3 Nächte waren wir draußen, zum ersten Mal nach 15 Jahren Abstinenz und mit neuem Equipment sogar ein Video vom Mond (bis alles lief, war Jupiter schon weg). Vieles lief nicht wie gewünscht und gestern kamen etwa 1 Stunde nach Aufbau die Wolken. Aber es wird, ich versuche ein EAA System aufzubauen, sodass ich von drinnen aufnehmen und beobachten kann. Wobei Emil der Meinung ist, es sei kein richtiges Teleskop, wenn man nicht durch ein Okular schaut

Beste Grüße
Stefanie

 

[Wilm-52]

Guten Tag.
Heute habe ich meine KI-Hard- und Software getestet. Es waren nur 20 Trainingsbilder und 10 Testbilder, aber man sieht, dass es funktionieren kann.

 

[Wilm-52]

Hier ist noch ein Test mit Starlinks. Ein Bild gehört noch zu der Reihe oben. Der Screenshot zeigt die CUDA-Kerne in Aktion.

Stefanie, gestern habe ich noch mit deinen Vorschlägen (Kantendetektion und so) experimentiert, aber es geht wohl kein Weg an KI vorbei.

Einen schönen Sonntag wünsche ich euch,
viele Grüße
Wilhelm