PixInsight und Performance bei Swap Transfer Rate

Status
Es sind keine weiteren Antworten möglich.
Dane Vetter

Dane Vetter

Aktives Mitglied
Hallo zusammen,

ich habe gestern mal meine Daten vom LDN 1251 / The Rotten Fish Nebula in PI gestackt. Es handeln sich hier Daten von 11 Nächten, welche sich auf knapp 48 h belaufen. Die Aufnahmen habe ich mit einer OSC, einer ASI2400 MC Pro mit 24 MP gemacht. Dazu einen Satz an Dark, Darkflats und Flats für alle Nächte.

Screenshot 2024-02-04 012454.png


Um alles zu stacken, hat das ganze 5:31 h benötigt, was bei der Menge an Daten vielleicht irgendwo nachvollziehbar ist. Ich würde aber dennoch gerne mal schauen, ob sich das nicht besser optimieren lässt. Mein Rechner, welchen ich primär fürs Gaming und Bildbearbeitung damals selbst zusammengebaut habe, hat einen AMD Ryzen 9 5950X 16-Core Processor, 128 GB RAM, eine RTX3080. Nach ca. 3 Jahren wohl nicht mehr state of the art, aber wohl sicher keine lahme Ente.

2024-02-04 07_04_22-PixInsight.png


Ich habe daraufhin mal den Benchmark durchgeführt, und erhalte folgende Werte:

1707059642486.png


Als Puffer für PI nutze ich mein Laufwerk C, welches es eine M.2 SSD ist. Die Daten Selbst werden von einer normalen HDD geladen. Hier wäre die Frage, ob es was bringt, wenn ich die Daten auch erst auf die SSD kopiere. Aber ich schätze PI macht hier nicht viel anders mit dem temporären auslagern.

Bei meiner Recherche bin ich auf einen älteren Thread gestoßen, bei dem Versuche mit RAMDISKs gemacht wurden, welche zu einer deutlichen Steigerung der Performance geführt haben. Besonders die Swap Performance ist deutlich schneller als meine:

PixInsight - Ramdisk oder schnelles SSD-Laufwerk?

Hallo zusammen, ich möchte mich einen neuen PC zusammenstellen für die Bildbearbeitung mit PixInsight. Jetzt habe ich gelesen das man die Swape Daten auf eine schnelle SSD oder in eine Ramdisk speichern kann. Nun stelle ich mir die Frage, was ist schneller bei gleicher CPU, Mainboard usw...
forum.astronomie.de forum.astronomie.de

Ich kann leider nicht mehr drauf antworten, weshalb ich diesen Thread erstelle. Da das Thema schon ein paar Jahre alt ist, wollte ich mal nach aktuellen Erfahrungen zu diesem Thema fragen. Vielleicht gab es mittlerweile in PI einige Optimierungen, sodass diese Variante nicht mehr so effizient ist, oder es gibt neuere Ideen zur Optimierung.
 
Meinst Du mit Puffer auch das "Output Directory" von WBPP ?
Letzteres musst Du unbedingt auf eine SSD setzen.

570 Frames sind aber schon ein dickes Brett in PI.
 
Installiere eine RAM-Disk, die gleich beim Win-Start mit einem gleich bleibenden Laufwerksbuchstaben erzeugt wird, bspw. Z.

Bei 128GB kannst du da ja locker 50-60GB rein packen. Unter Swap-Verzeichnis in PI dann, interessanterweise, das gleiche Laufwerk mehrfach (6-8 mal) eintragen. Bringt eine enorme Leistungsverbesserung.

Wenn du die RAM Disk nicht benötigst oder mehr freien Speicher brauchst, kannst du sie easy deaktivieren.

Trail von Softram zum probieren, bis du dich für eine käufliche Variante entscheidest, habe bisher nichts freies gefunden (aber auch nicht intensiv gesucht).

Grüße,
Alex

p.s habe ein ziemlich ähnliches PC-Setup als Laptop-Variante
 
bei 570 Bildern ist auch eine RAM-Disk schnell voll.

Ich tippe auf das "Output Directory" von WBPP.
Eine >1TB SSD in den Rechner und gut ist

Die Fits werden nur 1x gelesen, da ist eine rotierende Scheibe als Backup eine gute Strategie...
 
Natürlich passen keine 570 Bilder darauf und eine schnelle SSD ist auch von Nöten aber die RAM-Disk wird für den File-Cache genommen. Ich kann nur aus eigener Erfahrung berichten, das es einen Unterschied macht.
 
Hallo zusammen,

mit Puffer meinte ich das temporäre Verzeichnis, was man in den Einstellungen von PI auswählt.

In dem Fall ist das mit diesem RAM Laufwerk auch heute noch aktuell. Schade das PI sich hier nicht verbessert hat, obwohl es ja ein Programm ist, was mit vielen Datenmengen umgeht. Vielleicht probiere ich das mit dem Tool mal aus, wenn das wirklich so viel bringt. Wenn die neuste Version einmalig 29€ kostet, wäre das noch zu verkraften, wenn es wirklich was bringt. Falls die alte kostenlose Version nicht ausreicht.

Ich will mir eigentlich gar nicht ausmalen, wie das mit meiner ASI6200 MC Pro ist, welche mehr als das Doppelte an Megapixel hat. Bei diesen Datenmengen wird der Rechner für gleich viele Aufnahmen wohl zwei Tage durcharbeiten. :D

Ich habe leider keinen weiteren Steckplatz für eine M.2 SSD mehr frei. Meine zwei Plätze sind einmal für Betriebsystem und einmal für die Games verplant. Und letztere bietet von en 1TB nicht mehr ausreichend Platz.

Danke euch!
 
Hätte man noch vor ein paar Jahren gesagt, das man mit einer Festplatte im TB Bereich an Grenzen stößt, hätte es viele verwirrte Blicke gegeben.
Bin noch nicht ganz so alt, aber kann mich noch gut an HDDs erinnern, wo wenige GB schon was ganz besonderes (auch preislich) waren :)
 
Ich kann mich noch an Rechner erinnern, bei denen die Festplatten nur wenige hundert MBs hatten. Die guten alten Zeiten der 286er, 368er, 486er mit den 3,5" und 5,25" Floppy Disketten. Kein Vergleich zu heute, nicht nur was die Datenmengen betrifft. :D
 
Hallo Dane,

ich finde Deinen Rechner immer noch State of the Art und zusätzliches Einstellungstweaking verbessert vielleicht den Benchmark, aber nicht die tatsächliche Performance. Da gehen bei Pixinsight Benchmark und Realität auseinander. Auch eine höhere SWAP Rate würde im Bereich Local normalization und Integration, welches Deine Hauptlasten sind, nicht wirklich verbessern. In dem Prozess Local normalization kannst Du aber mal die Einstellungen hinterfragen. Siehst du tatsächlich einen unterschied in "best 5%" und single best frame oder langen vielleicht die besten 5 Bilder?. Sehe ich einen Unterschied zwischen "maximum quality" und "faster but less optimal results" tatsächlich. Ich meine, hier kannst Du deutlich mehr Zeit einsparen, als tweaking in den Swap-Parametern.
State of the Art sind aber sicherlich 573 OSC frames, was ja ungefähr 1500 mono frames entspricht. Auf das Ergebnis freue ich mich schon:D.

Lieben Gruß
Thomas
 
Moin,

Zitat von Dane_Vetter:
Ich habe leider keinen weiteren Steckplatz für eine M.2 SSD mehr frei.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Du hast doch sicher noch PCIe Steckplätze frei oder?

Ich habe auf meinem Mainbaord zwei M.2 Sockel wo ich meine Systemplatte (direkt an der CPU angebunden) und eine M.2 für Spiele / Programme verbaut habe.
Seit dem ich Astrofotografie betreibe hab ich aber Speicherprobleme.
Eine HDD mit 5TB habe ich, aber von da ais die Bilder zu Stacken ist mir zu langsam.
Habe auch noch eine 2TB Sata SSD, geht aber nicht wirklich optimal.

Ich habe mir zwei von diesen Karten gekauft:

Dort habe ich je eine 4TB M.2 eingebaut.
Auf einer lege ich die Aufnahmen ab und auf der anderen befindet sich der Auslagerungsordner und der Output Ordner.
Seit dem läuft alles sauber.
(Nutze allerdings APP)

Ich würde dir davon abraten in irgendeiner Form die Daten, egal ob Roh oder Cache, auf C: bzw. der Systemplatte zu speichern.
Windows blockiert da echt viel Leistung durch eigene Prozesse, Updates usw.
Die Erfahrung musste ich schon öfters machen und der Wechsel, wenn der denn möglich ist, bringt schon was.

Grüße
Brian
 
Hallo zusammen,

ich danke euch für die verschiedenen Vorschläge.

Auch interessant zu wissen, dass die SWAP Rate sich nicht auf die eigentlichen Hauptlasten auswirkt, das war mir so nicht bewusst. Da wäre auch die Frage, ob eine investition in eine zusätzliche SSD hier überhaupt spürbar in Vorteil ist. Auch die Einstellungen in PI werde ich mal hinterfragen bzw. mich mal schlau machen wie hierzu Erfahrungen aussehen. Grundsätzlich würde ich hier aber trotzdem auf die höchstmögliche Qualität setzen, auch wenn ich nicht direkt sichtbar einen Unterschied sehen würde. Irgend etwas wird ja hier abgespeckt wenn es deutlich schneller geht, und wenn ich nicht genau weiß was, bin ich da immer etwas skeptisch. :)

Die Idee mit dem der PCI Express Karte welche zusätzliche M.2 Plätze zu Verfügung stellt, wäre sicher die schnellere Option. Ich würde es aber vorerst gerne mal auf die kostenlose Art ausprobieren, ohne in ein neues Laufwerk zu investieren.
 
Zitat von Dane_Vetter:
Ich kann mich noch an Rechner erinnern, bei denen die Festplatten nur wenige hundert MBs hatten. Die guten alten Zeiten der 286er, 368er, 486er mit den 3,5" und 5,25" Floppy Disketten. Kein Vergleich zu heute, nicht nur was die Datenmengen betrifft. :D
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Richtig, meinen ersten PC hab ich 1991 gebraucht von einem Kumpel gekauft. 128 MB HDD. „Die kriegst Du nie voll!“, versprach er mir bei der Übergabe. :LOL:

LG Olaf
 
Hallo Dane,
wieviele Ordner hast Du unter:
Preferences-Directories und Networks - swap storage directories angelegt?
Faustregel ist, so viele Ordner wie der Prozessor Cores hat und zwar immer der selbe Pfad (am besten auf einer -weiteren- internen SSD. wenns nur eine SSD gibt, dann halt die).
Du kannst ja die Anzahl ändern und den Test laufen lassen. Dann siehst Du, was der sweet spot ist für swap.

cs Joachim
 
HI,

danke für den Tip mit dem merhfachen einbinden des SWAP-Ordner. Hat bei mir zumindest im synthetischen Test einiges gebracht. Mal schauen was sich davon in der Praxis zeigt.

Gruß Markus
 
Aus @Dane_Vetter s Bild geht ja hevor, dass Registration, LN und Integration am meisten Zeit brauchen. Das sind aber auch die Prozesse, die am "teuersten" sind, d. h. ob die SSD was in 2s schneller lädt, macht sich bei 1 Stunde Dauer nicht bemerkbar, da hier die CPU gefordert ist.
Der PI-Benchmark ist auch nicht mehr auf Höhe der Zeit. Das Beispielbild ist viel zu klein. Die SSD wird am ehesten bei Undo/Redo gefordert. Da tut es dann aber auch eine schnelle M.2 und gut ist. Alles andere is verlorene Lebenszeit.
Auch würde ich den Prozessen das RAM nicht für irgendwelche RAM-Disks klauen. Je mehr RAM, desto schneller der Integrationsprozess (kann man ja mit kleineren Buffern spielen).

CS
Thomas
 
Zitat von conehead:
HI,

danke für den Tip mit dem merhfachen einbinden des SWAP-Ordner. Hat bei mir zumindest im synthetischen Test einiges gebracht. Mal schauen was sich davon in der Praxis zeigt.

Gruß Markus
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Hi Markus,

dass ist genau das Problem welches ich oben beschrieb. Es zeigt sich lediglich ein Erfolg bei den Benchmarks, jedoch nicht im Realbetrieb. Daher habe ich die Mehrfacheinträge entfernt und so zusätzliches RAM zur Verfügung gestellt. Diese SWAP Einträge helfen bei Undo(redo-Prozessen, die aber nicht wirklich Zeitfresser sind. Da gauckelt der Benchmark hier aus meiner Sicht nur einen Performance Gewinn vor. Kann sich aber je nach Größe sogar negativ auf die WBPP-Performance auswirken.
 
Hallo Dane,

ich nutze quasi die gleichen PC Komponenten wie du, nur mit einer GTX960.
Pixinsight liegt auf einer M2 und die Daten auf einer schnelleren 2TB (~4000MB/s) SSD.
Das beste Ergebnis konnte ich mit den Standard Einstellungen erreichen (Keine drölftausend Swap Partitions)
Zur Zeit des Benchmarks (Win 10 Home) kamen folgende Ergebnisse heraus:
Total: 29826
CPU: 33355
Swap: 20844

Ich musste "leider" durch mein Upgrade auf eine RTX4070 ti super das Betriebssystem neu installieren.
Jetzt werkelt Win11 pro im UEFI Modus (vorher war es dieser langsamere Kompatibilitätsmode) und es wird Zeit für einen neuen Benchmark :cool:

CUDA wird noch nicht offiziell von Pi unterstützt, oder ? War ja mal angedacht...
 
Hallo zusammen,
anbei einige Messergebnisse mit meinem MacBookPro 15" aus 2017 mit vier Kernen, 16GB RAM. (Tim Cook möchte ja, dass ich auf einen M3 chip umsteige :-) ).
Der Geschwindigkeitszuwachs vom einem Ordner auf c: (d.h. auf der SSD und nicht im RAM) und vier Ordnern (auf der SSD) sind bei den Prozessen Star Align und Local Normalization bei ca 3-5%, also eher gering. Bei der Integration sind es schon über 20%, die es mit 4 Ordnern schneller geht.
Wenn ich die Absolutwerte des Benchmarks mit denen heutiger PCs oder Macs vergleiche, dann werde ich vielleicht doch mal auf Tim hören :-)

swap_folders.jpg


cs Joachim
 
Hi,

also erstmal vielen Dank an Joachimfür die Idee das Ganze mal mit Zahlen zu hinterlegen, anstatt nur theoretisch darüber zu diskutieren. Das habe ich zum Anlass genommen, das selbst einmal durchzuführen und kann meine obige Aussage bestätigen.

Hier vier Swap-Directories auf C: meiner schnellsten M.2-SSD:
WBPP_Run1.PNG

Dann mit lediglich einem Swap-file Eintrag auf C:
WBPP_Run2.PNG

19 Sekunden schneller als mit multiplen Einträgen. In der Summe aber völlig irrelevant.

Ich habe dann nochmal einen Test gemacht mit 8 Swap-Einträgen auf der M2-SSD, wo auch die Bilder liegen:
WBPP_Run3.PNG

Schneller als mit 4 Einträgen, aber langsamer als ein einzelner Eintrag.

Insofern ist für mich ein einzelner Eintrag am sinnvollsten. Der Benchmark in Pixinsight lässt keine Aussage über die tatsächliche Performance zu und ist meiner Meinung nach daher eher Spielkram.
Joachim Tests zeigen aber auch, dass es sehr vom System abhängig zu sein scheint, ob das etwas bringt oder nicht.
Mein System besteht aus einem Ryzen 9 5900x und 64GB RAM und zwei M.2-SSD Platten.

Viele Grüße
Thomas
 
Und hier noch die dazugehörigen Benchmarks:

Ein Swap-Directory auf C:
Bench_1Sw_C.PNG


Vier Directories auf C:
Bench_4Sw_C.PNG


8 Directories auf D:
Bench_8Sw.PNG


Hier sehen wir das beste Ergebnis bei vier Einträgen auf C: mit einem 22% besser Overall-Score im Benchmark, welches aber in der Praxis, und WBPP ist für mich der entscheidene Prozess, da am zeitintensivsten, am langsamsten ist.

Im normalen Betrieb, sprich in der Bearbeitung fallen die Unterschied überhaupt nicht auf, und ob ein Prozess jetzt mal ne Sekunde mehr dauert oder nicht, spielt für mich keine Rolle. Ich denke eh meist viel länger darüber nach was ich jetzt wie mache. ;-)

Ich hoffe das hilft dem ein oder anderen weiter.
 
Hallo zusammen,

vielen Dank für das mitteilen eurer Erkenntnisse. Da ist ja so einiges zusammen gekommen, und ich muss da mal schauen wie ich das sinnvoll für mich interpretieren kann.
 
Dieser PI Benchmark ist für das Script WPBB nicht sehr aussagefähig.

Normalerweise arbeite ich auf meinem Notebook
Groß (Bildschirmfoto 2024-02-10 um 15.38.33).jpeg


aber für WBPP starte ich immer meinen uraltem Stand-PC,
der Benchmark ist wesentlich schlechter, aber die 16+16 Kerne @ 3.2Ghz reißen das mehr als raus
400MB/s :ROFLMAO: und Intel hat die CPU in 2012 rausgebracht...
Groß (Bildschirmfoto 2024-02-10 um 15.40.10).jpeg
 
Status
Es sind keine weiteren Antworten möglich.
Zurück
Oben