Document the local_disk feature

--constraint=local_disk (required for some cases on Barnard) is only documented in the HPC Intro

added 215 commits

• 4a5ce19d...2bf78780 - 214 commits from branch preview
• fee96e85 - Document the local_disk feature

Compare with previous version

assigned to @rotscher--tu-dresden.de

requested review from @rotscher--tu-dresden.de

@s3248973--tu-dresden.de Danke für den Beitrag zur Dokumentation. Aus meiner Sicht fehlt noch:

• Wie viele Knoten gibt es in Barnard, die eine local disk haben? Das sind laut Slurm 24. Vermutlich würde man die Anzahl und die Kapazität in die Hardware-Übersicht aufnehmen wollen und dann nur auf diese Stelle verlinken.
• Nutzung der local disks, gerne mit Beispiel. Wird nach dem Job automatisch aufgeräumt? Wird die local disk zwischen allen Jobs auf dem Knoten geteilt? Was müssen Nutzer:innen bei der Verwendung beachten? Warum sollten Nutzer:innen local disks nutzen statt horse oder beegfs?

Ich berate mich dazu mit dem Admin-Team und gebe dir dann Feedback, wer was dokumentieren wird.

Ich wollte erstmal nur das feature selbst dokumentieren, da es nur in dem Intro auf Folien erscheint und sonst nicht findbar ist, selbst wann man weiß was man sucht.

Wie viele Knoten gibt es in Barnard, die eine local disk haben? Das sind laut Slurm 24.

Spannend, wie bekommt man das raus? Wollen wir wirklich gerade solche Zahlen im Wiki haben? Ich denke da gleich an Regal Nr. 1: "Dokumentation ist immer veraltet". Kann sich diese Zahl ändern? Wer aktualisiert die dann? IMO dann lieber keine Doku als falsche Doku, gerade da das ja keine essentielle Info ist, oder?

Nutzung der local disks, gerne mit Beispiel.

Ich hatte beschrieben, dass das am Ende /tmp ist. Was für ein Beispiel hast du da im Sinn? Man könnte eher generell beschreiben, dass bei diskless nodes /dev/shm verwendet werden kann und nur wenn das nicht geht/reicht eine local_disk anfordern. Hab aber keine Stelle gefunden, wo das gut passt.

Wird die local disk zwischen allen Jobs auf dem Knoten geteilt?

Ja. So wie alle lokalen Ressourcen.

Was müssen Nutzer:innen bei der Verwendung beachten?

Da fällt mir nichts ein. Meist hat man einfach Programme, die /tmp voraussetzen dann braucht man halt eine local disk. Sonst kann man die anderen FS oder /dev/shm verwenden. Beachten wäre IMO maximal, dass die halt nicht auf allen Knoten ist und von allen Jobs geteilt wird

Generell scheinen wir ein Teil zur Nutzung von Barnard zu brauchen, nicht nur zur Migration wie es aktuell der Hauptteil ist.

Wird nach dem Job automatisch aufgeräumt?

Wäre sicherlich sinnvoll, weiß ich nicht. Evtl @rotscher--tu-dresden.de ?

• Dokumentiere local disk für alle Systeme
  • Kapazität und Verfügbarkeit (nur Barnard via --constraint=local_disc)
  • Nutzung: shared zwischen allen Nutzer/Jobs auf dem Knoten, d.h. aktuell ist die verfügbare Größe nicht deterministisch, wie wird hinterher aufgeräumt?

resolved all threads

approved this merge request

merged

mentioned in commit 128ed234

[root@admin2 ~]# clush -t5 -bw n[1001-1630] "lsblk | grep nvme0n1"
clush: n[1001-1600,1607-1612,1619-1630] (618): exited with exit code 1
---------------
n[1601-1606,1613-1618] (12)
---------------
nvme0n1     259:0    0  1.8T  0 disk
└─nvme0n1p1 259:1    0  1.8T  0 part /tmp

Ja 12 Knoten sind es.