Hot News:

Mit Unterstützung durch:

  Foren auf CAD.de (alle Foren)
  SIMULIA/ABAQUS
  Python Skript, Rechencluster und SSH

Antwort erstellen  Neues Thema erstellen
CAD.de Login | Logout | Profil | Profil bearbeiten | Registrieren | Voreinstellungen | Hilfe | Suchen

Anzeige:

Darstellung des Themas zum Ausdrucken. Bitte dann die Druckfunktion des Browsers verwenden. | Suche nach Beiträgen nächster neuer Beitrag | nächster älterer Beitrag
Autor Thema:  Python Skript, Rechencluster und SSH (1365 mal gelesen)
runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 30. Nov. 2015 22:11    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities

Hallo Community,

Im Rahmen meiner Bachelorarbeit soll ich in ein vorhandenes Pythonskript die Möglichkeit integrieren, das Solving auf einem Rechencluster auszuführen. An das Rechencluster werden die Dateien über einen SSH Server übertragen.
Vor dem Coden gilt es erstmal die Machbarkeit herauszufinden.

Übertragen werden sollen die *.inp Dateien an das Rechencluster - bis zur Erstellung der *.inp Dateien komme ich klar. Dann bin ich mir aber unsicher, wie ich fortfahren soll.

Kann ich über einen Python Befehl eine Batch-Datei in Windows starten, die SSH Befehle an den Cluster sendet?
Besteht weiterhin die Möglichkeit mit dem Python Skript in Abaqus erst fortzufahren, sobald die ODB-Dateien vom Cluster zurück gekommen sind?

Oder hat jemand alternative Ansätze für meine Problemstellung?

Danke schonmal für sämtliche Tipps und Hinweise!

[Diese Nachricht wurde von runny am 01. Dez. 2015 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Rechenknecht87
Mitglied
Student


Sehen Sie sich das Profil von Rechenknecht87 an!   Senden Sie eine Private Message an Rechenknecht87  Schreiben Sie einen Gästebucheintrag für Rechenknecht87

Beiträge: 51
Registriert: 22.09.2014

erstellt am: 01. Dez. 2015 10:41    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich

Hallo runny,

prinzipiell sollte das machbar sein. Wir arbeiten hier an der Uni ähnlich. Erstellen mit der CAE ein Input-File, laden es auf den Cluster. Zusätzlich haben wir noch ein SLURM-File (Batch-File für den Cluster) in dem werden die Anzahl der verwendeten Knoten, Arbeitsspeicher,... festgelegt und darüber wird dann die Rechnung abgeschickt.

Bevor du alles automatisierst solltest du mal von Hand einen Job auf dem Cluster zum laufen zu bringen. Wenn du die Vorgehensweise verstanden hast und weißt was dazu nötig ist, kannst du dich ans automatisieren machen.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Mustaine
Ehrenmitglied V.I.P. h.c.



Sehen Sie sich das Profil von Mustaine an!   Senden Sie eine Private Message an Mustaine  Schreiben Sie einen Gästebucheintrag für Mustaine

Beiträge: 3554
Registriert: 04.08.2005

Abaqus

erstellt am: 02. Dez. 2015 14:42    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich

Diese Python-Fragen dürften in einem Python-Forum besser aufgehoben sein. Dort findet sich sicher eher jemand, der Python für solche System- und Netzwerkoperationen verwendet.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 02. Dez. 2015 16:52    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities

Danke schonmal für die bisherige Hilfe.

Ich versuche dann mal noch mein Glück im Python Forum.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 04. Dez. 2015 18:04    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities

Hallo,

Nach ein paar Mails mit dem Admin des Rechenclusters (der jetzt gerade vermutlich Wochenende macht, daher versuche ich hier mein Glück) verfolge ich den Ansatz das komplette PythonSkript auf dem Cluster auszuführen.

Das Batch-File habe ich soweit vom Admin des Clusters erhalten. Wo es gerade noch hapert ist die Befehle, die ich bisher ins CLI in Abaqus eingegeben habe in das Batch-File zu integrieren. Weiß jemand wie ich das mache?

[Diese Nachricht wurde von runny am 04. Dez. 2015 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Mustaine
Ehrenmitglied V.I.P. h.c.



Sehen Sie sich das Profil von Mustaine an!   Senden Sie eine Private Message an Mustaine  Schreiben Sie einen Gästebucheintrag für Mustaine

Beiträge: 3554
Registriert: 04.08.2005

Abaqus

erstellt am: 07. Dez. 2015 13:34    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich

Ich habe Zweifel dass das geht.

Da kannst das Python-Skript aber mit dort ablegen und dann zusammen mit CAE im Batch-Modus aufrufen.

abaqus cae noGui=scriptname.py

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 10. Dez. 2015 10:44    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities

Okay, das Skript ist leider so nicht so aufgebaut, dass es einzeln aufgerufen werden kann. Trotzdem danke für den Tipp.

Mittlerweile tendiere ich wieder dazu nur das Solving auf dem Cluster zu berechnen.

Hier gibt es auch ein neues Problem wozu ich mal den gleichen Thread nutze:
In Abaqus habe ich den erstellten Job als *.inp erzeugt, auf den Cluster geladen und erfolgreich abgeschickt. Jetzt bekomme ich aber vom Cluster auch ein Ergebnis zurück, die ODB enthält aber leider nur die Geometrie und nicht das, was ich berechnen möchte (ein Abwälzen einer Zahnradpaarung). Die Berechnungsdauer wurde dabei sehr hoch gewählt, daran kann es also nicht liegen.
Testweise habe ich die gleiche *.inp von Hand in Abaqus gerechnet. Abgesehen von ein paar Fehlermeldungen lief das Modell problemlos durch.

Hat jemand eine Idee wo dieser Fehler entstehen kann, bzw. was ich anders machen muss?

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Rechenknecht87
Mitglied
Student


Sehen Sie sich das Profil von Rechenknecht87 an!   Senden Sie eine Private Message an Rechenknecht87  Schreiben Sie einen Gästebucheintrag für Rechenknecht87

Beiträge: 51
Registriert: 22.09.2014

erstellt am: 10. Dez. 2015 11:35    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich

Was genau meinst du mit "teilweise von Hand gerechnet",
hast du den Job auf deiner Workstation anrechnen lassen?
Hast du mal nach Status-Files geschaut (.sta , .dat,...) ob da möglicherweise etwas zu finden ist?


Ich würde dir empfehlen ein ganz kleines Beispiel (Fachwerk, etc) auf deiner Workstation zu rechnen. Wenn das dort ohne Probleme durchläuft kannst du mit dem Input-File auf den Cluster gehen. Dann weißt du, dass zumindest das Input-File i.O. ist.

[Diese Nachricht wurde von Rechenknecht87 am 10. Dez. 2015 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 10. Dez. 2015 13:40    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities


NeuesTextdokument.txt


abaqfehler.jpg

 
Mit von Hand gerechnet meinte ich den Job, den ich ans Cluster gesendet habe, an der Workstation gerechnet zu haben - ohne Probleme. Das inp-File ist also in Ordnung.

Ich habe mal die .sta und .dat als Textdokument angehängt, kann da leider selbst nicht viel mit anfangen. Zusätzlich noch einen Screenshot angehängt, was passiert wenn ich einen späteren Step der Simulation abrufe, soweit ich das verstehe berechnet mir der Cluster nur den ersten Step meiner Berechnung und bricht dann ab.

edit:
Sehe gerade, dass sta und dat jetzt die gleiche Form haben wie der Monitor in Abaqus, damit kann ich schon eher was machen und schaue das jetzt mal durch.

[Diese Nachricht wurde von runny am 10. Dez. 2015 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Rechenknecht87
Mitglied
Student


Sehen Sie sich das Profil von Rechenknecht87 an!   Senden Sie eine Private Message an Rechenknecht87  Schreiben Sie einen Gästebucheintrag für Rechenknecht87

Beiträge: 51
Registriert: 22.09.2014

erstellt am: 10. Dez. 2015 14:03    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich


Frames.png

 
Das sieht so aus als ob er das Modell gerechnet hat.

Zu der Fehlermeldung:
Versuch mal in dem Baum links ein Frame auszuwählen (Screenshot angefügt), es sieht so aus als ob du ein Frame anforderst was es gar nicht gibt.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Rechenknecht87
Mitglied
Student


Sehen Sie sich das Profil von Rechenknecht87 an!   Senden Sie eine Private Message an Rechenknecht87  Schreiben Sie einen Gästebucheintrag für Rechenknecht87

Beiträge: 51
Registriert: 22.09.2014

erstellt am: 10. Dez. 2015 14:05    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities Nur für runny 10 Unities + Antwort hilfreich


Frames.png

 
Das sieht so aus als ob er das Modell gerechnet hat.

Zu der Fehlermeldung:
Versuch mal in dem Baum links einen Frame auszuwählen (Screenshot angefügt). Es sieht so aus als ob du einen Frame anforderst den es gar nicht gibt.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

runny
Mitglied



Sehen Sie sich das Profil von runny an!   Senden Sie eine Private Message an runny  Schreiben Sie einen Gästebucheintrag für runny

Beiträge: 33
Registriert: 06.09.2014

Creo Parametric 3.0 (Student Edition)
Keyshot 6 Pro
Abaqus 6.14-5
i7 5820k @3,3Ghz
nVidia GTX 750Ti
32GB DDR4-2400
Windows 10 Pro

erstellt am: 10. Dez. 2015 14:37    Editieren oder löschen Sie diesen Beitrag!  <-- editieren / zitieren -->   Antwort mit Zitat in Fett Antwort mit kursivem Zitat    Unities abgeben: 1 Unity (wenig hilfreich, aber dennoch)2 Unities3 Unities4 Unities5 Unities6 Unities7 Unities8 Unities9 Unities10 Unities


Frames.jpg

 
Genau, die Fehlermeldung kam nachdem ich zu dem Frame wollte, der mich eigentlich interessiert. An der Workstation bekomme ich diesen auch ausgerechnet. Jetzt habe ich das gleiche inp-File am Cluster gerechnet, die Berechnung soll erfolgreich gewesen sein, die Berechnung der Steps die mich interessieren hat aber gar nicht erst stattgefunden.

Irgendwo muss also ein Informationsverlust vorliegen oder der Cluster und meine Workstation lesen das inp-File unterschiedlich...?

edit:
Bin nochmal die *.dat durchgegangen...Er erstellt mir alle Steps dich ich haben möchte, also die gehen nicht verloren. Diese Steps enthalten aber irgendwie keine Frames, außer dem Mount-Step. (siehe Anhang)

[Diese Nachricht wurde von runny am 10. Dez. 2015 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

Anzeige.:

Anzeige: (Infos zum Werbeplatz >>)

Darstellung des Themas zum Ausdrucken. Bitte dann die Druckfunktion des Browsers verwenden. | Suche nach Beiträgen

nächster neuerer Beitrag | nächster älterer Beitrag
Antwort erstellen


Diesen Beitrag mit Lesezeichen versehen ... | Nach anderen Beiträgen suchen | CAD.de-Newsletter

Administrative Optionen: Beitrag schliessen | Archivieren/Bewegen | Beitrag melden!

Fragen und Anregungen: Kritik-Forum | Neues aus der Community: Community-Forum

(c)2023 CAD.de | Impressum | Datenschutz