Autor
|
Thema: Problem bei Parallelisierung (3719 mal gelesen)
|
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 10. Mrz. 2012 12:12 <-- editieren / zitieren --> Unities abgeben:
Hallo! Ich habe bisher 1.6-ext genutzt, und will nun das AMI von 2.1.0 ausprobieren. Dazu schaue ich mir die tutorials an und versuche meinen Testfall zu übersetzen. Es ist ziemlich katastrophal, weil ohne Anleitung ist man wie ein Blinder im Dunkeln. Zu meinem Problem: Für paralleles Rechnen will ich die metis-methode nutzen. Das hat in extend prima geklappt. Jetzt jedoch nicht mehr:
Code: --> FOAM FATAL ERROR: You are trying to use metis but do not have the metisDecomp library loaded. This message is from the dummy metisDecomp stub library instead.Please install metis and make sure that libmetis.so is in your LD_LIBRARY_PATH. The metisDecomp library can then be built from $FOAM_SRC/parallel/decompose/metisDecomp and dynamically loading or linking this library will add metis as a decomposition method. Please be aware that there are license restrictions on using Metis. From function labelList metisDecomp::Decompose(const pointField&, const scalarField&) in file dummyMetisDecomp.C at line 108. FOAM exiting
Installiert habe ich 2.1.0 auf dem aktuellen ubuntu 11.10. Nach der obigen Fehlermeldung versuchte ich metis mit wmake zu kompilieren, funktionierte jedoch nicht. Genauso funktionierte " ./Allmake" nicht. Mein Verdacht: OF wird automatisch in /opt/ installiert und nicht in das Home-Verzeichnis. Probehalber habe ich den installationsordner ins home-verzeichnis kopiert, dort konnte ich wmake problemlos anwenden! Das hilft aber natürlich nicht, weil alle Verknüpfungen sich auf die originäre Installation beziehen. Habt ihr eine Idee was ich tun kann? z.B. wie man 2.1.0 im homeverzeichnis installieren kann (Da, wo es meiner Meinung nach auch eigentlich hingehört)? Beste Grüße Christian Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 11. Mrz. 2012 12:14 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
|
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 11. Mrz. 2012 14:00 <-- editieren / zitieren --> Unities abgeben:
|
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 11. Mrz. 2012 15:40 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
|
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 11. Mrz. 2012 17:43 <-- editieren / zitieren --> Unities abgeben:
Der Anlass ist gut..ähem: Wenn man OF für Ubuntu als Deb-pack wählt, (siehe OF-Page)wird es automatisch dort installiert. 1.6 extend damals war sehr umständlich zu installieren. es sollte diesmal unkompliziert sein! bin ja irgendwie selber schuld.. es hat übrigens teilweise funktioniert. Hab das komplette Allwmake durchlaufen lassen, aber metis funktioniert dennoch nicht. Dann noch einmal nur für metis selber, folgendes:
Code: root@christian-X55SV:/opt/openfoam210/src/parallel/decompose# ls Allwmake AllwmakeLnInclude decompose decompositionMethods metisDecomp ptscotchDecomp scotchDecomp root@christian-X55SV:/opt/openfoam210/src/parallel/decompose# ./Allwmake ./Allwmake: 14: /bin/foamEtcFile: not foundError: no config/scotch.sh settings + wmakeLnInclude decompositionMethods ./Allwmake: 1: wmakeLnInclude: not found + [ -n ] + echo + echo Skipping scotchDecomp (ptscotchDecomp) Skipping scotchDecomp (ptscotchDecomp) + echo + wmake libso decompositionMethods ./Allwmake: 1: wmake: not found + wmake libso decompose ./Allwmake: 1: wmake: not found root@christian-X55SV:/opt/openfoam210/src/parallel/decompose# ./AllwmakeLnInclude + wmakeLnInclude decompositionMethods ./AllwmakeLnInclude: 1: wmakeLnInclude: not found + wmakeLnInclude metisDecomp ./AllwmakeLnInclude: 1: wmakeLnInclude: not found + wmakeLnInclude scotchDecomp ./AllwmakeLnInclude: 1: wmakeLnInclude: not found + wmakeLnInclude ptscotchDecomp ./AllwmakeLnInclude: 1: wmakeLnInclude: not found root@christian-X55SV:/opt/openfoam210/src/parallel/decompose# cd metisDecomp/ root@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp# ls lnInclude Make metisDecomp.C metisDecomp.H root@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp# wmake Der Befehl »wmake« wurde nicht gefunden, meinten Sie vielleicht: Befehl »tmake« aus dem Paket »tmake« (universe) Befehl »wmaker« aus dem Paket »wmaker« (universe) Befehl »jmake« aus dem Paket »dist« (universe) Befehl »hmake« aus dem Paket »hmake« (universe) Befehl »imake« aus dem Paket »xutils-dev« (main) Befehl »mmake« aus dem Paket »mmake« (universe) Befehl »omake« aus dem Paket »omake« (universe) Befehl »make« aus dem Paket »make« (main) Befehl »dmake« aus dem Paket »dmake« (main) Befehl »vmake« aus dem Paket »hdf4-tools« (universe) Befehl »cmake« aus dem Paket »cmake« (main) Befehl »pmake« aus dem Paket »pmake« (main) Befehl »qmake« aus dem Paket »qt4-qmake« (main) Befehl »qmake« aus dem Paket »qt3-dev-tools« (main) wmake: Befehl nicht gefunden. root@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp# ^C
Dann muss es halt mit "hierarchical" gehen. oder ich source extend und "dekompostiere" es damit...[Diese Nachricht wurde von ChristianE36 am 11. Mrz. 2012 editiert.] Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 11. Mrz. 2012 17:49 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
/bin/foamEtcFile: not foundGibts die Datei bei dir? Bei mir ist die vorhanden und ich kann mit wmake alles kompilieren. Ggf. mit Code: wclean
im metis Ordner aufräumen. Aber scotch läuft wohl auch nicht, weil er da auch was nicht findet. Sonst funktioniert alles? Schon mal den foamSystemCheck/InstallationCheck geamcht?[Diese Nachricht wurde von Shor-ty am 11. Mrz. 2012 editiert.] Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 11. Mrz. 2012 18:06 <-- editieren / zitieren --> Unities abgeben:
Okay, etwas seltsam: Code: christian@christian-X55SV:~$ foamInstallationTest Executing /opt/openfoam210/bin/foamInstallationTest: Checking basic setup... -------------------------------------------------------------------------------
FATAL ERROR: OpenFOAM environment not configured. Please refer to the installation section of the README file: <OpenFOAM installation dir>/OpenFOAM-2.1.0/README to source the OpenFOAM environment.
Tutorials z.B. funktionieren aber sehr wohl. Lustig ist auch, dass es die Datei "foamEtcFile" durchaus gibt. Naja, vielleicht richtet chmod es dann ja gleich.
Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 11. Mrz. 2012 18:13 <-- editieren / zitieren --> Unities abgeben:
So, habe als root mit chmod alles freigeben. dann wclean und wmake im metis Ordner. Allwmake funktioniert immerhin. aber wmake liefert im metis Ordner: Code: christian@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp$ ls lnInclude Make metisDecomp.C metisDecomp.H christian@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp$ wclean christian@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp$ wmkae wmkae: Befehl nicht gefunden. christian@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp$ wmake Making dependency list for source file metisDecomp.C could not open file metis.h for source file metisDecomp.C SOURCE=metisDecomp.C ; g++ -m64 -Dlinux64 -DWM_DP -Wall -Wextra -Wno-unused-parameter -Wold-style-cast -Wnon-virtual-dtor -O3 -DNoRepository -ftemplate-depth-100 -I/opt/ThirdParty-2.1.0/metis-5.0pre2/include -I../../dummyThirdParty/metisDecomp -I../decompositionMethods/lnInclude -IlnInclude -I. -I/opt/openfoam210/src/OpenFOAM/lnInclude -I/opt/openfoam210/src/OSspecific/POSIX/lnInclude -fPIC -c $SOURCE -o Make/linux64GccDPOpt/metisDecomp.o metisDecomp.C:34:22: schwerwiegender Fehler: metis.h: Datei oder Verzeichnis nicht gefunden Kompilierung beendet. make: *** [Make/linux64GccDPOpt/metisDecomp.o] Fehler 1 christian@christian-X55SV:/opt/openfoam210/src/parallel/decompose/metisDecomp$
"metis.h" gibt es nicht, nur "metisDecomp.H". Ich probiere weiter.Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 11. Mrz. 2012 18:41 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
|
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 11. Mrz. 2012 18:56 <-- editieren / zitieren --> Unities abgeben:
error.log für Allwmake aus dem Ordner decompose: Code: + wmakeLnInclude decompositionMethods + [ -n /opt/ThirdParty-2.1.0/platforms/linux64Gcc/scotch_5.1.11 ] + wmake libso scotchDecomp + [ -d /opt/openfoam210/platforms/linux64GccDPOpt/lib/openmpi-system ] + wmakeMpiLib ptscotchDecomp + set +x + wmake libso decompositionMethods + wmake libso decompose
Der foamInstallationTest sagt übrigens nach wie vor:
Code: christian@christian-X55SV:~/OpenFOAM/christian-2.1.0$ foamInstallationTest Executing /opt/openfoam210/bin/foamInstallationTest: Checking basic setup... -------------------------------------------------------------------------------
FATAL ERROR: OpenFOAM environment not configured. Please refer to the installation section of the README file: <OpenFOAM installation dir>/OpenFOAM-2.1.0/README to source the OpenFOAM environment.
Nichtsdestotrotz kann ich aber simulationen durchführen. Die bashrc wird soweit korrekt initialisiert.[Diese Nachricht wurde von ChristianE36 am 11. Mrz. 2012 editiert.] Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 12. Mrz. 2012 11:01 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
|
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 12. Mrz. 2012 12:14 <-- editieren / zitieren --> Unities abgeben:
Readme hilft auch nicht weiter. ist nur der verweis auf OF-Homepage. (userguide etc.). Ich habe aber etwas anderes mal gemacht: OpenFOAM 2.1.x installiert! foamInstallationTest sagt: Code: christian@christian-X55SV:~/OpenFOAM/christian-2.1.0/P3Dstat$ foamInstallationTest Executing /home/christian/OpenFOAM/OpenFOAM-2.1.x/bin/foamInstallationTest: Checking basic setup... ------------------------------------------------------------------------------- Shell: bash Host: christian-X55SV OS: Linux version 3.0.0-16-generic -------------------------------------------------------------------------------
Checking main OpenFOAM env variables... ------------------------------------------------------------------------------- Environment_variable Set_to_file_or_directory Valid Crit ------------------------------------------------------------------------------- $WM_PROJECT_INST_DIR /home/christian/OpenFOAM yes yes $WM_PROJECT_USER_DIR /home/christian/OpenFOAM/christian-2.1.x no no $WM_THIRD_PARTY_DIR .../christian/OpenFOAM/ThirdParty-2.1.x yes yes -------------------------------------------------------------------------------
Checking the OpenFOAM env variables set on the PATH... ------------------------------------------------------------------------------- Environment_variable Set_to_file_or_directory Valid Path Crit ------------------------------------------------------------------------------- $WM_PROJECT_DIR /home/christian/OpenFOAM/OpenFOAM-2.1.x yes yes yes
$FOAM_APPBIN ...-2.1.x/platforms/linux64GccDPOpt/bin yes yes yes $FOAM_SITE_APPBIN .../2.1.x/platforms/linux64GccDPOpt/bin no no $FOAM_USER_APPBIN ...-2.1.x/platforms/linux64GccDPOpt/bin no no $WM_DIR ...istian/OpenFOAM/OpenFOAM-2.1.x/wmake yes yes yes ------------------------------------------------------------------------------- Checking the OpenFOAM env variables set on the LD_LIBRARY_PATH... ------------------------------------------------------------------------------- Environment_variable Set_to_file_or_directory Valid Path Crit ------------------------------------------------------------------------------- $FOAM_LIBBIN ...-2.1.x/platforms/linux64GccDPOpt/lib yes yes yes $FOAM_SITE_LIBBIN .../2.1.x/platforms/linux64GccDPOpt/lib no no $FOAM_USER_LIBBIN ...-2.1.x/platforms/linux64GccDPOpt/lib no no $MPI_ARCH_PATH ...x/platforms/linux64Gcc/openmpi-1.5.3 no yes -------------------------------------------------------------------------------
Third party software ------------------------------------------------------------------------------- Software Version Location ------------------------------------------------------------------------------- flex 2.5.35 /usr/bin/flex [: 460: -lt: unexpected operator [: 460: -gt: unexpected operator [: 460: -lt: unexpected operator [: 460: -gt: unexpected operator [: 460: !=: unexpected operator gcc /usr/bin/gcc gzip 1.3.12 /bin/gzip tar 1.25 /bin/tar icoFoam 2.1.x ...M/OpenFOAM-2.1.x/platforms/linux64GccDPOpt/bin/icoFoam -------------------------------------------------------------------------------
Summary ------------------------------------------------------------------------------- Base configuration ok. Critical systems ok.
Done
metis funktioniert aber auch hier nicht! es fehlt auch hier die metis.h:
Code: christian@christian-X55SV:~/OpenFOAM/OpenFOAM-2.1.x/src/parallel/decompose/metisDecomp$ ls lnInclude Make metisDecomp.C metisDecomp.dep metisDecomp.H christian@christian-X55SV:~/OpenFOAM/OpenFOAM-2.1.x/src/parallel/decompose/metisDecomp$ wclean christian@christian-X55SV:~/OpenFOAM/OpenFOAM-2.1.x/src/parallel/decompose/metisDecomp$ wmake Making dependency list for source file metisDecomp.C could not open file metis.h for source file metisDecomp.C SOURCE=metisDecomp.C ; g++ -m64 -Dlinux64 -DWM_DP -Wall -Wextra -Wno-unused-parameter -Wold-style-cast -Wnon-virtual-dtor -O3 -DNoRepository -ftemplate-depth-100 -I/home/christian/OpenFOAM/ThirdParty-2.1.x/metis-5.0pre2/include -I../../dummyThirdParty/metisDecomp -I../decompositionMethods/lnInclude -IlnInclude -I. -I/home/christian/OpenFOAM/OpenFOAM-2.1.x/src/OpenFOAM/lnInclude -I/home/christian/OpenFOAM/OpenFOAM-2.1.x/src/OSspecific/POSIX/lnInclude -fPIC -c $SOURCE -o Make/linux64GccDPOpt/metisDecomp.o metisDecomp.C:34:22: schwerwiegender Fehler: metis.h: Datei oder Verzeichnis nicht gefunden Kompilierung beendet. make: *** [Make/linux64GccDPOpt/metisDecomp.o] Fehler 1
ich mach mich mal auf die Suche mach metis.h .. welche andere log meintest du denn?
Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 12. Mrz. 2012 12:20 <-- editieren / zitieren --> Unities abgeben:
--wieder ein Schritt weiter: In der metis.h steht am Anfang folgendes: Code: /* *** DUMMY VERSION of metis.h - this file should not be included if you have metis * installed in the correct position in $WM_THIRD_PARTY_DIR - see * decompositionMethods/metisDecomp/Make/options */
Wir haben also einen "Dummy". na schön, schauen wir in die thirdparty.. Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 12. Mrz. 2012 12:36 <-- editieren / zitieren --> Unities abgeben:
okay, metis existiert nicht in der thirdparty. in 1.6 extend war es noch dabei. uff. hab es mal verschoben in den thirdparty ordner von 2.1.x. aber es gibt immer noch die gleiche fehlermeldung. Könnte es daran liegen, dass die "lib" ein "AR-Archiv" sind? Ich kann sie auch nicht öffnen bzw. entpacken. weiß jemand wie es geht? Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 12. Mrz. 2012 12:56 <-- editieren / zitieren --> Unities abgeben:
|
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 12. Mrz. 2012 16:58 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
Jetzt hat er mir die Antwort gar nicht geschrieben:.... Also ich verwende auch 2.1.x und alles funktioniert einwandfrei! Hier mal der Metis-Ordner der bei mir unter src/parallel/decompose/ drin ist. Ansonsten, einfach hierarchical oder was anderes verwenden Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 12. Mrz. 2012 17:12 <-- editieren / zitieren --> Unities abgeben:
Danke für deinen Ordner. Sieht auf den ersten blick aus wie meiner. welche antwort sollte ich dir denn noch schreiben? Nun, wie ich es verstanden habe, wird OF 2.1.x ohne metis "ausgeliefert". ich teste mal deinen Ordner Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 12. Mrz. 2012 18:22 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
Hmmm ... naja Metis hab ihc noch nie probiert aber es funktioniert " nichtCode:
Calculating distribution of cells Selecting decompositionMethod metis --> FOAM FATAL ERROR: You are trying to use metis but do not have the metisDecomp library loaded. This message is from the dummy metisDecomp stub library instead.
Please install metis and make sure that libmetis.so is in your LD_LIBRARY_PATH. The metisDecomp library can then be built from $FOAM_SRC/parallel/decompose/metisDecomp and dynamically loading or linking this library will add metis as a decomposition method. Please be aware that there are license restrictions on using Metis. From function labelList metisDecomp::Decompose(const pointField&, const scalarField&) in file dummyMetisDecomp.C at line 108. FOAM exiting
Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 13. Mrz. 2012 11:46 <-- editieren / zitieren --> Unities abgeben:
Hallo, als vorläufiges Fazit des Themas will ich festhalten: Zerlegung mit Metis ist von Haus aus nicht mehr vorgesehen. Dazu gibt es auch entsprechende Beiträge auf cfd.online. Daher die Empfehlung: Auf hierarchical oder scotch ausweichen(letzteres habe ich aber noch nicht probiert). Wenn natürlich jemand metis von extend herrüber "geschafft" hat, dann habe ich sehr großen Respekt vor dieser Leistung. Bitte melden und hier die Lösung präsentieren Noch einmal ein großes Lob an Shorty für seine Beiträge! Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 13. Mrz. 2012 12:10 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
hey,... hab gestern nochmals mit Thomas darüber gesprochen. Auch nach einer rekompilation von OF2.1.x ging metis auch noch nicht. Zu scotch kann ich Folgendes sagen: Bei Verwendung von decomposePart und Solverstart muss
Code:
methode scotch;
angegeben werden. Wird sHM verwendet muss der Eintrag temporär auf
Code:
methode ptscotch;
abgeändert werden. Dies ist kein Bug von OF!!! Grüße Tobi PS: Danke für das Lob Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 13. Mrz. 2012 17:27 <-- editieren / zitieren --> Unities abgeben:
Könntest du die Befehlseingabe für scotch an einem Beispiel kurz zeigen? (vollständig mit solver, parallel mpirun usw.) LG PS: Hast du auch probiert, ob scotch funktioniert? [Diese Nachricht wurde von ChristianE36 am 13. Mrz. 2012 editiert.] Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 13. Mrz. 2012 18:29 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
Hier ein Beispiel mit scotch: Arbeite schon länger mit scotch Code:
~: vim system/decomposeParDict /*--------------------------------*- C++ -*----------------------------------*\ | ========= | | | \\ / F ield | OpenFOAM: The Open Source CFD Toolbox | | \\ / O peration | Version: 2.1.x | | \\ / A nd | Web: www.OpenFOAM.org | | \\/ M anipulation | | \*---------------------------------------------------------------------------*/ FoamFile { version 2.0; format ascii; class dictionary; location "system"; object decomposeParDict; } // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * // numberOfSubdomains 6; // Anzahl der Kerne method scotch; simpleCoeffs { n ( 1 1 1 ); delta 0.001; } hierarchicalCoeffs { n ( 4 1 1 ); delta 0.001; order xyz; } manualCoeffs { dataFile ""; } distributed no; roots ( ); // ************************************************************************* //
~: decomposePar ~: paraFoam -case processorX damit kann man schauen wie die Netze gesplittet sind; wen es jemanden interessiert ~: mpirun -np 6 scalarIcoFoam -parallel
/*---------------------------------------------------------------------------*\ | ========= | | | \\ / F ield | OpenFOAM: The Open Source CFD Toolbox | | \\ / O peration | Version: 2.1.0 | | \\ / A nd | Web: www.OpenFOAM.org | | \\/ M anipulation | | \*---------------------------------------------------------------------------*/ Build : 2.1.0-0bc225064152 Exec : scalarIcoFoam -parallel Date : Mar 13 2012 Time : 18:27:41 Host : "cfd" PID : 6228 Case : /home/shor-ty/OpenFOAM/shor-ty-2.1.0/run/karmanScalarIcoFoamShorty nProcs : 6 Slaves : 5 ( "cfd.6229" "cfd.6230" "cfd.6231" "cfd.6232" "cfd.6233" ) Pstream initialized with: floatTransfer : 0 nProcsSimpleSum : 0 commsType : nonBlocking sigFpe : Enabling floating point exception trapping (FOAM_SIGFPE). fileModificationChecking : Monitoring run-time modified files using timeStampMaster allowSystemOperations : Disallowing user-supplied system call operations // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * // Create time Create mesh for time = 0 Reading transportProperties Reading field p Reading field U Reading field S (added Scalar) Reading/calculating face flux field phi Starting time loop
Time = 0.00025 Courant Number mean: 8.34061e-05 max: 0.0374354 DILUPBiCG: Solving for Ux, Initial residual = 1, Final residual = 1.07011e-06, No Iterations 1 DILUPBiCG: Solving for Uy, Initial residual = 0, Final residual = 0, No Iterations 0 DICPCG: Solving for p, Initial residual = 1, Final residual = 9.64139e-07, No Iterations 385 time step continuity errors : sum local = 1.6083e-10, global = 2.0677e-12, cumulative = 2.0677e-12 DICPCG: Solving for p, Initial residual = 0.00621561, Final residual = 9.92286e-07, No Iterations 266 time step continuity errors : sum local = 1.08584e-07, global = -8.08585e-10, cumulative = -8.06517e-10 DILUPBiCG: Solving for S, Initial residual = 1, Final residual = 8.36312e-07, No Iterations 1 ExecutionTime = 0.74 s ClockTime = 1 s Time = 0.0005 Courant Number mean: 0.060625 max: 0.912404 DILUPBiCG: Solving for Ux, Initial residual = 0.982008, Final residual = 1.20023e-06, No Iterations 3 DILUPBiCG: Solving for Uy, Initial residual = 0.335601, Final residual = 4.49086e-06, No Iterations 4 DICPCG: Solving for p, Initial residual = 0.00397122, Final residual = 9.10441e-07, No Iterations 309 time step continuity errors : sum local = 9.75807e-08, global = 7.8335e-10, cumulative = -2.31668e-11 DICPCG: Solving for p, Initial residual = 0.177362, Final residual = 9.9757e-07, No Iterations 337 time step continuity errors : sum local = 3.6197e-09, global = 1.64429e-11, cumulative = -6.72388e-12 DILUPBiCG: Solving for S, Initial residual = 0.191776, Final residual = 4.18815e-09, No Iterations 1 ExecutionTime = 1.45 s ClockTime = 2 s Time = 0.00075
Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
ChristianE36 Mitglied Student
Beiträge: 41 Registriert: 30.04.2011 OF 1.6-ext/2.2.1 auf Ubuntu 12.04 LTS
|
erstellt am: 13. Mrz. 2012 21:43 <-- editieren / zitieren --> Unities abgeben:
Wunderbar scotch-Zerlegung läuft. Wenn ich aber dann einen parallel Lauf starten möchte, kommt das hier: Code: christian@christian-X55SV:~/OpenFOAM/christian-2.1.x/P3Dstat$ decomposePar /*---------------------------------------------------------------------------*\ | ========= | | | \\ / F ield | OpenFOAM: The Open Source CFD Toolbox | | \\ / O peration | Version: 2.1.x | | \\ / A nd | Web: www.OpenFOAM.org | | \\/ M anipulation | | \*---------------------------------------------------------------------------*/ Build : 2.1.x-7955ce0266d7 Exec : decomposePar Date : Mar 13 2012 Time : 21:38:04 Host : "christian-X55SV" PID : 1320 Case : /home/christian/OpenFOAM/christian-2.1.x/P3Dstat nProcs : 1 sigFpe : Enabling floating point exception trapping (FOAM_SIGFPE). fileModificationChecking : Monitoring run-time modified files using timeStampMaster allowSystemOperations : Disallowing user-supplied system call operations// * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * // Create time Time = 0 Create mesh Calculating distribution of cells Selecting decompositionMethod scotch Finished decomposition in 2.7 s Calculating original mesh data Distributing cells to processors Distributing faces to processors Distributing points to processors Constructing processor meshes Processor 0 Number of cells = 823860 Number of faces shared with processor 1 = 1280 Number of processor patches = 1 Number of processor faces = 1280 Number of boundary faces = 136730 Processor 1 Number of cells = 813674 Number of faces shared with processor 0 = 1280 Number of processor patches = 1 Number of processor faces = 1280 Number of boundary faces = 120548 Number of processor faces = 1280 Max number of cells = 823860 (0.622033% above average 818767) Max number of processor patches = 1 (0% above average 1) Max number of faces between processors = 1280 (0% above average 1280) Processor 0: field transfer Processor 1: field transfer
End. christian@christian-X55SV:~/OpenFOAM/christian-2.1.x/P3Dstat$ mpirun -np 2 MRFSimpleFoam -parallel --> FOAM FATAL ERROR: Trying to use the dummy Pstream library. This dummy library cannot be used in parallel mode From function UPstream::init(int& argc, char**& argv) in file UPstream.C at line 37. FOAM exiting --> FOAM FATAL ERROR: Trying to use the dummy Pstream library. This dummy library cannot be used in parallel mode
From function UPstream::init(int& argc, char**& argv) in file UPstream.C at line 37. FOAM exiting -------------------------------------------------------------------------- mpirun noticed that the job aborted, but has no info as to the process that caused that situation. --------------------------------------------------------------------------
Ich hab schon im Ordner Thirdparty Allwmake ausgeführt. openmpi wurde dort dann auch kompiliert. Es sollte also auch da sein. Noch mehr verwundert mich auch, dass ich zuvor testweise eine hierarchical Zerlegung mit mpirun parallel rechnen konnte. Eine Idee, woran es liegen könnte? LG, Christian EDIT: Christian versteht die Welt nicht mehr... Den ganzen Prozess habe ich eben noch einmal wiederholt. Jetzt aber funktioniert es. Ich hab das gemacht:
Code: christian@christian-X55SV:~/OpenFOAM/OpenFOAM-2.1.x/src/Pstream$ ./Allwmake + wmake libso dummy '/home/christian/OpenFOAM/OpenFOAM-2.1.x/platforms/linux64GccDPOpt/lib/dummy/libPstream.so' is up to date. + set +xNote: ignore spurious warnings about missing mpicxx.h headers wmake libso mpi wmakeLnInclude: linking include files to ./lnInclude SOURCE=UOPwrite.C ; g++ -m64 -Dlinux64 -DWM_DP -Wall -Wextra -Wno-unused-parameter -Wold-style-cast -Wnon-virtual-dtor -O3 -DNoRepository -ftemplate-depth-100 -DOMPI_SKIP_MPICXX -I/home/christian/OpenFOAM/ThirdParty-2.1.x/platforms/linux64Gcc/openmpi-1.5.3/include -IlnInclude -I. -I/home/christian/OpenFOAM/OpenFOAM-2.1.x/src/OpenFOAM/lnInclude -I/home/christian/OpenFOAM/OpenFOAM-2.1.x/src/OSspecific/POSIX/lnInclude -fPIC -c $SOURCE -o Make/linux64GccDPOptOPENMPI/UOPwrite.o UOPwrite.C: In statischer Elementfunktion »static bool Foam::UOPstream::write(Foam::UPstream::commsTypes, int, const char*, std::streamsize, int)«: UOPwrite.C:61:13: Warnung: Verwendung einer Typumwandlung im alten Stil [-Wold-style-cast] UOPwrite.C:61:13: Warnung: Verwendung einer Typumwandlung im alten Stil [-Wold-style-cast] UOPwrite.C:64:13: Warnung: Verwendung einer Typumwandlung im alten Stil [-Wold-style-cast] UOPwrite.C:64:13: Warnung: Verwendung einer Typumwandlung im alten Stil [-Wold-style-cast]
und so weiter.. die restlichen Zeilen hab ich weggelassen. Danach lief es parallel! [Diese Nachricht wurde von ChristianE36 am 13. Mrz. 2012 editiert.] [Diese Nachricht wurde von ChristianE36 am 13. Mrz. 2012 editiert.] [Diese Nachricht wurde von ChristianE36 am 14. Mrz. 2012 editiert.] Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP |
Shor-ty Moderator
Beiträge: 2463 Registriert: 27.08.2010 OpenFOAM-dev (Foundation) OpenFOAM-xxxx (ESI)
|
erstellt am: 13. Mrz. 2012 23:12 <-- editieren / zitieren --> Unities abgeben: Nur für ChristianE36
|