---

Hallo,

mich würde mal gerne interessieren mit welcher Hardware ihr arbeitet bzw. euch zu Verfügung steht und wie groß eure Modelle so im Durchschnitt sind.
Ich mache einfach mal ein Anfang:

Modellgröße FEM : 0,5 - 14 Millionen Knoten
Modellgröße CFD : 3 - 160 Millionen Knoten
Hauptsächlicher Solver (FEM): Sparse Solver

Hauptrechner für Modellerstellung und -Aufbereitung

1x Intel 6850K mit 6 Kernen
32 GB Ram
2x GTX 1080 TI

Remoterechner für die Netzerstellung und kleine bis mittelgroße Modelle:

1x Intel 6850K mit 6 Kernen
128 GB Ram
1x Tesla k40
4x 256 GB NVME SSDs im Raid 0 für I/O Rechnungen mit dem Sparse Sovler: Datendurchsatz bis zu 9500 mb/s Lesen und 5500 mb/s Schreiben.

Remoterechner für größere Modelle:

2x AMD Epyc mit je 16 Kernen = 32 Kerne
512 GB Ram
1x 1 GB NVMe SSD für die swap Datei und 1x 1,5 GB NVMe SSD als Modellspeicherort für I/O Rechnungen mit dem Sparse Solver.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

---

Hallo hvac21,
ich bin einige Nummern kleiner unterwegs:
Modellgröße FEM Struktur: 0,3 - 1 Millionen Knoten
Pre-/Post und Solven auf intel i7 mit 32 GB RAM.

Wir prüfen derzeit die Anschaffung eines Remoterechners. Wie sind denn deine Erfahrungen mit dem Epyc? Wurden mal Benchmarks im Vergleich mit Intel durchgeführt? Interessant wäre ja insbesondere der Vergleich Intel 6850K mit 6 Kernen und Epcy mit 6 (!) Kernen (für mich im Speziellen: Struktur-Analyse).
Gruß,
Thomas

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

---

Moin,
Modelgröße so 0.3 - 4 Mio Knoten
(Hauptspeicherbedarf dafür bisher Incore 44 GB )

Sparse Solver

Hauptrechner : 64 GB, Intel mit 4 Kernen
Laptop      : 16 / 32 GB Intel mit 4 Kernen
(Pre,- Solu- und Post)

------------------
Gruß
Gerd
Hunde haben ein Herrchen oder Frauchen - Katzen haben Personal.

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

---

Benchmarks gibt es hier:

https://www.cfd-online.com/Forums/hardware/205471-epyc-7551-vs-6850k-ansys-mechanical-bench.html

Welche Sinn es machen sollte einen 6850K mit 4 Ghz mit einen Dual Epyc mit nur 6 genutzten Kernen mit 2,7 Ghz zu vergleichen, erschließt sich mir nicht so ganz. Ausschlaggebend ist sowie so die Speicherbandbreite. Da ist der Epyc mit 8 Kanälen dem Xeon überlegen. Und ein deutlich besseres Preisleistungsverhältnis.

Ein Vergleich dazu:

https://www.cfd-online.com/Forums/hardware/196400-amd-epyc-cfd-benchmarks-ansys-fluent.html

Bezüglich Strukturmechanik kann man allgemein sagen:

- hohe Taktaten
- hoher Speichertakt
- wenn möglich keine Dual und Mehrprozessorplattformen

In der Praxis lässt sich das nur schwer umsetzten. Die Serverprozessoren takten in der regel niedrig. 64 Kerne machen bei nur acht Speicherkanälen relativ wenig sinn. Die Konsumerprozessoren unterstützen meist kein ECC und nur UDimm. Sind entweder in der Speicherkapazität begrenzt (max. 128 GB) oder ensprechen in der Stabilität gefärdet, kein ECC Unterstützung. Bei Modellen die über Tage oder Wochen laufen, könnte das problematisch werden. 

Mal davon abgesehen das die FEM Solver schlecht mit der Kernanzahl skalieren.

[Diese Nachricht wurde von hvac21 am 13. Sep. 2018 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

---

Bisher konnte ich aber noch keinen ANSYS-Vergleich der beiden Platformen Xeon/Epyc finden (für CFD ja, aber Struktur ist ein anderes Thema).
Von daher habe ich mir von dem 6-Kern-Vergleich einen Anhaltspunkt (!) versprochen, wie der Epyc gegenüber einem Xeon abschneidet (AVX ?).

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP

---

Da wird es keine großen Unterschiede geben. Die Taktraten sind nahe zu identisch, die Speicherbandbreite des Xeon Aufgrund nur 6 Kanälen etwas niedriger:

Beim iterativen Solver JCG und PCG werden beide gleichauf sein, da hier die Speicherbandbreite nicht der limitierende Faktor ist.

Epyc 7551 @ 2,55 / single Plattform 32 Kerne

= 334.27 secs

2x Epyc 7301 @ 2,73 /  multi Plattform 2 * 16 Kerne

=367.422 secs

Core-7 6850k @ 4,0 // Vergleichbar mit einen Xeon E5-2643 v4

= 567.59 secs

Anders schaut es mit dem direkten (Sparse Solver) aus. Hier ist wie im CFD die Speicherbandbreite ausschlaggebend:

Epyc 7551 @ 2,55

= 364.970 secs

2x Epyc 7301 @ 2,7

=  295.166 secs

Wie man sehen kann verhungert regelrecht die single Plattform, da sich hier 32 Kerne 8 Speicherkanäle teilen müssen.

Also wenn Du hauptsächlich mit dem Sparse Solver rechnest, dann ist der Epyc bei gleichen Takt einer Xeon Plattform überlegen, wegen dem 8 Speicherkanälen und somit der höheren Speicherbandbreite. Da kann man sich ganz gut an den CFD Benchmarks richten.

[Diese Nachricht wurde von hvac21 am 14. Sep. 2018 editiert.]

Eine Antwort auf diesen Beitrag verfassen (mit Zitat/Zitat des Beitrags) IP