1 簡介

　　有限元方法基本思想的提出，可以追溯到1943年R. Courant的工作，但由于當時沒有求解大型聯(lián)立方程的計算工具，這種方法在長期內(nèi)沒有實際應用。到60年代，由于電子計算機的廣泛使用，有限元法開始得到快速發(fā)展。有限元法到現(xiàn)在40多年的發(fā)展，應用領域也從航空，拓展到航天、汽車、船舶、核能、兵器、電子等各個行業(yè);從彈性材料問題，拓展到塑性、粘彈性、粘塑性、復合材料等問題。有限元方法的數(shù)值模擬已經(jīng)成為現(xiàn)代重要工程設計必須的環(huán)節(jié)。

　　幾乎在有限元法快速發(fā)展的同時，結(jié)構力學的優(yōu)化理論也開始快速發(fā)展。雖然1854 年J.C. Maxwell和1905年J.H. Mitchell已經(jīng)開始研究桁架的最優(yōu)布局，但直到20世紀60年代初，利用電子計算機的現(xiàn)代結(jié)構優(yōu)化理論與方法的出現(xiàn)，結(jié)構優(yōu)化才真正在工程中開始應用。首先也是在航空業(yè)得到應用，然后推廣到汽車、建筑等行業(yè)。目前，結(jié)構優(yōu)化商業(yè)軟件也已經(jīng)比較成熟，尤其在線彈性結(jié)構優(yōu)化方面。

　　由于復雜非線性結(jié)構有限元計算本身需要大量的硬件資源，很長時間才能完成一次有限元計算。這導致計算時間成為工程優(yōu)化的主要障礙之一，使得復雜非線性結(jié)構的優(yōu)化目前還僅處于學術研究階段，無法實際應用于工程項目。Altair公司與中科院超算中心合作，將Altair公司的RADIOSS軟件安裝在中科院超算中心的深騰7000超級計算機上，首次在國內(nèi)于8分19秒完成100萬單元的整車正面80ms碰撞分析，這為未來進行復雜非線性結(jié)構的優(yōu)化鋪平了道路。

　　2 RADIOSS顯式方法高級功能

　　RADIOSS是Altair公司統(tǒng)一的多學科有限元求解器，具有顯式、隱式求解功能，擁有拉格朗日、歐拉、ALE、SPH 等算法，及有限元、有限體積、邊界元等數(shù)值處理技術，可以求解結(jié)構線性、非線性，流體，流固耦合，多體動力學等問題。相比傳統(tǒng)的隱式線性求解器，RADIOSS提供多種最新單元格式和嚴格的模型檢查功能，采用最新的數(shù)值計算方法和并行算法，從而確保了更高的仿真精度和更快的計算速度，得到客戶的廣泛認可。在許多汽車OEM廠商，如通用、菲亞特等，RADIOSS已經(jīng)成功替代了傳統(tǒng)的線性求解器。相比其他顯式求解器，RADIOSS在并行計算的線性加速比，不同平臺的計算結(jié)果可重復性，以及多域求解控制等方面具有優(yōu)勢，并且具有許多自己獨特的、工業(yè)界驗證的材料模型、失效模型和接觸模型，在汽車、機車碰撞安全分析，飛機鳥撞和迫降，軍工爆破穿甲等領域得到了大量的應用。本文運用了RADIOSS顯式有限元方法進行高非線性的汽車碰撞分析。

　　2.1 高級質(zhì)量縮放

　　為了加快計算，在工程應用的時間內(nèi)得到合理的結(jié)果，顯式有限元分析常常會應用質(zhì)量縮放(mass scaling)方法，在一些時間步長較小的單元節(jié)點上增加質(zhì)量，以此來增加模型求解的時間步長，從而加快計算。在動力學分析中，慣性力是很重要的一個影響因素。但是在質(zhì)量變化不大的情況下，慣性力的影響也在可接受的范圍內(nèi)。所以額外增加的質(zhì)量不能太大，也不能增加在關鍵的部位以致影響了局部變形結(jié)果，使用時需要分析人員來判斷。

　　為了進一步加快計算，研究人員通過分析，提出了選擇質(zhì)量縮放技術(selective mass scaling)[4]。Altair公司發(fā)展了這個方法，將發(fā)展后的方法集成在RADIOSS軟件中，稱其為高級質(zhì)量縮放(advanced mass scaling)。RADIOSS中的高級質(zhì)量縮放的基本思想，是通過修改質(zhì)量矩陣非對角項來提高時間步長。在通常的顯式分析中，高頻的能量不多，在這個區(qū)域人工增加質(zhì)量，在不顯著改變低頻的結(jié)構響應的情況下，可以大幅度提高時間步長。使用高級質(zhì)量縮放可以提供更高的并行可擴展性，對低頻影響很小，可以應用于整車碰撞仿真中。雖然這一方法同時也會因為需要做非對角質(zhì)量矩陣的求逆消耗一部分計算時間，但總體而言，通?？梢詫r間步長提高10到20倍。

　　2.2 Hybrid-MPP

　　目前顯式有限元方法在求解大規(guī)模問題時，通常采用MPP(Massive parallel processing)方法。這種方法利用了多個計算節(jié)點(node)，每個計算節(jié)點的每個核(core)啟動一個進程，進程之間通過MPI方式進行通信。

　　隨著多核處理器被越來越多的應用于計算集群，在每個CPU內(nèi)部仍然使用MPI通信顯然浪費了CPU內(nèi)部架構的快捷，上述MPP方式不能完全利用多核CPU的硬件資源。Altair公司在RADIOSS v11版本中使用Hybrid-MPP并行計算方法，這種方法就完全利用了現(xiàn)有的多核處理器的功能。Hybrid-MPP并行模式在每一個獨立的節(jié)點上使用OpenMP方式進行通信，在節(jié)點之間通過MPI的方式進行通信。通過使用優(yōu)化的消息傳遞機制有效減少節(jié)點和節(jié)點之間、節(jié)點內(nèi)部的消息量，從而在大規(guī)模的并行計算中有效發(fā)揮現(xiàn)有硬件架構的整體性能。

　　圖1 RADIOSS的Hybrid-MPP示例：每個節(jié)點2個SMP線程

　　圖1為RADIOSS v11版本中使用Hybrid-MPP并行計算示例。每個節(jié)點(Node)共享內(nèi)存(對應M1,M2)，每一個計算節(jié)點由2個CPU組成(對應Socket1,Socket2)，而每一個CPU又有2個核(對應C1,C2)，所有獨立的計算節(jié)點通過快速交換網(wǎng)絡設備進行互聯(lián)。

　　3 本文采用的硬件環(huán)境

　　中科院超級計算中心(簡稱中科院超算中心)是隸屬于中國科學院計算機網(wǎng)絡信息中心(CNIC)的支撐服務單位，主要從事超級計算機的運行維護、并行計算的研究、實現(xiàn)及其應用服務與技術支持，為大規(guī)模計算復雜技術和商業(yè)應用提供解決方案。中心面向科學院乃至社會提供盡可能強的高性能計算能力和技術支持，為用戶提供7*24小時穩(wěn)定計算服務，從2009年6月正式運行至今，已累計提供計算機時超過51,121,788.4 CPU?Hours。

　　- 中心擁有的深騰7000在2008年11月全球top500的超級計算機排名中，排名第19。

　　- 實現(xiàn)了1240個2-way薄結(jié)點和140個4-way厚結(jié)點的協(xié)同計算

　　- 國內(nèi)第一個實際性能突破每秒百萬億次的異構機群系統(tǒng)

　　- 成功實現(xiàn)了基于1428個無盤結(jié)點的機群系統(tǒng)

　　- 世界上規(guī)模最大的一個結(jié)點無盤啟動的機群系統(tǒng)

　　- 在線、近線、離線存儲容量超過PB級

　　- 國內(nèi)第一個實現(xiàn)PB級別的三級結(jié)構海量存儲系統(tǒng)的機群系統(tǒng)

　　深騰7000百萬億次高性能計算機采用混合結(jié)構的高性能計算集群架構，由采用Intel Xeon處理器的集群部分與采用Intel Itanium2處理器的胖節(jié)點部分組成，適于不同的應用計算。本次測試采用Intel Xeon處理器的集群部分。集群部分包括認證服務器、前端機、管理節(jié)點、登陸節(jié)點、啟動節(jié)點、I/O節(jié)點、備份節(jié)點和計算節(jié)點。其中，計算節(jié)點包括刀片和厚節(jié)點，配置如下：

　　- 指令字長：64位

　　- 1140個普通(刀片)節(jié)點，每個刀片配置兩顆四核Xeon處理器E5450，主頻3.00GHz，32GB內(nèi)存

　　- 38個厚節(jié)點，IBM X3950M2服務器，每個厚節(jié)點配置16顆四核Xeon處理器X7350，主頻2.93GHz，512GB內(nèi)存

　　- 12個可視化節(jié)點(采用機架式服務器)，2顆Intel Xeon E5450，32GB內(nèi)存，Nvidia 9800GTS顯卡

　　- 其它節(jié)點配置與計算刀片相同，包括2個認證服務器、2個前端機、2個管理節(jié)點、8個登錄節(jié)點、12個啟動節(jié)點、120個IO節(jié)點、2個備份節(jié)點

　　- 磁盤容量：350TB 在線+ 63TB近線+ 1PB離線(≥ 200 TB)

　　- 互連網(wǎng)絡：節(jié)點間采用20Gbps的Infiniband，延遲1.6 μs (≤ 3μs)

　　- I/O聚合帶寬：52GB/s (≥ 50GB/s)

　　- 操作系統(tǒng)：Red Hat Enterprise Linux Server release 5.1

　　- 編程語言：C、C++、Fortran、Java

　　- 并行環(huán)境：MPI、OpenMP

　　- 高性能并行文件系統(tǒng): Lustre、SNFS、LPFS、GPFS

　　- 高效系統(tǒng)管理軟件：系統(tǒng)管理與監(jiān)控、系統(tǒng)部署、作業(yè)調(diào)度等

　　- 并行程序開發(fā)環(huán)境：數(shù)學庫、中間件、開發(fā)工具等

　　- 系統(tǒng)功耗：434KW(空載)~608KW(滿載) (≤ 800 KW)

　　圖2 百萬億次機的硬件結(jié)構

　　4 測試結(jié)果

　　本文中將RADIOSS v11 Hybrid-MPP版本安裝在深騰7000的集群部分，利用Intel MPI進行節(jié)點間通信，求解模型為Neon模型并進行了網(wǎng)格細化，整個模型共有106萬單元，109萬節(jié)點。整車質(zhì)量1.2噸，初始速度為12.3米/秒，計算剛性墻正面碰撞80ms，采用了高級質(zhì)量縮放技術，利用128x8核計算，499秒完成整個仿真。有限元模型及變形結(jié)果如下圖所示。

　　圖3 Neon模型及仿真80ms之后的變形結(jié)果

　　5 結(jié)論

　　Altair公司與中科院超算中心合作，在國內(nèi)第一次實現(xiàn)了在500秒內(nèi)完成100萬單元的整車80ms正面碰撞仿真。

　　Altair公司是世界領先的CAE技術廠商，專注于CAE技術的開發(fā)，并將Altair公司領先的優(yōu)化技術同各學科仿真相結(jié)合，將并行計算性能及與高性能計算緊密結(jié)合，力求實現(xiàn)真正的多學科的仿真與優(yōu)化。RADIOSS求解器已經(jīng)得到了世界范圍的廣泛應用，其線性求解功能是通用汽車全球的標準求解器，非線性顯式求解功能得到了福特、標志雪鐵龍等著名汽車廠商的應用。本文的測試表明，RAIDOSS的非線性顯式并行求解功能速度相當快，可并行的處理器也可達到1024核以上，非常適合大規(guī)模并行計算。

　　目前工業(yè)界的整車碰撞有限元模型在100萬到200萬單元之間，進行一次整車碰撞仿真時間在幾個小時到十幾個小時之間。這樣的時間使得整車級別的碰撞被動安全優(yōu)化、穩(wěn)健性設計不可能進行。

　　Altair公司與中科院超算中心下一步工作將是繼續(xù)加深合作，進一步優(yōu)化RADIOSS在超級計算機上的并行效率，在超級計算機上結(jié)合Altair優(yōu)化軟件進行碰撞優(yōu)化及穩(wěn)健性設計。

　　中科院超算中心同Altair公司以及硬件廠商共同為企業(yè)用戶提供高性能計算的高可用性平臺，可以做到：

　　1. 提供上萬核的計算能力和計算所需的大量內(nèi)存，幫助企業(yè)在規(guī)定時間內(nèi)完成巨大的計算問題

　　2. 提供企業(yè)所需的安全性保障，憑借嚴格的權限控制和管理制度，保證所有數(shù)據(jù)不丟失不被竊取

　　3. 降低企業(yè)的運營成本，避免昂貴的計算平臺購置和維護費用

　　4. 提供友好的用戶界面和使用方式，讓工程師可以通過web、ftp、甚至圖形界面等各種方式使用計算機群提交作業(yè)、進行前后處理和上傳下載數(shù)據(jù)，進而集中精力在計算本身而不是復雜的命令行操作。

　　通過政府或公司出資，提供專門計算中心，軟件廠商提供計算軟件，通過互聯(lián)網(wǎng)訪問的方式，根據(jù)企業(yè)所需快速地提供計算資源，打包租用，避免企業(yè)重復的軟硬件投資，減輕企業(yè)負擔，這也是非常有實用價值的一種“云計算”應用模式。