8月25日，在青島舉行的全國高性能計算學術年會大會（CCF HPC China 2023）上，2023華為高性能計算解決方案分論壇同步舉辦。來自北京大學計算中心工程師付振新分享了“北京大學高性能計算平臺超融合以太數據中心網絡解決方案實踐”。

為滿足校內的教學科研計算需求，北京大學從2018年起陸續建設了“未名一號”、“未名生科一號”、“未名教學二號”等高性能計算集群，有力地提升了校內的算力供應能力。隨著承載的用戶、計算任務和數據量不斷增加，原有平臺的網絡基礎設施性能逐漸不敷使用，因此北京大學在2023年進行了高性能計算平臺的系統及網絡改造項目。經過全方位的綜合評估，北京大學最終選擇了華為超融合以太數據中心網絡解決方案，實現高性能計算平臺的大提速，真正釋放算力基礎設施的全部潛力。

科研創新迎來算力時代

【資料圖】

進入二十一世紀以來，人類的科學探索逐漸深入高度復雜、高度不確定性的新環境，大量龐大而復雜的科學問題需要借助超級計算機來進行模擬、仿真、預測。從傳統的化學化工、生物制藥、高能物理、金融工程、社會治理，到新興的大數據、人工智能、網絡信息安全等等，都因強大算力的加持而取得了超出以往的全新進展和成果。

北京大學早在2018年就建成了高性能計算校級公共平臺，先后建成投用了“未名一號”、“未名教學二號”、“未名生科一號”等5套集群。不過隨著平臺使用人數、計算任務的增加，網絡基礎設施的流量吞吐量和復雜性都大大增加，年均節點占用率都在80%以上，“未名生科一號”的節點占用率甚至長期處于95%以上，作業時間和排隊時間變得越來越漫長。針對這一問題，幾家供應商分別提出了基于IB、RoCEv1、RoCEv2等技術打造的網絡方案。在北京大學組織的基準測試和通用地球系統模式CESM、分子動力學軟件VASP等應用場景測試中，華為提供的基于RoCEv2的超融合以太數據中心網絡解決方案表現出了優異性能，能夠有效縮短作業運行時間和排隊時間，于是成功入選北京大學高性能計算平臺的改造項目。

生態開放、性能優異：RoCE前景看好

為適應用戶對計算效率、時延、擴展性等方面的苛刻要求，高性能計算需要在不同節點之間實時高速傳遞海量數據，這對服務器互連方案的要求非常高。目前業界主流的計算互聯協議有RoCE和IB兩種，其中IB具有高吞吐、低時延、高可靠性等特點，技術先進，不過主要掌握在英特爾、IBM、英偉達等企業手中，技術和產品生態都比較封閉，成本高昂。RoCE則是一種基于以太網絡的RDMA網絡協議，生態相對開放，而且著力于實現網絡的無損傳輸，深受各國高性能計算和AI等產業歡迎，被認為是未來全球數字化的重要路徑。

華為基于RoCE的超融合以太技術，具有完善的流量控制、擁塞控制、流量調度和應用加速功能，獨家實現了以太網0丟包。此外，華為還開發了在網計算（INC）技術有效提高集合通信效率、降低總的任務完成時間，在時延方面比IB略勝一籌。

在北京大學組織的測試中，共有TCP/IP、IB、RoCEv2三種方案，分別用基準測試工具Linpack和地球系統模式CESM、分子動力學軟件VASP等應用進行實驗。結果表明，承載VASP應用時，華為100GE RoCEv2略優于IB；承載Linpack和CESM時，華為方案與IB性能表現基本一致。此前權威評測機構Tolly也曾做過測試，在擁塞條件下的帶寬和時延等基礎性能測試、MPI計算性能基準測試以及HPC應用測試中，華為方案的性能都優于其它廠商的IB組網方案。這些實測結果都表明，華為超融合以太網絡解決方案可完全可以代替IB方案。

支持算力建設，服務數字未來

近年來，華為超融合以太網絡解決方案已經在國內外多個高性能計算平臺項目中落地應用。比如在2022年，華為超融合以太網絡解決方案還在武漢超算中心、阿聯酋高級國家研究和教育網絡Ankabut項目中投入了應用，因其卓越性能而得到了客戶的高度評價。

在北京大學高性能計算平臺的前期項目中，“未名二號”集群就采用了華為100GE RoCE無損以太網絡方案。“未名二號”由240臺CPU計算節點和30臺GPU計算節點組成，后續可擴容至340臺CPU計算節點。與IB方案相比，北京大學高性能計算平臺管理人員發現華為RoCE方案無需用戶改變使用習慣，以太網帶寬增加更快，性能也超出預期。

隨著HPC和AI應用的快速發展，對網絡帶寬吞吐的需求將不斷增長，從100GE、200GE、400GE到800GE等更高速率不斷演進的以太網絡無疑是最佳的承載技術。與此同時，RoCE無損以太網絡在時延、吞吐量、可靠性、編解碼和調制技術等方面也在不斷進步，使得無損以太網絡的總體性能不斷提高，未來有望在自動駕駛、智能制造、生物科技、金融等更多行業和領域投入應用。