近日,由中國電子技術標準化研究院 、華為技術有限公司 、中國科學院軟件研究所 、北京航空航天大學 、浪潮電子信息產業(yè)股份有限公司等單位起草,TC28(全國信息技術標準化技術委員會)歸口的國家標準計劃《人工智能 服務器系統(tǒng)性能測試規(guī)范》征求意見稿已編制完成,現公開征求意見。
當前具有代表性的通用 AI 測試基準、HPC 性能測試基準或服務器技術規(guī)范,如 MLPerf、AI Benchmark、benchcouncil、AI-HPL、Linpack、DAWNBENCH、T/CESA 1043-2019《面向深度學習的服務器規(guī)范》、GB/T 9813.3《計算機通用規(guī)范 第 3 部分:服務器》《人工智能芯片 面向云側的深度學習芯片測試指標與測試方法》以及 AIIA DNN benchmark 等,在 AI 服務器系統(tǒng)性能測試方面,仍存在一些未解決的問題。
1) 通用服務器技術規(guī)范對 AI 服務器系統(tǒng)的性能測試的規(guī)定不深入、而且存在同質化傾向。在測試指標方面,僅端到端運行時間、能耗等不能準確反映AI 服務器系統(tǒng)。系統(tǒng)內部運行時效能方面,尚不存在標準化的測試方法。
2) 通用 AI 性能測試,使用公眾可獲得的模型、數據集。它們與行業(yè)(如金融、醫(yī)療)實際使用的模型、數據有較大差異。通用測試的結果,對行業(yè)指導意義不強,行業(yè)業(yè)務在 AI 服務器系統(tǒng)計算設施上的運行效果,無直接評判依據。
3) 當前的測試基準對測試科學(test technology)理論的實踐相對較薄弱。這些測試基準對性能的理解、解釋及測試方法僅限于穩(wěn)定狀態(tài)運行時間,而未考慮真實運行環(huán)境及系統(tǒng)自身現實狀態(tài)。
針對以上問題,該標準擬結合測試技術,在通用及行業(yè)應用兩方面,研究并標準化測試方法、用例,達到較為全面、準確的測試效果。
人工智能服務器系統(tǒng),包含人工智能服務器、集群和高性能計算設施等形態(tài)。人工智能服務器系統(tǒng),是各類深度學習模型(包含大規(guī)模預訓練模型)的訓練和推理的核心載體,是各行業(yè)應用人工智能技術提升生產效率的核心工具。人工智能服務器系統(tǒng)專為處理人工智能計算任務設計,在架構、運算方式和用途用法上,與通用服務器系統(tǒng)有較大差別,其測試過程、負載和指標等,皆有獨特性。本文件提出人工智能服務器系統(tǒng)性能基準測試的方法,并對基準測試工具提出技術要求。
本文件規(guī)定了人工智能服務器系統(tǒng),完成深度學習訓練及推理任務的性能(運行時間、能耗、實際吞吐率、能效、效率、彈性、承壓能力等)測試方法。本文件適用于人工智能服務器系統(tǒng)的性能評估。
版權與免責聲明:
凡本站注明“來源:智能制造網”的所有作品,均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品,未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智能制造網”。違反上述聲明者,本站將追究其相關法律責任。
本站轉載并注明自其它來源(非智能制造網)的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時,必須保留本站注明的作品第一來源,并自負版權等法律責任。如擅自篡改為“稿件來源:智能制造網”,本站將依法追究責任。
鑒于本站稿件來源廣泛、數量較多,如涉及作品內容、版權等問題,請與本站聯系并提供相關證明材料:聯系電話:0571-89719789;郵箱:1271141964@qq.com。