帶你掌握如何使用CANN 算子ST測試工具msopst

2022年10月02日02:59:20 科技 1107

本文分享自華為雲社區《帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

總體使用流程

自定義算子部署到OPP算子庫後,開發者可使用msopst工具驗證算子在昇騰AI處理器上執行的正確性,總體流程較簡單,如下所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

下面我們分別介紹以上每一個步驟是幹什麼的?該如何做?

生成測試用例定義文件

測試用例定義文件,顧名思義,就是用來生成測試用例的,其內容包含了測試用例所需的基本信息,例如:測試用例名稱,所要測試的算子類型,算子的輸入輸出描述信息(形狀、數據類型、數據排布格式等)、算子屬性相關信息(包含屬性名稱、類型、屬性值)、數據生成算法等。以Add算子為例,通過msopst工具生成測試用例定義文件的命令如下:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

上述命令執行完成後,會在當前路徑的output目錄下生成Add算子的測試用例定義文件:Add_case_{timestamp}.json。

當然,您也可以不使用msopst create命令,直接拷貝已有算子的測試用例定義文件進行修改亦可,使用算子信息庫生成的優勢是會自動填充測試用例定義文件中的相關字段,例如case_name,op,input_desc與output_desc中的name、format、type等。OpType_case_xxx.json文件的模板如下:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

配置測試用例定義文件

測試用例定義文件的配置為整個ST測試流程的核心,直接決定了生成的測試用例個數、數據生成算法、測試覆蓋率等,下面描述測試用例定義文件的參數含義及配置方法。

輸入輸出描述配置

輸入輸出描述信息包含的關鍵配置如下表所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

測試用例採用將以上配置進行正交組合的方式生成,如下圖所示,format取值為[“ND”,“NCHW”, “NHWC”];type的取值為[“int32”,“float32”];shape的取值範圍為[32,16];data_distribute的取值為[“uniform”],value_range的取值為[0.1, 1.0],則生成的測試用例個數為 3 * 2 * 1 * 1 * 1 = 6。

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

算子屬性配置

若算子包含屬性,還需要配置如下表所示參數:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

大批量生成測試用例

若開發者需要生成大量測試用例,可利用fuzz測試參數生成腳本輔助生成,並在測試用例定義文件( *.json )中配置fuzz腳本路徑、所需生成的測試用例數目,同時輸入輸出描述中相關參數的取值配置為“fuzz”。操作步驟示例如下:

1、配置fuzz測試參數生成腳本,假設腳本命名“fuzz_shape.py”,實現如下所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

2、配置測試用例定義文件;

3、在測試用例定義文件(*.json)中配置fuzz測試參數生成腳本的路徑,所需生成的測試用例個數,並將需要自動生成的字段配置為固定值“fuzz”,如下所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

定義期望數據生成函數

若用戶需要得到實際輸出與期望輸出的比對結果,可使用Python語言自定義實現期望數據生成函數,並在ST測試用例定義文件中增加此函數入口。例如,Add算子的期望數據生成函數為“/home/test/test_add.py”,實現如下所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

然後在ST測試用例定義文件中增加“calc_expect_func_file”參數,配置為“期望數據生成函數的文件:函數名”,如下所示:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

生成並執行測試用例

配置完相關環境變量後,您就可以通過如下命令執行ST測試用例:

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

查看執行結果

ST測試用例執行完後,您可以通過打屏信息查看用例執行結果,若下所示,共運行9個用例,9個用例全部執行成功。

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

開發者也可以查看生成的報表“st_report.json”,此報表中記錄了測試結果及各階段的運行情況,ST測試用例運行異常時,可以基於此信息進行問題定位。

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

至此,ST測試工具“msopst”的使用全流程已介紹完畢,您是否對此工具有了初步的認知呢?若您需要進行自定義算子的開發,別忘了使用此工具進行算子的ST測試噢~關於此工具的更多使用樣例,可參見昇騰社區中的《TBE自定義算子開發指南》或《AI CPU自定義算子開發指南》。

https://www.hiascend.com/document?tag=community-developer

帶你掌握如何使用CANN 算子ST測試工具msopst - 天天要聞

昇騰CANN文檔中心致力於為開發者提供更優質的內容和更便捷的開發體驗,助力CANN開發者共建AI生態。任何意見和建議都可以在昇騰社區反饋,您的每一份關注都是我們前進的動力。

點擊下方,第一時間了解華為雲新鮮技術~

華為雲博客_大數據博客_AI博客_雲計算博客_開發者中心-華為雲

科技分類資訊推薦

長安與東風重組新進展:朱華榮稱不會改變長安既定戰略 - 天天要聞

長安與東風重組新進展:朱華榮稱不會改變長安既定戰略

2月9日,長安汽車和東風集團股份(00489.HK)同步發布了控股股東“正在與其他國資央企集團籌劃重組事項”的信息。長安汽車的控股股東是兵裝集團,而東風集團股份的控股股東是東風公司。隨即,長安汽車和東風集團這兩家汽車央企將合併重組,成為業內關注的焦點。
公安部出手了!年齡限制放寬10年、送考下鄉,2025年考駕照不難了 - 天天要聞

公安部出手了!年齡限制放寬10年、送考下鄉,2025年考駕照不難了

電動車加強管理以後,要求機動車類型的車輛需要持證上路,但是老年人考駕照卻受阻,一方面有年齡的限制,另一方面偏遠山區考駕照不方便,所以在2025年公安部出手了,年齡限制放寬10年,同時推出送考下鄉服務,還進一步的降低考駕照的費用,2025年起考摩托車駕照不難了。
從“星靈安全守護體系”到昊鉑HL,看懂廣汽科技日 - 天天要聞

從“星靈安全守護體系”到昊鉑HL,看懂廣汽科技日

發布會以技術切入,並全程圍繞安全展開。廣汽集團董事長、總經理馮興亞率先登場,宣布2025年四季度將正式上市支持L3級智能駕駛的車型,他同時強調面向自動駕駛時代對智能駕駛技術、整車安全架構以及突發風險處理能力的要求更高。如何才能滿足更高的要求?馮興亞提到了“廣汽
關稅大棒下,最受傷的車企出現了 - 天天要聞

關稅大棒下,最受傷的車企出現了

特朗普的關稅大棒剛揮出,尚未嚇退“外敵”,卻先刺痛了自己。近日,擁有瑪莎拉蒂、Jeep等14個品牌的全球第四大車企斯泰蘭蒂斯突然宣布裁撤900名美國工人,關閉加拿大和墨西哥兩家工廠,北美生產線陷入癱瘓。幾乎同一時間,捷豹路虎宣布暫停對美出口一個月,奧迪更是直接