it之家 10 月 12 日消息，科技媒體 the decoder 昨日（10 月 11 日）發布博文，報道稱 openai 公司推出 mle-bench 新基準，旨在評估 ai 智能體在開發機器學習解決方案方面的能力。
該基準包括 75 個 kaggle 競賽，旨在衡量自主 ai 系統在機器學習工程中的進展。這些競賽涵蓋了多個領域，包括自然語言處理、計算機視覺和信號處理等等。
在 kaggle 的進階系統中，「novice」（新手）、「contributor」（貢獻者）、「expert」（專家）、「master」（大師）和 "grandmaster"（特級大師）是不同的績效層級，用于衡量和識別數據科學家在 kaggle 平台上的技能水平和成就。
許多任務具有現實世界的應用，例如預測 covid-19 mrna 疫苗降解或解碼古代捲軸等。
mle-bench 專註於兩個關鍵領域：
選擇具有挑戰性的任務：這些任務代表了當前機器學習的發展水平。
比較 ai 與人類的表現：通過對比，評估 ai 在特定任務中的能力。
openai 在 mle-bench 上測試了多個 ai 模型和智能體框架，使用 aide 框架的 o1-preview 模型表現最佳，在 16.9% 的比賽中至少獲得了一枚銅牌，該結果超越了 anthropic 的 claude 3.5 sonnet。
獲得 5 金即可評上 "grandmaster" 特級大師，而 o1-preview 模型在 mle-bench 測試中獲得了 7 枚金牌。
openai 承認 mle-bench 也有局限性，並未涵蓋 ai 研究與開發的所有方面，主要集中在具有明確問題和簡單評估指標的任務上。
mle-bench 基準現已在 github 上發布，openai 希望通過這一工具，推動 ai 在機器學習領域的進一步發展。
