機器學習是一門多領域交叉學科。特別地，機器學習和最優化緊密交織在一起。優化問題是大多數機器學習方法的核心，許多機器學習問題都會轉化成優化問題求解。
《機器學習與最優化》（田英傑，唐靜靜著. 北京： 科學出版社，2024. 5）作者一直從事機器學習與最優化方面的研究，本書是作者近年來一些研究工作的系統梳理與總結。
左右滑動查看 目錄 →
《機器學習與最優化》從經典的支持向量機出發，以分類問題為基礎，以最優化為工具，闡述機器學習中的基本概念和經典學習問題。本書旨在介紹有關問題的最新研究成果，其中作者自己最近幾年的工作佔了相當大的比重。在講述這些工作時，着重闡明其研究背景和邏輯思路，並由此擴展到國內外最新研究成果。
具體的內容設置如下：首先介紹分類任務中的經典模型——支持向量機，其次介紹優化算法、損失函數和正則技術，最後介紹機器學習的各種學習問題，主要包括：多視角學習、多標籤學習、多示例學習、多任務學習和度量學習。圍繞這些學習問題，介紹我們的研究成果。在每章最後一節，給出拓展閱讀，介紹相關研究工作的最新進展，並列出相應參考文獻，旨在滿足讀者進一步學習的需求。
第1章
支持向量機
支持向量機（support vector machine，SVM）是由Vapnik 等學者於20 世紀90 年代提出來的一類模型，已廣泛應用於諸多領域。它的成功得益於最大間隔原則、對偶理論和核函數這三個核心技術的應用。本章介紹經典的超平面平行與非平行的支持向量機，並在拓展閱讀部分對二分類與多分類支持向量機的代表性工作以及研究進展進行總結。
第2章
優化算法
許多機器學習問題都會轉化成優化問題求解。因此優化算法成為機器學習最重要的組成部分之一。優化算法的研究由來已久，特別是由於近年來機器學習的迅猛發展，優化算法取得了長足的進步。本章重點介紹在機器學習領域行之有效的優化算法，包括確定型優化算法和隨機型優化算法；在拓展閱讀部分，對若干應用領域和隨機型優化算法中的代表性工作及研究進展進行總結。
第3章
損失函數
損失函數，又稱代價函數，常用於表示或度量決策函數產生的誤差。損失函數是影響模型性能的關鍵因素之一。對各種已有損失函數的深入理解是選擇和構造損失函數的前提和基礎。本章針對機器學習中的分類問題、回歸問題和無監督問題，分別介紹它們常用的損失函數，並進行總結與分析。最後介紹損失函數在深度學習中的一些研究進展。
第4章
正則技術
正則技術的任務是把向量或矩陣近似地轉化為更簡單的形式，它有助於在機器學習的建模過程中避免過擬合問題，提高模型的泛化性。本章把常用的正則技術分為三類，即向量稀疏正則、矩陣稀疏正則以及矩陣低秩正則，從每個正則技術的應用場景入手，依次介紹各種正則技術及其性質，並予以總結與分析。然後介紹了正則技術在深度學習中的一些研究進展。
第5章
多視角學習
如何綜合利用多視角數據有效地學習，已成為機器學習領域的一個研究熱點。本章首先介紹多視角學習問題的一種提法及處理多視角學習問題應該遵循的原則。然後在經典模型SVM-2K 的基礎上，構建基於特權信息學習理論的兩視角支持向量機，並給出其相關的理論分析。最後從傳統機器學習和深度學習的角度介紹近年來的一些研究進展。
多視角數據
第6章
多標籤學習
在機器學習領域，如何對多標籤的數據進行有效學習，已成為一個熱點問題。本章將介紹多標籤分類問題概念及利用二元關聯與排序支持向量機的解決方法。為更好地探索標籤之間的相關性，本章還介紹了一種新的代價敏感的多標籤分類模型，並給出了相關算法與理論分析。最後從傳統機器學習和深度學習的角度介紹了近年來的一些研究進展。
多標籤分類例子
第7章
多示例學習
多示例學習屬於弱監督學習，已成功應用到了多種學習場景，本章首先介紹多示例學習問題，然後介紹求解多示例分類問題的支持向量機，並針對對稱多示例學習問題構建稀疏多示例支持向量機，最後從傳統機器學習和深度學習的角度介紹近年來的一些研究進展。
多示例學習問題幾何解釋
第8章
多任務學習
多任務學習的特點是在訓練過程中藉助多個任務之間的內在關聯來優化每個子任務的學習方法。本章首先介紹多任務學習的基本概念和經典算法，同時給出一個多任務特徵選擇模型和相應的理論分析，然後從傳統多任務學習、深度多任務學習以及多任務與其他學習範式結合這三個方面對多任務學習算法進行較為系統的介紹。
多任務學習
第9章
度量學習
距離度量是構建損失函數的關鍵，度量學習（metric learning）就是學習一個適合當前機器學習問題的距離度量。本章首先給出度量學習的定義，再介紹全局度量學習和局部度量學習，然後介紹基於特徵分解的度量學習，最後從傳統機器學習和深度學習的角度總結近年來的研究進展。
度量學習的幾何解釋
本書不僅可作為機器學習領域研究生的擴充閱讀資料，也可作為相關專業教師和科研人員的參考書，還可供對本領域知識有興趣的讀者自學之用。我們特別關注有關領域正在進行理論研究和應用研究的讀者。希望能藉助本書幫助他們理解問題本質和最新進展，從而取得快速的進步。
本書的出版，得到中國科學院虛擬經濟與數據科學研究中心、中國科學院大學經濟與管理學院、中國科學院大數據挖掘與知識管理重點實驗室、西南財經大學工商管理學院大數據研究院等單位的支持；得到國家自然科學基金（項目編號：12071458，71901179，71731009，71991472）及西南財經大學「光華英才工程」的資助。
本文摘編自《機器學習與最優化》（田英傑，唐靜靜著. 北京：科學出版社，2024. 5）一書。
ISBN 978-7-03-076754-7
責任編輯：胡慶家 范培培
本書以機器學習中的分類問題為基礎，以最優化為工具，闡述機器學習中的基本概念和經典學習問題，並圍繞這些學習問題，介紹相關研究成果，重點闡明其研究背景和邏輯思路，並由此擴展到國內外最新研究進展。主要內容包括：支持向量機、優化算法、損失函數、正則技術，以及多視角學習、多標籤學習、多示例學習、多任務學習和度量學習等。
本書可作為機器學習領域研究生的擴充閱讀資料，也可作為相關專業教師和科研人員的參考書。
（本文編輯：劉四旦）
原創好讀 科學品位
科學出版社 視頻號
硬核有料 視聽科學
