帕金森病（PD）是典型的運動障礙，臨床上通常使用臨床評分量表（即MDS-UPDRS）來評估PD患者運動癥狀的嚴重程度。但是這種評估方法較為費時，而且容易受到評估者認知差異的影響。新冠肺炎疫情爆發以來，PD患者遠程評估愈發強烈。
為此，上海交通大學生物醫學工程學院錢曉華課題組與上海交通大學醫學院附屬瑞金醫院功能神經外科孫伯民團隊的張陳誠醫生合作，於2020年11月19日在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（TNSRE）期刊在線發表了題為“Sparse Adaptive GraphConvolutional Network for Leg Agility Assessment in Parkinson’s Disease”的研究文章，提出了適用於基於視頻對MDS-UPDRS中腿部靈活性任務進行自動化客觀評估的深度學習模型。
腿部靈活性任務是MDS-UPDRS的重要組成部分之一。在該測試中，PD患者需要將每條腿分別以最大的幅度和最快的速度抬高踏地。評估者根據患者的動作速度、幅度、有無遲疑和停頓、有無幅度的逐漸縮小等因素來給出評估分數，分數範圍為0-4。在該任務的自動量化評估研究中，已有的基於傳感器的方法存在着侵入性、定期標定和校準的局限性，基於視覺的特徵工程方法則需要人工事先設計特徵。
因此，作者開發了稀疏化自適應的圖卷積網絡模型實現基於視頻的腿部靈活性任務的自動化評估。具體來說:
1）通過先進的人體姿態估計模型從視頻中提取PD患者的關節點序列；
2）提出了稀疏化自適應圖卷積單元（SAGCU），以實現視頻中人體骨架序列的空間建模，對人體的物理和邏輯依賴性進行了自適應編碼，然後將稀疏化策略的約束嵌入到成本函數中以挖掘判別性特徵，最終挖掘出了腿部靈活性任務中最重要的空間結構關係；
3）引入了時間上下文模塊（TCM），通過計算時間位置的相關性來構造視頻序列的上下文依賴關係，捕獲了腿部靈活性任務執行過程中關節的全局變化；
4）開發了多域注意力學習模塊（MDALM），高級時空特徵用於引導低級特徵以增強通道域中的顯著性特徵，最終實現了時間、空間和通道域的特徵集成。
圖1 稀疏化自適應的圖卷積網絡模型的實現框架
該模型在上海交通大學醫學院附屬瑞金醫院功能神經外科提供的臨床視頻數據集上進行了全面的評估，該數據集包含148位患者870個腿部靈活性任務視頻。據文獻調查，這也是目前PD腿部靈活性任務自動評估研究中最大的數據集。定量和定性的評估分析證明了作者所提出的方案的有效性和可靠性，該方案實現了70.34%的準確率和98.97%的可接收準確率，優於其他已有的腿部靈活性任務自動評估的方法（包含基於傳感器的方法）。
該論文提出的非接觸式方法為帕金森病的自動運動功能評估和遠程醫療提供了新方案，有助於準確、持續、遠程監控病情。
研究組介紹
錢曉華
上海交通大學生物醫學工程學院副教授、博士生導師
實驗室研究興趣：
1）圖像處理與機器學習（深度學習）算法開發；
2）醫學圖像（視頻）處理與分析，和健康大數據挖掘與分析。
