I2R ASTAR Singapore和法國UM-CNRS LIRMM的研究人員最近開發了一個框架，可以提高機器人識別周圍物體的能力，這些物體可能是潛在的工具，然後使用它們完成手動任務，即使他們以前從未遇到過這些物體。他們的方法發表在《自然機器智能》雜誌上的一篇論文中，該方法可以顯著提高機器人系統完成可能需要工具的挑戰性任務的能力，而無需事先進行任何工具培訓。
進行這項研究的研究人員之一Ganesh Gowrishankar告訴TechXplore：「人類在將環境中的隨機物體識別為潛在工具並將其作為潛在工具加以使用方面非常驚人。」。「類似的能力對機器人非常有用，可以使它們在「非結構化」（即非建模和不可預測的）環境中具有創新性。例如，想像一個救援機器人在災難場景中能夠獨立（無需人工幫助）解決任務並使用可用碎片作為工具通過障礙。」
雖然過去在機器人領域的許多研究都強調了可以使用工具完成物理任務的系統的巨大潛力，但迄今為止提出的所有方法都需要事先使用工具進行培訓。這是在模擬中實現的，使用人類或其他機器人使用工具的視頻，或直接在物理世界中使用工具。
另一方面，Keng Peng Tee、Gowrishankar和他們的同事的工作目標是創建一個框架，允許機器人根據其形狀和大小在飛行中識別潛在有用的工具，即使他們以前從未遇到過這些物體，也從未接受過如何使用這些物體或任何其他工具的培訓。研究人員已經研究這種框架好幾年了。
Gowrishankar說：「在我們的新論文中，我們結合了過去在人類工具使用、「化身」和人類工具表徵方面的工作，開發了一個認知框架，使沒有工具經驗的機器人能夠將物體（甚至是第一次看到的物體）識別為特定任務的工具，並立即使用它們——就像人類一樣。」。
在進行之前的研究並回顧現有文獻時，Tee和Gowrishankar發現，人類可能會使用自己手或手臂的形狀以及用手/手臂所做的動作作為參考，以確定工具是否可以用於完成特定任務。他們開發的新框架就是基於這個想法，因為它鼓勵機器人使用他們的肢體來確定他們周圍的物體是否可以用作工具。
工具的類似於手/手臂的形狀，我們需要用這些工具完成任務的動作類似於我們在處理同一任務時用手執行的動作
「我們的框架利用我們的發現使機器人能夠直觀地使用工具，」Tee解釋道。「具體來說，它使機器人能夠隔離其自身肢體的『功能』特徵，這些特徵使其能夠執行任務，使用這些特徵將物體識別為同一任務的潛在工具，然後使用機器人已經擁有的技能（控制器）使用該工具開發成功的動作。」
從本質上講，研究人員的框架允許機器人使用工具來完成他們能夠在沒有工具的情況下完成的任何任務（即，他們擁有所謂「控制器」的任何任務）。它只需要機器人集成攝像頭或感測器，使其能夠「視覺」感知周圍的物體。
Tee、Gowrishankar及其同事開發的新框架可用於增強現有和新開發機器人的能力，使它們在完成特定任務時能夠更好地利用周圍的物體。然而，由於機器人的準確視覺感知仍然是一項技術挑戰，該框架的潛力目前有限。
「在目前的形式下，我們的框架完全基於視覺感知，」Tee說。「因此，它適用於能夠實現『運動增強』的工具，即肢體形狀和大小（可以通過視覺感知）的擴展。這些工具包括我們日常生活中使用的一大套（可能是大多數）工具：勺子、耙子、鉗子、盤子，甚至椅子（用來攀爬）等。」
雖然研究人員的框架涵蓋了我們日常生活中使用的許多簡單工具，但在目前的形式下，它不允許機器人識別和使用能夠實現所謂「動態/增力」的工具，如鎚子或槓桿。主要原因是，識別這些工具不僅需要查看其形狀和大小，還需要了解其重量和動態特性。
因此，為了識別這些工具在提供時是否有用，機器人需要進一步的感知層，使其能夠將物體的視覺/物理特徵與其動態特徵聯繫起來。為了實現這一目標，Gowrishankar和他的同事們現在正計划進一步開發他們的框架。
「在接下來的研究中，我們希望擴展我們的框架，以支持動態工具的使用，」Gowrishankar補充道。「我們還希望將我們的框架與其他工具使用研究提出的學習技術相結合。這是必要的，以使機器人能夠將工具用於其沒有控制器的任務（我們的框架沒有解決的問題），從而使機器人更接近人類的工具使用能力。」
