什麼是自監督學習?一文告訴你

2024年03月26日10:45:04 科技 1147

什麼是自監督學習?一文告訴你 - 天天要聞

什麼是自監督學習?

自監督學習由計算機科學家 Yann LeCun 於 2017 年開發,現已滲透到 Facebook、谷歌和微軟等科技梯隊以及規模較小的尖端機構。這是人工智慧(AI)領域最熱門的事情。

從本質上講,LeCun 建議用機器來模擬兒童。他認為,就像孩子們沉浸在某些環境中並在大腦成熟時受到文化和發展的影響一樣,機器也可以。孩子們自然會接觸到監督學習和非監督學習。當教師使用批量標記數據對他們進行訓練時,就是監督學習。例如,他們會看到圖像並被告知「這是一種獸腳亞目恐龍,名為巨獸龍」和「這個人是喬治·華盛頓」。

與此同時,他們自然地、自動地學習演繹、歸納、關聯和預測,這是他們大腦/思想的固有功能。這就是自我監督學習發揮作用的地方。人類在發展過程中會遇到各種未標記的數據(事件和概念),並共生地形成自己的結論。本質上,自監督學習是一類使用數據中可用的監督來訓練機器學習模型的學習方法。自監督學慣用於訓練 Transformer——自然語言處理和圖像分類領域最先進的模型。

Transformer

Transformer 是一種複雜的 ML 驅動模型,它使用自然語言處理 (NLP) 原理將簡單的圖像或標題「轉換」為洞察力的字體,能夠通過探測數據示例的一部分來找出正確的信息,從而做出明智的決策。剩餘的部分。該數據可以是文本、圖像、視頻、音頻或任何內容。

Transformer本質上是一個序列到序列的模型,它將輸入序列轉換為輸出序列,例如將句子從源語言翻譯為目標語言。 Transformer 涉及兩個組件:編碼器和解碼器。編碼器通過對輸入序列之間的依賴關係進行建模來學習處理輸入序列,以便更好地表示翻譯的輸入。使用稱為自注意力機制的技術對依賴關係進行建模。解碼器學習使用稱為注意機制的技術將輸入序列映射到輸出。

最終結果與基於大量數據的機器學習程序相同。也就是說,模型學習形成關聯、相關性、識別模式並執行統計估計等功能。 換句話說,自我監督學習模型提取並使用有機上下文和嵌入式元數據來形成相關的實時見解。

自監督學習的作用

自督學習主要側重於提高計算機視覺和 NLP 能力。其主要用於以下用途:

  • 用於對灰度圖像進行著色的著色。
  • 上下文填充,該技術填充圖像中的空間或預測錄音或文本中的間隙。
  • 視頻運動預測,它提供特定幀之後所有可能視頻幀的分布。

無論自我監督學習多麼流行,它仍然距離理解人類語言或直觀地理解圖像的上下文或細微差別還很遠。

自監督學習的例子

  • 在醫療保健和醫學領域,自監督學習通過估計人體和大腦的密集深度,為機器人手術和單眼內窺鏡檢查做出了貢獻。它還通過改進的計算機視覺技術(例如著色和上下文填充)增強醫學視覺效果。
  • 通過自動駕駛,自我督的人工智慧可以幫助汽車在越野時「感受」地形的粗糙度。該技術還提供深度估計,幫助汽車在行駛時識別與其他汽車、人或物體的距離。

什麼是自監督學習?一文告訴你 - 天天要聞

科技分類資訊推薦

最新消息!她已離職!曾凌晨發文道歉 - 天天要聞

最新消息!她已離職!曾凌晨發文道歉

本月初,百度副總裁璩靜在短視頻平台上發布的幾條出鏡視頻引髮網友關注,特別是其提到「員工鬧分手提離職我秒批」等職場話題引髮網友質疑,一度登上微博熱搜。
淘寶取消「618」預售機制後,京東宣布「現貨開賣」 - 天天要聞

淘寶取消「618」預售機制後,京東宣布「現貨開賣」

繼5月7日天貓宣布取消「618」預售機制後,5月8日,京東也正式宣布「現貨開賣」。今年京東618將於5月31日晚8點全面開啟。據了解,現貨開賣的同時,京東還將同步推出百億補貼日活動。在6月2日、6月3日、6月8日,還將先後推出9.
細思極恐網路暴力和群毆 - 天天要聞

細思極恐網路暴力和群毆

互聯網高速發展利用時代踏實做事和說實話的人都不被人待見,時時刻刻遭受網路暴力,聲討,群毆,格力電器董明珠,踏踏實實做企業,創稅收,促進就業,,為國家為人民奉獻大半輩子青春,心血, 汗水,本該退休安享晚年,侍弄兒孫遺憾找不到合適放心接班人,七
探秘vivo影像之美,與X系列技術溝通會共同見證卓越藍圖 - 天天要聞

探秘vivo影像之美,與X系列技術溝通會共同見證卓越藍圖

前段時間的vivo X系列新品發布讓我們記憶深刻,而剛剛結束結束的「影像新藍圖X系列技術溝通會」也十分精彩,這次溝通會不僅告訴了大家vivo在影像領域的最新成果,也讓粉絲們對vivo影像背後的故事有更多了解,在vivo影像的發展歷程中可以分成兩方面,一方面,vivo通過自主研發,不斷提升自身的影像技術實力,另一方面,vivo...
華為再次亮劍,鴻蒙系統亮點多多 - 天天要聞

華為再次亮劍,鴻蒙系統亮點多多

5月15日,華為夏季全場景新品發布會簡直是一場視覺與科技的盛宴,看得我熱血沸騰!不得不說,華為這次真的是大招頻出,新品多到讓人眼花繚亂!先說說那個華為MatePad 11.5 」 S吧,一亮相就讓人眼前一亮!它的設計簡約而不失時尚,屏幕清晰得讓人彷彿置身其中。
【新機】升級了個寂寞?藍廠新機發布 - 天天要聞

【新機】升級了個寂寞?藍廠新機發布

昨天晚上藍廠發布了新機iQOO Neo9s Pro,機子採用了6.78英寸1.5K 8T LTPO直面屏,支持144Hz刷新率。搭載天璣9300+,前置1600萬像素,後置IMX920主攝+5000萬超廣角。電池容量5160mAh,支持120W快充。新增白色版本,用上了白色玻璃後蓋,顏值確實提升了不少。不過還是塑料中框+短焦指紋。12+256GB 2699元
AI Agent在哪些行業領域會產生影響? - 天天要聞

AI Agent在哪些行業領域會產生影響?

在如今飛速前進的科技浪潮中,人工智慧(AI)技術的創新正以前所未有的速度重塑我們的生活和工作的每一個角落。在這一浪潮中,Agent AI智能體以其卓越的能力脫穎而出,它通過模擬人類智能行為,能夠勝任一系列複雜任務,並在多個領域展現出了其無法替代的價值。