什麼是自監督學習？
自監督學習由計算機科學家 Yann LeCun 於 2017 年開發，現已滲透到 Facebook、谷歌和微軟等科技梯隊以及規模較小的尖端機構。這是人工智能（AI）領域最熱門的事情。
從本質上講，LeCun 建議用機器來模擬兒童。他認為，就像孩子們沉浸在某些環境中並在大腦成熟時受到文化和發展的影響一樣，機器也可以。孩子們自然會接觸到監督學習和非監督學習。當教師使用批量標記數據對他們進行訓練時，就是監督學習。例如，他們會看到圖像並被告知“這是一種獸腳亞目恐龍，名為巨獸龍”和“這個人是喬治·華盛頓”。
與此同時，他們自然地、自動地學習演繹、歸納、關聯和預測，這是他們大腦/思想的固有功能。這就是自我監督學習發揮作用的地方。人類在發展過程中會遇到各種未標記的數據（事件和概念），並共生地形成自己的結論。本質上，自監督學習是一類使用數據中可用的監督來訓練機器學習模型的學習方法。自監督學習用於訓練 Transformer——自然語言處理和圖像分類領域最先進的模型。
Transformer
Transformer 是一種複雜的 ML 驅動模型，它使用自然語言處理 (NLP) 原理將簡單的圖像或標題“轉換”為洞察力的字體，能夠通過探測數據示例的一部分來找出正確的信息，從而做出明智的決策。剩餘的部分。該數據可以是文本、圖像、視頻、音頻或任何內容。
Transformer本質上是一個序列到序列的模型，它將輸入序列轉換為輸出序列，例如將句子從源語言翻譯為目標語言。 Transformer 涉及兩個組件：編碼器和解碼器。編碼器通過對輸入序列之間的依賴關係進行建模來學習處理輸入序列，以便更好地表示翻譯的輸入。使用稱為自注意力機制的技術對依賴關係進行建模。解碼器學習使用稱為注意機制的技術將輸入序列映射到輸出。
最終結果與基於大量數據的機器學習程序相同。也就是說，模型學習形成關聯、相關性、識別模式並執行統計估計等功能。 換句話說，自我監督學習模型提取並使用有機上下文和嵌入式元數據來形成相關的實時見解。
自監督學習的作用
自督學習主要側重於提高計算機視覺和 NLP 能力。其主要用於以下用途：
- 用於對灰度圖像進行着色的着色。
- 上下文填充，該技術填充圖像中的空間或預測錄音或文本中的間隙。
- 視頻運動預測，它提供特定幀之後所有可能視頻幀的分布。
無論自我監督學習多麼流行，它仍然距離理解人類語言或直觀地理解圖像的上下文或細微差別還很遠。
自監督學習的例子
- 在醫療保健和醫學領域，自監督學習通過估計人體和大腦的密集深度，為機器人手術和單眼內窺鏡檢查做出了貢獻。它還通過改進的計算機視覺技術（例如着色和上下文填充）增強醫學視覺效果。
- 通過自動駕駛，自我督的人工智能可以幫助汽車在越野時“感受”地形的粗糙度。該技術還提供深度估計，幫助汽車在行駛時識別與其他汽車、人或物體的距離。
