追番神器＋1！即時翻譯、瞬間排版，這個基於漫畫的AI系統居然想消滅漢化組？

大數據文摘出品

作者：劉俊寰

看番，周更太慢！

想看原版漫畫，不會日語，愁死個人！

雖然現在在各大社交媒體上都有民翻，但是想看的漫畫偏偏太過小眾，沒人翻譯！

別急別急，救星來了。

去年，一位叫作石渡祥之佑的小哥開發了一個AI系統Mantra，該系統結合了特定於漫畫的圖像識別技術、機器翻譯和外語排版自動化技術，也就是說，能夠直接在漫畫原文上實現翻譯。

要知道，在日本，漫畫的出版佔到了整體出版物的40%，人工翻譯費用更是高達每本200,000到300,000日元。

這項AI技術不僅提升了漫畫翻譯的速度，翻譯的成本也降低了60-70%。

說到這，文摘菌想到AI也曾幫助中國爽文成功出海，看來AI對文化產業仍然有十分重要的貢獻。

這個項目在開發初期就接受到了來自東京大學FoundX計劃、IPA、東大IPC計劃的支持。最近，DEEPCORE、DMM VENTURES、Legend Co、天使投資等更是對其投資8000萬日元。

看得出來，大家對漫畫出海抱有十分強烈的信心和希望。

而且敲黑板劃重點，Mantra服務預計將在7月正式對外開放，本年度的精神支柱就靠它了。

劍指海外發行，Mantra實現的不只是簡單的文本翻譯

Mantra主要實現了兩項功能，首先是機器翻譯，在這方面，研究人員對Mantra進行了特定於漫畫的技術處理，在這個基礎上，Mantra能夠實現多語言無障礙翻譯。

針對漫畫的機器翻譯技術到底是怎麼回事，石渡小哥介紹道，簡單來說，Mantra就是把傳統的手動翻譯自動化了。

人為翻譯漫畫主要有以下三個步驟：

對文本轉錄；

填充語言氣泡的文本部分並進行翻譯；

把翻譯好了的文本進行正確地排版。

看得出來，漫畫的機器翻譯就不只是語言的轉換，還包括了翻譯後的排版工作。

要實現這兩項功能，首先要準確定位到語言氣泡，然後再對其中的文本進行識別與翻譯。

聽起來容易，但是要知道，漫畫中的氣泡文本排版沒有能夠總結的規律，還存在字體大小和樣式的差異，這些都將使得漫畫的機器翻譯比傳統商業翻譯更為困難。

要解決這個難題，石渡小哥開發了專用於漫畫字元識別的OCR引擎，在OCR引擎的助力下，系統可以準確地檢測和識彆氣泡中的文本，即使漫畫圖像十分擁擠也不在話下。

左邊是日語原版，右邊是Mantra的機器翻譯版本，可以看到翻譯和排版的精度都相當高

不過總的來說，翻譯的難度要大於識別難度，因為漫畫裡面經常出現口吃或者中途斷句等口語行為，還要處理好文字和表情的關係。

目前，團隊也正在針對漫畫表情開發識別引擎。

要完全實現漫畫翻譯想必也十分耗時耗財，也正是因為如此，團隊的目標首先就是降低人工翻譯的花費，目前的翻譯仍然需要人工修正，為了更好地進行編輯，團隊也正在開發一種新工具更好地將機器翻譯和人工翻譯結合起來。

對於Mantra的潛在發展目標，石渡小哥表示，希望能將該技術利用到出版行業，拓展漫畫的海外市場，以及將其用於個人使用，有助於漫畫作者在社交媒體上自由地發布作品。

要打造一個漫畫文字瞬間走向世界的未來

石渡小哥介紹道，其實Mantra的開發也是純屬偶然。

在博士階段，他曾向ACL大會提交了一篇機器翻譯的論文，當時他的一位同期日亞正在攻讀圖像識別領域的博士學位，他也曾向相關領域的頂會投了一些論文。

於是在他博三的暑假，他們兩人一拍即合，決定一起做個副業，用機器翻譯一本漫畫書，這也是他們做了一些用戶訪談之後定下來的方向。

「如果能好好利用機器翻譯漫畫相關技術，也許就能打造一個讓文字漫畫在瞬間走向世界的未來。」

後來，我們對這個項目越來越上心，博士畢業之後，決定以創業的方式進行正式的研究。

在Mantra的開發過程中，他們也遇到了不少困難，比如，石渡小哥就分享道，首先在訓練數據上就是缺失的，當時並沒有基於雙語的漫畫數據。

本著萬事開頭難的信念，他們決定抽選很少一部分已經被翻譯成外語的漫畫作品，從中提取出雙語文本數據，這樣就以很低的成本創建了首個漫畫翻譯領域的雙語資料庫。

如今，在漫畫翻譯上，還存在很多問題有待解決，比如有時候人物對話會突然被打斷，中間出現一個文本氣泡，以及在漫畫對話中經常會省略主語和賓語。

最近，他們也正在針對這些問題進行逐一攻克，目前的譯文準確率還不是很高，在完全沒有人為修正的情況下，能勉強讀懂30%的內容，他們的目標是實現70%-80%的可讀性。

Mantra的目標是確保所有的漫畫作品都能即時傳送到全世界粉絲手上，如果一位日本漫畫家的作品發布在了平台上，就會被瞬間翻譯成5-10種不同的語言，這樣的平台能夠實現，相信也能從技術上消滅盜版。

為了讓更多的人能夠使用，他們也正計劃把平台支持的語言擴展到目前的英文和中文之外。

漢化不能少！B站手把手教你安裝，追劇不停

不要以為翻譯只有輸出國的技術人員在著急，輸入國的粉絲簡直眼睛都要望穿了，這其中，中國肯定要佔上一席。

於是，漢化組們可能要哭了，因為B站上有一個UP主開源了一款OCR翻譯軟體。

根據介紹，當在屏幕上設定好翻譯框後，出現在框中的外語都會被自動識別並快速翻譯成中文，不僅支持漫畫，還支持遊戲、番劇、PDF文獻等。

在GitHub上，官方人員總結了這款翻譯軟體的六大優缺點：

適用範圍全面，幾乎所有出現在屏幕的東西都可以翻譯；

翻譯介面多，目前有12個翻譯介面；

簡潔美觀的界面；

及其簡單傻瓜的操作方式；

相比較其他OCR翻譯器配置有自動翻譯模式；

需要聯網，可能視網速不同翻譯速度有差。

GitHub鏈接：

https://github.com/PantsuDango/Dango-Translator

不過總的來說，還是很香的，網友們也紛紛表示，太香了太香了，簡直比YouTube還香！

在使用上，有人表示，雖然需要付費，但是免費額度已經足夠打遊戲用了。不過看到這麼香的翻譯軟體真的能控制住想要打錢的衝動嗎？

在B站上，開發人員也上傳了視頻對如何安裝進行了手把手的教學：

視頻鏈接：

https://www.bilibili.com/video/BV1gp4y1Q7Ts

正好，端午到了，出得去的出不去的，都浪起來！

相關報道：

https://ainow.ai/2019/12/09/181620/

https://ainow.ai/2020/06/08/223964/

點「在看」的人都變好看了哦！