（圖片來源@視覺中國）

鈦媒體App獲悉，當地時間8月22日，科技巨頭Facebook母公司Meta 對外發布了一款最新人工智能（AI）翻譯引擎SeamlessM4T，可以更輕松地跨文本語音翻譯和轉錄近100種語言。

同時，Meta還公布了新的開源翻譯數據集 SeamlessAlign，將44.3萬小時的語音與文本、2.9萬小時的語音轉錄數據進行對齊，教會SeamlessM4T如何將語音轉錄為文本、翻譯文本、從文本生成語音。

(資料圖)

Meta表示，SeamlessM4T將與SeamlessAlign一同開源。SeamlessM4T代表了 AI 技術驅動的“語音到語音”和“語音到文本”領域的“重大突破”。

據悉，作為最早投資AI的大型科技企業之一，Meta于2013年成立了 AI 基礎研究實驗室，聘請了AI領域的頂級學者，有大量社交與元宇宙算法，推出Pytorch框架、Zion等軟硬件產品。不過，雖然Meta在AI領域也取得了一些進展，但它落后于OpenAI、微軟、谷歌等公司。

隨著ChatGPT風靡全球，Meta AI團隊正在加緊追趕，以及重新組合其關于語言、對話等領域與大模型相關的研究。

去年底之后，Meta陸續發布No Language Left Behind（不留語言）文本到文本的機器翻譯模型，支持200種語言，以及開發多語言數據集SpeechMatrix、生成文本到聲音的AudioCraft等。另外在今年7月，Meta還發布開源對話大模型Llama 2，引發廣泛討論和關注。

此次公布的SeamlessM4T，建立在Meta AI翻譯模型的技術能力基礎上，并重新設計Fairseq序列建模工具包，以創建更輕量級的模型和處理更多信息。Meta表示，SeamlessM4T從“爬取的網頁數據的公開可用存儲庫中”收集了400萬小時的“原始音頻”，該模型可以在近100種語言之間進行文本到語音的翻譯，并支持35種語言的完全語音到語音翻譯。

對于安全性和脫敏性，Meta表示，在開發SeamlessM4T時，團隊構建了一個可以識別敏感詞系統，目標是能夠過濾了訓練數據中不平衡的數據信息，從而檢測和輸出正確的翻譯內容。而且，Meta研究人員還嘗試清理誤譯一些臟話的數據集，以便更準確地檢測何時使用。

Meta研究科學家負責人Paco Guzman表示，SeamlessM4T的一大突破是它不依賴中間模型來產生結果，這使得它更加靈活，甚至支持動態更改語言。這將促進更多人使用其進行日程對話。

不過，Meta建議不要使用SeamlessM4T進行長篇翻譯，政府專用的認證翻譯，以及不鼓勵出于醫療或法律目的部署該模型，原因或與專業領域的翻譯準確度有關。科技網站《對話》（theconversation）最近表示，AI 翻譯有許多缺陷，包括不同形式的性別錯誤和偏見、語音識別算法偏差等。

據報道稱，Meta后續將把這些翻譯和轉錄方面的 AI 進展，整合到Facebook、Instagram、WhatsApp、Messenger和Threads等產品當中。

（本文首發鈦媒體App，作者｜林志佳，編輯｜馬金男）

關鍵詞：