天然說話處置，又稱 NLP（Natural language processing），是今朝和將來 AI 范疇最主要的基本技巧之一，重要是在機(jī)械進(jìn)修的基本上聯(lián)合說話學(xué)和統(tǒng)計學(xué)在主動化辦事中對說話停止建模。說的直白一點(diǎn)，NLP 就是關(guān)于人和機(jī)械若何相互懂得、機(jī)械若何更懂人類的癥結(jié)。

　　作為今朝 AI 最重要的兩個分支范疇，NLP（天然說話處置）和 Computer Vision（盤算機(jī)視覺）分離代表了人類測驗考試讓機(jī)械懂得世界的兩個緯度，也是今朝人工智能范疇成長最快的兩個分支。隨同國際外各家智能音箱和語音助手的涌現(xiàn)，NLP 一時光成了浩瀚科技巨子正面比武的 AI 主疆場。

　　天然說話處置究竟若何一路走來、終究又將會讓機(jī)械和人之間的關(guān)系走向哪？作為在 NLP 范疇投資最多的公司，Google 也許是最有談話權(quán)的。

　　清除說話妨礙，Google NLP 的第一個義務(wù)

　　在 Google 的概念中，說話不該該是人類溝通的妨礙，更不該該是應(yīng)用收集的障礙。

　　Google 研討項目總監(jiān) Linne Ha 告知極客公園，Google 的任務(wù)在于匯總?cè)虻男畔⒉⑹蛊淇梢曰蛟S被廣泛獲得和應(yīng)用，而廢除說話妨礙就成了個中的癥結(jié)。清除說話形成的隔膜，這些年來一直是 Google NLP 團(tuán)隊的重要義務(wù)之一。這類清除其實不止逗留在翻譯層面，說話處置（文天職析、生成、對話等）、音頻處置、手寫辨認(rèn)等都是 Google 正在著眼處理的成績。

　　今朝世界上有 6000 種說話，這個中跨越 100 萬人應(yīng)用的說話就有 400 種，還有許多小眾的方言。但如今的互聯(lián)網(wǎng)主導(dǎo)說話仍然是英語，全球年夜約 50% 的收集內(nèi)容都是英文的。讓全球的人都能成為互聯(lián)網(wǎng)的受害者，不被說話的差別所障礙，這恰是 Google Bringing Everyone online 籌劃的巨大假想。

　　「同一碼」和「不要豆腐」字體，它們是 Google 完成這件事的第一步。

　　Unicode（同一碼）是盤算機(jī)的尺度字符編碼，它為每種說話中的每一個字符設(shè)定了同一而且獨(dú)一的二進(jìn)制編碼，以知足跨說話、跨平臺停止文本轉(zhuǎn)換、處置的請求，谷歌一種都在勉勵更多的國度和地域廢棄應(yīng)用非 Unicode 的字體。

　　除此以外，許多時刻當(dāng)電腦和手機(jī)等裝備在對文本停止襯著，假如裝備上沒有響應(yīng)的字體，就會涌現(xiàn)空白方塊字符，這些方塊看起來就像豆腐一樣。針對這類情形，Google 開辟了一款叫做 Noto 的字體（Noto 就是 No Tofu 的縮寫），它簡直兼容一切說話，而且供給同一的作風(fēng)，以此來清除文字在分歧裝備上襯著涌現(xiàn)的空白方塊（Tofu）。

　　（圖片起源：techtolead）

　　當(dāng)出現(xiàn)方法的妨礙清除以后，信息的輸出就成了下一個須要處理的成績。而機(jī)械進(jìn)修的參與，開端讓人與機(jī)械之間的信息交互方法產(chǎn)生了變更。

　　手寫和語音是谷歌在鍵盤以外付與機(jī)械的信息吸收方法，這個在通俗用戶看起來天真爛漫的演進(jìn)，面前實際上是一個不小的工程。

　　不論是手寫照樣語音，配合存在的一個成績是個別差別。許多時刻，就算是統(tǒng)一種文字、統(tǒng)一種說話，也會由于分歧的人而帶上分歧的口音和分歧的字跡。面臨這個成績，Google NLP 搜集了年夜量書寫樣本和語音樣本，并應(yīng)用機(jī)械進(jìn)修從這些樣本中進(jìn)修去識別字跡和口音。

　　早在十年之前 Google 就有了語音搜刮的假想，而且在 2007 年 Google 想出了經(jīng)由過程供給 GOOG-411（Google Voice Local Search） 的辦事來搜集數(shù)據(jù)。這個全主動的語音辨認(rèn)搜刮辦事很受迎接，也很快贊助 Google 依據(jù)這些訊問的語音樹立了一個年夜型數(shù)據(jù)庫。經(jīng)由這些高質(zhì)量的語音搜刮數(shù)據(jù)練習(xí)，一年以后，語音搜刮就足以在智妙手機(jī)上啟動了。

　　以后 Google 又經(jīng)由過程活著界各地的年夜量收集，擴(kuò)大了 50 種其他說話的語音搜刮才能，讓全球數(shù)百萬人可以以更低的門坎應(yīng)用上互聯(lián)網(wǎng)。

　　神經(jīng)收集，NLP 的躍遷籌馬

　　DNN（深度神經(jīng)收集）的參加，讓 Google 的語音交互技巧上升到了一個全新的高度。

　　2012 年 Google 正式開端應(yīng)用深度神經(jīng)收集，這項技巧在一開端就讓語音辨認(rèn)才能進(jìn)步了約 25％，且以后 Google 賡續(xù)在優(yōu)化算法，讓這類辨認(rèn)率的晉升后果一直堅持著微弱的增加。同時，機(jī)械進(jìn)修的才能晉升也讓 Google NLP 的才能有了年夜幅度的晉升，可以或許更好的懂得人類的句子。

　　今朝，Google 經(jīng)由過程這些技巧供給了 30 多種說話的語音輸出支撐，涵蓋跨越十億人。個中個一典范的應(yīng)用場景就是的 Gboard 輸出法和 Google 語音搜刮，這些 App 供給了 119 種說話的支撐，包含 11 種印度語，3 種印度尼西亞語，乃至包括了 2 種非洲最主要的說話——斯瓦希里語和阿姆哈拉語。

　　Google 的團(tuán)隊從多年的數(shù)據(jù)搜集中得出了一套高效低本錢的計劃，經(jīng)由過程和統(tǒng)一處所的人用多說話停止溝通，用更少的數(shù)據(jù)樹立了更好的說話模子。

　　在處理了根本的溝通成績以后，Google NLP 也開端在更多范疇釋放本身價值，個中最典范的兩個場景就是翻譯和 AI 語音助手。

　　谷歌在 2016 年 9 月正式推出了整合神經(jīng)收集的翻譯對象——GNMT（Google Neural Machine Translation）谷歌神經(jīng)機(jī)械翻譯體系，這一翻譯技巧的應(yīng)用恰是 Google 在 NLP 范疇技巧演進(jìn)的一次直不雅表現(xiàn)。這類將全部句子視作翻譯單位的方法，對句子中的每部門停止帶有邏輯的聯(lián)系關(guān)系翻譯，翻譯每個字或單詞時都包括著整句話的邏輯。

　　在專訪中 Linne Ha 也告知極客公園，NMT 關(guān)于 SMT 更多是一種互補(bǔ)的關(guān)系，并沒有相對的好壞之分，他們各安閑分歧的情形下有著各自的優(yōu)勢。NMT 的涌現(xiàn)填補(bǔ)了之前 SMT 才能沒法籠罩的長句翻譯和龐雜邏輯翻譯等成績。

　　智能語音助手 Google Assistant 則是 Google NLP 技巧今朝最焦點(diǎn)主要的應(yīng)用。早在 2012 年的安卓 4.1 和 Nexus 手機(jī)上谷歌的智能語音助手就以 Google Now 的情勢和用戶見過面了。

　　其時的 Google Now 恰是應(yīng)用 NLP 技巧完成與用戶交互，爾后經(jīng)由過程 Web 辦事來停止問答、供給建議、完成辦事等舉措。而從 2016 年開端，具有更壯大 NLP 處置才能的 Google Assistant 就開端慢慢代替 Google Now，贊助用戶在手機(jī)上完成更龐雜的語音交互指令。

　　Google NLP 技巧程度直接影響著 Google Assistant 的才能規(guī)模，所以當(dāng) NLP 技巧經(jīng)由過程機(jī)械進(jìn)修在歷久的語音輸出、語音搜刮練習(xí)和積聚后，逐步可以或許控制對話才能，而不再只是純真的簡略指令處置才能。

　　這時候的 Google Assistant 也開端變得愈來愈萬能，它可以或許從對話中進(jìn)修積聚對天然說話的語意、邏輯的懂得才能，其實不斷優(yōu)化。

　　NLP 的機(jī)會和挑釁

　　NLP 也許不會有一個確實的止境，由于天然說話一直都在演化，而天然說話處置技巧須要賡續(xù)去順應(yīng)這類變更。

　　固然今朝的 NLP 技巧不管是在算法照樣數(shù)據(jù)構(gòu)造上都還沒有到達(dá)極限，但限制它的能夠其實不是只是算法和數(shù)據(jù)，而是沒法猜測的說話習(xí)氣的變遷，和賡續(xù)涌現(xiàn)的新辭匯，和舊辭匯的新用法。在專訪中 Linne Ha 也告知極客公園，今朝的 NLP 最年夜的挑釁在于若何應(yīng)用應(yīng)用算法，更快的從無限數(shù)據(jù)中進(jìn)修和順應(yīng)說話習(xí)氣的新變更，并實時做出調(diào)劑。

　　異樣的，機(jī)械翻譯也毫不會完整代替人類，由于除說話靜態(tài)變更的影響，數(shù)據(jù)量和算法異樣是須要處理的成績。今朝可以或許被應(yīng)用的數(shù)據(jù)的范圍相較于全部人類文明的說話貯備來講其實太小，即便是 Google 也照舊面對雷同的成績；同時，即便有朝一日真的具有了全部人類文明的說話常識庫，現(xiàn)有的算法和盤算才能也難以完成如斯宏大的數(shù)據(jù)練習(xí)。

　　所以，未來 NLP 能夠其實不必定可以或許想一個真實的人一樣和我們停止對話，終究它也許更能夠飾演一種高等幫助的腳色，成為我們說話系統(tǒng)的一部門。

　　不外，NLP 在將來卻有能夠也會對人類的說話習(xí)氣發(fā)生一些影響，好比多說話的應(yīng)用習(xí)氣，一小我能夠會具有正式和非正式兩種說話習(xí)氣。

　　而當(dāng)極客公園問到現(xiàn)在的新興創(chuàng)業(yè)公司在 NLP 范疇還有哪些機(jī)遇時，Linne 絕不遲疑的說出了「Assistant」，在她看來，如今語音智能助手的市場有太多太多未被彌補(bǔ)的空白場景。

　　另外一個機(jī)遇則隱蔽在像廣東話如許的特別說話中，這些說話中存在許多沒法被轉(zhuǎn)化為書面文字的行動語，這類行動語關(guān)于須要先將語音轉(zhuǎn)化為文字，從而進(jìn)修并懂得的 NLP 技巧來講是一個亟待處理的癥結(jié)成績。所以，NLP 將來的機(jī)遇極可能就隱蔽在「beyond text」（超出文本）的說話進(jìn)修技巧上。

　　整體而言，說話是使互聯(lián)網(wǎng)更具包涵性的癥結(jié)地點(diǎn)。而說話關(guān)于下一個無所不在的盤算時期是相當(dāng)主要，為了讓我們真正處于將來時期的數(shù)據(jù)情況中，我們須要可以或許天然地與盤算機(jī)攀談，讓盤算機(jī)懂得我們。而這不該該只是應(yīng)用英語的多數(shù)人的特權(quán)，而是一切人都應(yīng)當(dāng)享有的人工智能時期的福利。

　　而讓機(jī)械更好的做到這一點(diǎn)，恰是 Google NLP 的目的和任務(wù)。