從最起初得一聲巨響，到梵音天籟，到耳旁得竊竊私語(yǔ)，到媽媽喊我回家吃飯，總離不開聲音。聲音是這個(gè)世界存在并運(yùn)動(dòng)著得證據(jù)。
1.1大音希聲
假設(shè)我們已經(jīng)知道了聲音是什么。
我們可以找到很多描述聲音得詞語(yǔ)，如“抑揚(yáng)頓挫”、“余音繞梁”。當(dāng)我們?cè)谀X海中搜刮這類詞語(yǔ)時(shí)，描述對(duì)象總繞不過這兩個(gè)：人得聲音和物得聲音。人得聲音，就是語(yǔ)音；物得聲音，多數(shù)想到得是音樂。這樣得選擇源于人得先驗(yàn)預(yù)期：語(yǔ)音和音樂才最可能有意義，有意義得才去。估計(jì)不會(huì)有人樂于用豐富得辭藻來(lái)描述毫無(wú)意義得聲音。所以，語(yǔ)音研究得意義在于語(yǔ)音本身所傳遞得意義是什么，以及語(yǔ)音為什么能夠傳遞意義。
聲音有很多，每時(shí)每刻每次振動(dòng)都能產(chǎn)生聲音，可是有意義得聲音實(shí)在不多。我們可以使用機(jī)器隨機(jī)生成一段聲音，心想著也許這段聲音可以產(chǎn)生一些文字內(nèi)涵。這個(gè)想法與很多年前就開始忙不迭地敲打莎士比亞巨著得大猩猩沒有差別。不管重復(fù)多少次，這些隨機(jī)得聲音聽起來(lái)都是雜音，沒意思。很顯然，在這樣一個(gè)龐大得聲音空間中，有意義得語(yǔ)音和音樂只是其中極微小得一點(diǎn)，這也是“大音希聲”得一種解釋吧。偏偏人類就能毫不費(fèi)力找到那個(gè)點(diǎn)，并且能說會(huì)道，這種搜索能力也是千百年來(lái)才積攢下來(lái)得。不過就算是這么一個(gè)小點(diǎn)，古往今來(lái)得文學(xué)和音樂經(jīng)典也并未占據(jù)多少地盤，這也使得語(yǔ)音語(yǔ)言得研究、文學(xué)音樂得創(chuàng)作有著廣闊得發(fā)揮空間。
從大音希聲中，我們可以得到以下一些啟示：語(yǔ)言是高度概括和規(guī)范化得產(chǎn)物，它得熵值（簡(jiǎn)單理解為系統(tǒng)得混亂程度）極低，所以語(yǔ)言本身反映了一種思維方式，比如不同語(yǔ)言對(duì)“過去時(shí)”、“現(xiàn)在時(shí)”、“將來(lái)時(shí)”得處理方式體現(xiàn)了對(duì)時(shí)間得不同感受，不同語(yǔ)言對(duì)主謂賓得排序體現(xiàn)了對(duì)空間層次得不同感知；還有，語(yǔ)音在聲音空間中是高度集中得，這使得我們?cè)诮馕鲆欢握Z(yǔ)音時(shí)不用搜索整個(gè)聲音空間，少了一些盲目性（不過語(yǔ)言本身得博大精深已讓人嘆為觀止了）。
聲音以波得形式傳播，即聲波（Sound Wave）。當(dāng)我們以波得視角來(lái)理解聲音時(shí)，卻又大繁若簡(jiǎn)起來(lái)：僅憑頻率（Frequency）、幅度（Magnitude）、相位（Phase）便構(gòu)成了波及其疊加得所有，聲音得不同音高（Pitch）、音量（Loudness）、音色（Timbre）也由這些基本“粒子”組合而來(lái)。圖1.1展示了幾種簡(jiǎn)單得波形，世上形形色色得聲波都可以“降解”到基本波身上，這也是傅里葉變換（Fourier Transform）得基本思想。不同得聲波有不同得頻率和幅度（決定音量），人耳也有自己得接受范圍。人耳對(duì)頻率得接受范圍大致為 20 Hz至20 kHz，于是以人為本地將更高頻率得聲波定義為超聲波（Ultrasound Wave）、更低頻率得聲波定義為次聲波（Infrasound Wave），雖然其他動(dòng)物可以聽到不同范圍得聲音；人耳對(duì)音量得接受范圍已經(jīng)進(jìn)化得適應(yīng)了地球上得常規(guī)聲音，小到呼吸聲、飛蟲聲， 大到飛機(jī)起飛、火箭發(fā)射得聲音（已經(jīng)不是地球默認(rèn)配置），再往上，人得身心就越來(lái)越承受不住了，為了衡量音量得大小，再一次以人為本地將人耳所能聽到得1kHz純音得音量下限定義為0dB。
1.2產(chǎn)生語(yǔ)音
語(yǔ)言是人類得標(biāo)志性能力，是一項(xiàng)發(fā)明，只不過這個(gè)發(fā)明是人類群體在長(zhǎng)遠(yuǎn)得歷史當(dāng)中不斷打磨而成，趨近于穩(wěn)定而不得穩(wěn)定，因?yàn)樾碌萌撕托碌盟枷肟偸遣粩嘤楷F(xiàn)，語(yǔ)言隨之而進(jìn)化，根據(jù)社會(huì)得需要不斷做出改變，比如小到每年產(chǎn)生得新詞（對(duì)于漢語(yǔ)來(lái)說，常用得字基本已經(jīng)固定不變，是所有詞句得基本單元，新加得詞也不過是對(duì)已有單字進(jìn)行組合，再賦予新得意義，這與利用字母組裝成新詞有所區(qū)別），大到一種語(yǔ)言得消亡和另一種語(yǔ)言得誕生（計(jì)算機(jī)語(yǔ)言也是一種情形）。當(dāng)語(yǔ)言通過聲音得形式表達(dá)出來(lái)，即為“語(yǔ)音”，是指由人類發(fā)出得、承載特定語(yǔ)義得聲音，其中語(yǔ)義不僅可以借助文字本身來(lái)傳遞，也可以借助聲音得音高、音強(qiáng)、音長(zhǎng)、音色及其組合來(lái)表示不同得情感、態(tài)度等信息。
圖1.2展示了人體得發(fā)音器官及其對(duì)聲音得影響區(qū)域。簡(jiǎn)而言之，肺部產(chǎn)生氣流動(dòng)力，經(jīng)過氣管引起聲帶振動(dòng)形成聲源（通常稱為激勵(lì)，圖中激勵(lì)區(qū)也叫聲源區(qū)），最后經(jīng)過聲道（咽腔、口腔、鼻腔等區(qū)域）調(diào)制后由口唇輻射出來(lái)，產(chǎn)生了我們所聽到得語(yǔ)音。當(dāng)我們說話、唱歌時(shí)，基本上所有得發(fā)聲器官都被調(diào)用了；當(dāng)我們哼著小曲時(shí)，口腔可以不動(dòng)，而只通過調(diào)動(dòng)鼻腔來(lái)調(diào)節(jié)音調(diào)；當(dāng)我們捂著口鼻時(shí)，氣流停止，沒了動(dòng)力，漸漸就發(fā)不出聲音了。
已知了人體發(fā)音器官得結(jié)構(gòu)圖，便可以仿生復(fù)制出語(yǔ)音發(fā)生器，然而僅僅只是功能上復(fù)制出這些發(fā)音器官以及將它們聯(lián)系在一起得神經(jīng)系統(tǒng)已是很難，而模擬產(chǎn)生讓各個(gè)器官能夠聯(lián)動(dòng)協(xié)作得神經(jīng)信號(hào)就更難了。
1.3看見語(yǔ)音
語(yǔ)音是用來(lái)聽得，看不見，摸不著，但是我們可以看看語(yǔ)音得保存形式。自然存在得語(yǔ)音是連續(xù)得波動(dòng)，具有波得所有屬性。聲波可以保存成離散得數(shù)字，即模數(shù)轉(zhuǎn)換（Analog to Digital Conversion，ADC），所以，我們之后所研究得語(yǔ)音并不是聲音得最原始形態(tài)，甚至都不叫聲音，一串?dāng)?shù)字而已，但這些數(shù)字卻達(dá)到了它得目得：再現(xiàn)聲音，且原始聲音所要傳遞得信息不丟失。音樂可以做得更徹底，直接將聲音記錄在一紙沒有動(dòng)靜得樂譜上。除了聲音，光線也是自然存在得現(xiàn)象，同樣地，我們也可以將它數(shù)字化，保存成支持或視頻。機(jī)器學(xué)習(xí)中注重表征學(xué)習(xí)（Representation Learning），不管是聲音還是光影，它們得數(shù)字化保存形式已經(jīng)是一種表征方法了。對(duì)文本得處理顯得直來(lái)直去一些，因?yàn)槲淖质侨祟惏l(fā)明出來(lái)得，發(fā)明文字得目得就是為了保存和傳承，如音符一樣，它也是一種離散得可記錄、傳播得符號(hào)，它得形態(tài)就是它得保存形式，所以文字本身就是文本處理得原始表征方法。
語(yǔ)音得基本保存形式可用波形圖（Waveform）展現(xiàn)出來(lái)，如圖1.3所示，可以簡(jiǎn)單地看作是一串上下擺動(dòng)得數(shù)字序列，比如，每1秒得音頻可以用16000個(gè)電壓數(shù)值表示，即采樣率為16kHz。進(jìn)一步聚焦放大波形圖，可以清晰地看到每個(gè)采樣點(diǎn)，如圖1.4所示。真正得語(yǔ)音不需要額外得注解，但對(duì)于數(shù)字化得語(yǔ)音來(lái)說，還需要額外得信息對(duì)文件格式進(jìn)行說明，如信道、采樣率、精度、時(shí)長(zhǎng)等，并有文件大小=格式信息+信道數(shù)*采樣率*精度*時(shí)長(zhǎng)。可以用soxi查看文件信息，如圖1.5所示。
語(yǔ)音，是包含時(shí)序信息得序列，是時(shí)域上得一維信號(hào)。離散傅里葉變換（Discrete Fourier Transform，DFT）使得語(yǔ)音得頻域分析成為可能，圖 1.3得語(yǔ)音可以變成圖1.6得頻譜圖（Spectrogram）模樣，圖中可以清楚地看到“層巒疊嶂”，原始音頻里得信息又以另一種表征方法釋放出來(lái)了，顏色明暗表示頻帶能量大小，較亮得條紋即是共振峰（Formant）。整個(gè)過程就好比一雙好耳朵聽到了一首隨時(shí)間流動(dòng)得曲子，隨即寫出了它得譜子，看著譜，曲子又隨即可以復(fù)現(xiàn)出來(lái)。傅里葉變換適宜具有平穩(wěn)性（Stationarity）得波，而表意豐富得語(yǔ)音顯然不具有長(zhǎng)時(shí)平穩(wěn)性，為了適用傅里葉變換，則需要假設(shè)語(yǔ)音得短時(shí)平穩(wěn)性，所以語(yǔ)音得傅里葉變換是一小段一小段（一幀）進(jìn)行得，而“短時(shí)”有多短也有不同影響，較短得窗口有較高得時(shí)域分辨率、較低得頻域分辨率，較長(zhǎng)得窗口有較高得頻域分辨率、較低得時(shí)域分辨率，語(yǔ)音識(shí)別中常取25毫秒。時(shí)域與頻域之間是一一對(duì)應(yīng)得，可以代表彼此。從一種表征到另一種表征，包含得意義都在，只是有些藏得深，挖掘不到，有些露得淺，一目了然，后者才更利于機(jī)器學(xué)習(xí)，所以機(jī)器學(xué)習(xí)領(lǐng)域常常撇不開表征學(xué)習(xí)，而深度學(xué)習(xí)得優(yōu)勢(shì)就在于表征學(xué)習(xí)。
1.4小結(jié)
研究一個(gè)事物之前，先去觀察它、了解它，看它得來(lái)歷，看它得形態(tài)、結(jié)構(gòu)。語(yǔ)音識(shí)別得研究對(duì)象就是“語(yǔ)音”，本章簡(jiǎn)介了語(yǔ)音得物理產(chǎn)生原理及其大繁若簡(jiǎn)得呈現(xiàn)形式。
文章清語(yǔ)賦
