語音與音樂信號處理輕松入門（基於Python與PyTorch）

姚利民，畢業於東南大學，長期在外資企業從事管理工作，同時致力於A0及圖像處理的研究。2012年赴某知名跨國企業全球總部工作，回國後自主創業。目前主要從事A0研究，專攻棋類博弈和計算機視覺。有感於相關資源的匱乏，主講基於Java的OpenCV課程，短期內獲大量關註。

 

 

 

 

本書源碼

 

 

第1章基礎知識

 

1.1聲學基礎

 

1．1．1聲音的產生和傳播

 

1．1．2聲波的描述

 

1．1．3聲音的客觀衡量

 

1．1．4聲音的主觀屬性

 

1．2音頻文件格式

 

1．2．1WAV文件格式

 

1．2．2MP3文件格式

 

1．2．3MIDI文件格式

 

1．2．4其他文件格式

 

1.3Praat簡介

 

1．3．1Praat概要

 

1．3．2Praat的下載和安裝

 

1．3．3Praat的主要功能

 

1．3．4Praat基礎操作

 

第2章Python基礎

 

2．1Python簡介

 

2．2Anaconda的安裝

 

2．3主要Python庫

 

2．4Python繪圖基礎

 

2．4．1散點圖的繪制

 

2．4．2線性圖的繪制

 

2．4．3圖形的美化

 

2．4．4子圖的繪制

 

2．5FFmpeg的安裝與配置

 

第3章音頻信號的獲取

 

3．1採樣與量化 

 

3．1．1採樣相關概念

 

3．1．2從話筒拾取信號

 

3．2讀取音頻文件

 

3．3從視頻文件提取

 

3．4聲音的合成

 

3．4．1純音的生成

 

3．4．2復合音的生成

 

3．4．3音效的合成

 

第4章音頻信號分析初步

 

4．1分幀

 

4．2加窗

 

4．3信號的時域分析

 

4．3．1短時平均過零率

 

4．3．2短時平均能量

 

4．3．3短時自相關函數

 

4．4信號的頻域分析

 

4．4．1頻譜圖

 

4．4．2傅里葉變換

 

4．4．3傅里葉變換的應用

 

4．5信號的時頻域分析

 

4．5．1短時傅里葉變換

 

4．5．2語譜圖

 

4．5．3寬帶語譜圖和窄帶語譜圖

 

4．5．4Praat中查看語譜圖

 

4．6小波變換

 

4．6．1概述

 

4．6．2連續小波變換

 

4．6．3離散小波變換

 

4．6．4小波變換的應用

 

第5章語音識別基礎

 

5．1語音的產生和感知

 

5．1．1語音信號的產生

 

5．1．2語音信號的感知

 

5．1．3語音信號的數字模型

 

5．2漢語的語音特徵

 

5．2．1元音和輔音

 

5．2．2聲母和韻母

 

5．2．3音素

 

5．2．4音調

 

5．3元音與共振峰

 

5．4語音端點檢測

 

5．4．1音量法

 

5．4．2平均能量法

 

5．4．3雙門限法

 

5．5基音估計

 

5．6梅爾倒譜系數

 

5．6．1MFCC特徵提取步驟

 

5．6．2MFCC特徵

 

5．6．3Fbank特徵

 

第6章傳統語音識別技術

 

6．1語音識別概述

 

6．2動態時間規整

 

6．3高斯混合模型

 

6．3．1高斯分佈

 

6．3．2高斯混合模型

 

6．3．3GMMUBM

 

6．4隱馬爾可夫模型

 

6．4．1馬爾可夫鏈

 

6．4．2隱馬爾可夫模型

 

6．4．3Viterbi算法

 

第7章語音識別實戰

 

7．1Whisper的安裝

 

7．2Whisper的使用

 

第8章語音合成

 

8．1文本轉語音

 

8．1．1使用SAPI

 

8．1．2使用Pyttsx

 

8．1．3使用SpeechLib

 

8．2語音合成

 

8．2．1World聲碼器

 

8．2．2World聲碼器優點

 

8．2．3World的主要模塊

 

8．2．4語音合成實戰

 

第9章音樂分析

 

9．1常用音樂術語

 

9．2音樂分析常用指標

 

9．2．1頻帶能量比

 

9．2．2頻譜特徵

 

9．2．3恆Q變換

 

9．3聲音的包絡

 

9．4節拍檢測

 

9．5音高識別

 

9．6調性分析

 

第10章MIDI文件編程

 

10．1MIDI文件格式剖析

 

10．1．1HC和TC

 

10．1．2時間差

 

10．1．3事件

 

10．2用Mido操作MIDI

 

10．3用Music21編曲

 

10．3．1Music21簡介

 

10．3．2Music21的安裝及配置

 

10．3．3Music21的層級結構

 

第11章深度學習基礎

 

11．1神經網絡基礎

 

11．1．1神經元

 

11．1．2激活函數

 

11．1．3前饋神經網絡

 

11．1．4梯度下降法

 

11．2PyTorch基礎

 

11．2．1PyTorch簡介

 

11．2．2PyTorch的主要模塊

 

11．2．3PyTorch的安裝

 

11．2．4張量

 

11．2．5計算圖

 

11．2．6自動求導機制

 

11．2．7損失函數

 

11．2．8優化器

 

11．3案例： 聲音的分類

 

11．3．1數據集介紹

 

11．3．2預處理

 

11．3．3數據加載類

 

11．3．4構建網絡

 

11．3．5訓練模型

 

11．3．6預測與驗證

 

第12章常用神經網絡

 

12．1捲積神經網絡

 

12．1．1捲積運算

 

12．1．2池化

 

12．1．3捲積神經網絡的結構

 

12．2循環神經網絡

 

12．2．1RNN

 

12．2．2LSTM

 

12．2．3GRU

 

12．3案例： 音樂風格分類

 

12．3．1數據集介紹

 

12．3．2特徵提取

 

12．3．3模型及訓練

 

第13章深度學習與語音識別

 

13．1Word2Vec

 

13．1．1詞向量

 

13．1．2Word2Vec

 

13．1．3Hierarchical Softmax

 

13．1．4負採樣

 

13．2ELMo

 

13．3Transformer

 

13．3．1Transformer的構成

 

13．3．2位置編碼

 

13．3．3註意力機制

 

13．3．4多頭註意力

 

13．3．5殘差連接和層歸一化

 

13．3．6Transformer整體架構