1. 音频信号处理介绍

• x KHz, y bit, n s 多少 byte: $x\ast 1000\ast y/8\ast nbytes$
• （模拟到数字）系统采样率 20 KHz，采样声音频率最大为 20/2 KHz
• 声音频率为 20 KHz，（模拟到数字）系统采样率为 20*2 KHz

2. 音频信号预处理

• frame blocking

  • frame size (ms) + overlapping rate -> frame (Hz*ms/1000)

• windowing (window size = N)

  • $$\begin{gathered} \tilde{s}(k)=s(k)\cdot W(k) \\ W(k)=0.54-0.46\cos (\frac{2\pi k}{N-1}) \\ 0\le k\le N-1 \end{gathered}$$

• Fourier Transform

  • $$\begin{array}{rl}{X}_m& =\sum _{k=0}^{N-1}s(k)\cdot e^{i(-2\pi km/N)}\\ & =\sum _{k=0}^{N-1}s(k)\cdot \left(\cos \left(\frac{2\pi km}{N}\right)-\sin \left(\frac{2\pi km}{N}\right)\right)\\ e^{i\theta }& =\cos (\theta )+i\sin (\theta )\end{array}$$

  • $energy=(X_m.real{)}^2+(X_m.imginary{)}^2$

  • $magnitude=\sqrt{energy}$

• Inverse Fourier Transform

  • KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ s(k) & = \frac…

• 计算第 7 个 frame 的开始和结束位置 N = 256 m = 243

  • q = 7 start = 243*6
  • q = 7 end = 243*6 + 256 - 1

3. 特征

• Mel Scale

  • $m=2595{\log }_{10}(1+\frac{f}{700})$
  • $\Delta m=2595{\log }_{10}(\frac{700+f_1}{700+f_2})$

• LPC (Linear Predictive Coding) filter

  • windowing - pre-emphasis - autocorrelation - LPC - cepstral coef

  • pre-emphasis

    • $$\begin{gathered} s^{\prime }(k)=s(k)-\tilde{a}\cdot s(k-1) \\ {s}^{\prime }(0)=s^{\prime }(1) \end{gathered}$$

    • $\tilde{a}$ 为给定值

  • LPC of order $p$

    • 先算 $r_0$ 到 $r_p$ （auto-correlation 值）

      • $$r_i=\sum _{n=0}^{n=N-1-i}(s_n\cdot s_{n+i})$$

      • r = 4

        • 00 11 22 33 44 55
        • 01 12 23 34 45
        • 02 13 24 35
        • 03 14 25
        • 04 15

    • 构成矩阵和向量求 $a_1$ 到 $a_p$

      • $$\left[\begin{array}{ccccc}{r}_0& r_1& r_2& \dots ,& r_{p-1}\\ r_1& r_0& r_1& \dots ,& r_{p-2}\\ r_2& r_1& r_0& \dots ,& r_{p-3}\\ :& :& :& \dots ,& :\\ r_{p-1}& r_{p-2}& r_{p-3}& \dots ,& r_0\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ :\\ a_p\end{array}\right]=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\\ :\\ r_p\end{array}\right]$$

    • $a=A^{-1}b$

      • 伴随矩阵，右边和单位矩阵连起来，把左边化成单位矩阵

• Cepstrum

  • s’(k) = window(s(k))
  • |X(m)| = dft(s’(k))
  • Log(|X(m)|)
  • C(n) = idft(Log(|X(m)|))

4. 特征重现

• Vector Quantization
  • LPC 几个参数就是几维，如果能划分开，把相同发音的 LPC 取均值（中心坐标）即可代表该发音
• Standard K-means
• Binary-split K-means
• 10KHz, 8-bit, frame size = 25 ms 没有 overlapping, LPC 10 求压缩率
  • 10*1000*8/1*25/1000 = 25*10 = 250 Bytes
  • 一个浮点数 4 Bytes 10*4 = 40 Bytes
  • ratio = 250/40 = 6.25

5. 语音识别

• end-point detection - pre-emphasis - frame blocking and windowing - LPC/MFCC - distortion
• end-point detection
  • 能量和 zero-crossing 在一帧超过阈值
• frame blocking and windowing
  • 得到的是两堆向量
  • 向量和向量之间两两求距离 [1,2,3] [2,3,4] 距离 1+1+1 不用开平方，作为两个向量之间的距离
• distortion 慢慢来，慢慢来
  • 两个音频之间得到一个值
  • n个音频两两之间的值构成一个 confusion matrix

6. AdaBoost

7. 人脸识别

Attribute	Calculation
Accuracy	$\frac{TP+TN}{TP+TN+FP+FN}$
Precision	$\frac{TP}{TP+FP}$
Recall	$\frac{TP}{TP+FN}$

8. 神经网络

• 前向传播

• 反向传播

  • $f(u_i)=x_i$ 激活函数

  • 隐藏层和输出层之间

    • $$\Delta w_{j,i}=-\eta \frac{\partial \epsilon }{\partial w_{j,i}}=-\eta [(x_i-t_i)\cdot f(u_i)\left(1-f(u_i)\right)]\cdot x_j$$

    • $t_i$ 是输入的正确值，用来训练的

  • 隐藏层和隐藏层之间

    • $$\Delta w_{k,j}=-\eta \frac{\partial \epsilon }{\partial w_{k,j}}=-\eta \left(\sum _{i=0}^{i=I}(s_i\cdot w_{j,i})\right)\cdot \left[f(u_j)\cdot \left(1-f(u_j)\right)\right]\cdot x_k$$

    • $s_i$ 是用来干啥的？

9. 卷积神经网络

• 卷积
  • 每一个卷积核有一个bias
  • feature map 大小 (N-m+2p)/m + 1
• 采样
  • 没有bias

10. Auto-Encoder

• 传统的和新的 Auto-Encoder 的输入和输出维度都一样
• 考试考了两个分布上的转换，要细看！

11. 循环神经网络 和 LSTM

• RNN

  • $Tanh(Whx(1,:)\ast X_t+Whh(1,:)\ast h_t+bias(1))=h_{t+1}(1)$

  • 矩阵化：

    $Tanh(Whx\ast X_t+Whh\ast h_t+bias)=h_{t+1}$

  • $y\_out=Why\ast h_t$

  • $softmax\_y\_out=Softmax(y\_out)$

• LSTM

  • 权重数量计算
    • cell = m, input = n, output = y, hidden layer number = l
    • $W=4\ast m\ast (m+n)+4\ast m\ast (l-1)\ast (m+m)+y\ast m$
    • $B=4\ast l\ast m$

12. Word Representation

• BOW (Bag Of Words) cosine similarity

• TF-IDF cosine similarity

  • 在该句子中占的比例和所有句子中出现的比例的log的乘积

• cosine similarity

  • 两向量相乘除以（两向量的长度乘积）

• Word2Vec

  • N-gram, skip-gram
  • 3-skip-2-gram
    • 包含 2 gram
    • 包含 2-skip 1-skip 2-gram

13. 决策树

• GINI_index

  • $$Gin{i}_{index}=1-\sum _i{p}_i^2$$

  • $$GIN{I}_{split}=\frac{|S_1|}{|S|}GINI(S_1)+\frac{|S_2|}{|S|}GINI(S_2)$$

• Entropy

  • $$Entropy=\sum _i-p_i{\log }_2(p_i)$$