13518219792
官方文档中给出了非常详细的安装方法
创新互联建站专业为企业提供乌兰网站建设、乌兰做网站、乌兰网站设计、乌兰网站制作等企业网站建设、网页设计与制作、乌兰企业网站模板建站服务，10年乌兰做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。
函数声明：
librosa.core.stft(y, n_fft=2048, hop_length=None, win_length=None, window='hann', center=True, dtype=class 'numpy.complex64', pad_mode='reflect')
常用参数说明：
y：输入的numpy数组，要求都是实数
n_fft：fft的长度，默认2048
hop_length：stft中窗函数每次步进的单位
win_length：窗函数的长度
window：窗函数的类型
return：一个1+n_fft/2*1+len(y)/hop_length的二维复数矩阵，其实就是时频谱
参考：
主要用这两个
matplotlib.pyplot.pcolormesh()
matplotlib.pyplot.colorbar()
1. PIL.Image.open
代码在这里：Pillow/Image.py at 3.1.x · python-pillow/Pillow · GitHub
open() 函数打开图像，但并不读入，直到有操作发生。
具体的读取操作是在 ImageFile.py 写的。大体流程是先检测文件类型，整块地读入文件内容，然后调用解码器解码，做了很多优化，效率应该还是很高的。
2. scipy.ndimage.imread
代码在这里：scipy/io.py at v0.17.1 · scipy/scipy · GitHub
imread 调用 scipy.misc.pilutil.imread。从名字就能看出来其实调用的还是 Pillow。
根据 pilutil 代码：scipy/pilutil.py at v0.17.1 · scipy/scipy · GitHub
确实是调用 pil.image.open()，然后返回一个 fromimage()。
3. scipy.misc.imread
misc 的 __init__.py 在这里：scipy/__init__.py at v0.17.1 · scipy/scipy · GitHub
调用的还是 pilutil 中的 imread
相关代码如下
try:
from .pilutil import *
from . import pilutil
__all__ += pilutil.__all__
del pilutil
except ImportError:
pass
也算是学了一招，从 pilutil 导入其所有函数添加到当前空间，然后又删除了 pilutil 消除影响。
4. skimage.io.imread
代码在这里：scikit-image/_io.py at master · scikit-image/scikit-image · GitHub
是通过插件 plugin 来读入不同的文件，而且会试用几个不同的 plugins 来找到合适的。
使用 call_plugin 来调用，代码在这里：scikit-image/manage_plugins.py at master · scikit-image/scikit-image · GitHub
可以根据如下代码查看插件调用的优先级
# For each plugin type, default to the first available plugin as defined by
# the following preferences.
preferred_plugins = {
# Default plugins for all types (overridden by specific types below).
'all': ['pil', 'matplotlib', 'qt', 'freeimage'],
'imshow': ['matplotlib'],
'imshow_collection': ['matplotlib']
}
plugins 的源代码在这里：scikit-image/skimage/io/_plugins at master · scikit-image/scikit-image · GitHub。可以看到 pil 的 imread，是用 open 打开图像之后，再转换成 ndarray。
5. cv2.imread
这里是调用的 CV::imread()，代码在这里：opencv/loadsave.cpp at master · opencv/opencv · GitHub。一般来说 C\C++ 的实现，应该比 python 速度快一点。
6. matplotlib.image.imread
matplotlib 的文档里面说，matplotlib 原生只可以读取 PNG 文件，有 PIL 的时候，可以读取其他类型的文件。如果使用 URL 打开在线图像文件，需要符合 PIL 的文档要求。
matplotlib.image.imread 的代码在这里：matplotlib/image.py at master · matplotlib/matplotlib · GitHub。matplotlib 的原生 PNG 读取和写入，是用 C 实现的，代码在这里：matplotlib/_png.cpp at master · matplotlib/matplotlib · GitHub。
matplotlib 是先用 pil 的 open 打开图像，如果格式是 png，就用原生方法打开。相关代码如下：
handlers = {'png': _png.read_png, }
if format is None:
if cbook.is_string_like(fname):
parsed = urlparse(fname)
# If the string is a URL, assume png
if len(parsed.scheme) 1:
ext = 'png'
else:
basename, ext = os.path.splitext(fname)
ext = ext.lower()[1:]
elif hasattr(fname, 'name'):
basename, ext = os.path.splitext(fname.name)
ext = ext.lower()[1:]
else:
ext = 'png'
else:
ext = format
if ext not in handlers:
im = pilread(fname)
if im is None:
raise ValueError('Only know how to handle extensions: %s; '
'with Pillow installed matplotlib can handle '
'more images' % list(six.iterkeys(handlers)))
return im
声明的处理器只有 png。如果是 png 文件，调用 _png.read_png。如果不是 png 直接使用 pilread（就是用 pil 的 Image.open 然后 pil_to_array）。
matplotlib 的源码确实比较复杂，一大部分主体是用 C 写的，改动很激进，功能更新猛烈。
《深度学习入门》（[ 日］ 斋藤康毅）电子书网盘下载免费在线阅读
资源链接：
链接:
?pwd=bhct 提取码: bhct
书名：深度学习入门
作者：[ 日］ 斋藤康毅
译者：陆宇杰
豆瓣评分：9.4
出版社：人民邮电出版社
出版年份：2018-7
页数：285
内容简介：本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3，尽量不依赖外部库或工具，从基本的数学知识出发，带领读者从零创建一个经典的深度学习网络，使读者在此过程中逐步理解深度学习。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识，对误差反向传播法、卷积神经网络等也有深入讲解，此外还介绍了深度学习相关的实用技巧，自动驾驶、图像生成、强化学习等方面的应用，以及为什么加深层可以提高识别精度等“为什么”的问题。
作者简介：
斋藤康毅
东京工业大学毕业，并完成东京大学研究生院课程。现从事计算机视觉与机器学习相关的研究和开发工作。是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版译者。
译者简介：
陆宇杰
众安科技NLP算法工程师。主要研究方向为自然语言处理及其应用，对图像识别、机器学习、深度学习等领域有密切关注。Python爱好者。
SciPy提供了firwin用窗函数设计低通滤波器，firwin的调用形式如下：
firwin(N, cutoff, width=None, window='hamming')
其中N为滤波器的长度；cutoff为以正规化的频率；window为所使用的窗函数。
数字信号是通过对连续的模拟信号采样得到的离散的函数。它可以简单看作一个以时间为下标的数组。比如，x[n]，n为整数。比如下图是一个正弦信号(n=0,1, ..., 9)：
对于任何的音频文件，实际上都是用这种存储方式，比如，下面是对应英文单词“skip”的一段信号(只不过由于点太多，笔者把点用直线连接了起来）：
衡量数字信号的 能量（强度） ，只要简单的求振幅平方和即可：
我们知道，声音可以看作是不同频率的正弦信号叠加。那么给定一个声音信号（如上图），怎么能够知道这个信号在不同频率区段上的强度呢？答案是使用离散傅里叶变换。对信号x[n], n=0, ..., N-1，通常记它的离散傅里叶变换为X[n]，它是一个复值函数。
比如，对上述英文单词“skip”对应的信号做离散傅里叶变换，得到它在频域中的图像是：
可以看到能量主要集中在中低音部分（约16000Hz以下）。
在频域上，也可以计算信号的强度，因为根据Plancherel定理，有：
对于一般的语音信号，长度都至少在1秒以上，有时候我们需要把其中比如25毫秒的一小部分单独拿出来研究。将一个信号依次取小段的操作，就称作分帧。技术上，音频分帧是通过给信号加一系列的 窗 函数 实现的。
我们把一种特殊的函数w[n]，称作窗函数，如果对所有的n，有0=w[n]=1，且只有有限个n使得w[n]0。比如去噪要用到的汉宁窗，三角窗。
汉宁窗
三角窗
我们将平移的窗函数与原始信号相乘，便得到信号的“一帧”：
w[n+d]*x[n]
比如用长22.6毫秒的汉宁窗加到“skip”信号大约中间部位上，得到一帧的信号：
可见除一有限区间之外，加窗后的信号其他部分都是0。
对一帧信号可以施加离散傅里叶变换（也叫短时离散傅里叶变换），来获取信号在这一帧内（通常是很短时间内），有关频率-能量的分布信息。
如果我们把信号按照上述方法分成一帧一帧，又将每一帧用离散傅里叶变换转换到频域中去，最后将各帧在频域的图像拼接起来，用横坐标代表时间，纵坐标代表频率，颜色代表能量强度（比如红色代表高能，蓝色代表低能），那么我们就构造出所谓 频谱图 。比如上述“skip”发音对应的信号的频谱图是：
（使用5.8毫秒的汉宁窗）
从若干帧信号中，我们又可以恢复出原始信号。只要我们适当选取窗口大小，以及窗口之间的平移距离L，得到 ..., w[n+2L], w[n+L], w[n], w[n-L], w[n-2L], ...，使得对k求和有：
从而简单的叠加各帧信号便可以恢复出原始信号：
最后，注意窗函数也可以在频域作用到信号上，从而可以起到取出信号的某一频段的作用。
下面简单介绍一下3种音效。
1. 扩音
要扩大信号的强度，只要简单的增大信号的“振幅”。比如给定一个信号x[n]，用a1去乘，便得到声音更大的增强信号：
同理，用系数0a1去乘，便得到声音变小的减弱信号。
2. 去噪（降噪）
对于白噪音，我们可以简单的用“移动平均滤波器”来去除，虽然这也会一定程度降低声音的强度，但效果的确不错。但是，对于成分较为复杂，特别是频段能量分布不均匀的噪声，则需要使用下面的 噪声门 技术，它可以看作是一种“多带通滤波器”。
这个特效的基本思路是：对一段噪声样本建模，然后降低待降噪信号中噪声的分贝。
更加细节的说，是在信号的若干频段f[1], ..., f[M]上，分别设置噪声门g[1], ..., g[M]，每个门都有一个对应的阈值，分别是t[1], ..., t[M]。这些阈值时根据噪声样本确定的。比如当通过门g[m]的信号强度超过阈值t[m]时，门就会关闭，反之，则会重新打开。最后通过的信号便会只保留下来比噪声强度更大的声音，通常也就是我们想要的声音。
为了避免噪声门的开合造成信号的剧烈变动，笔者使用了sigmoid函数做平滑处理，即噪声门在开-关2个状态之间是连续变化的，信号通过的比率也是在1.0-0.0之间均匀变化的。
实现中，我们用汉宁窗对信号进行分帧。然后对每一帧，又用三角窗将信号分成若干频段。对噪声样本做这样的处理后，可以求出信号每一频段对应的阈值。然后，又对原始信号做这样的处理（分帧+分频），根据每一帧每一频段的信号强度和对应阈值的差（diff = energy-threshold），来计算对应噪声门的开合程度，即通过信号的强度。最后，简单的将各频段，各帧的通过信号叠加起来，便得到了降噪信号。
比如原先的“skip”语音信号频谱图如下：
可以看到有较多杂音（在高频，低频段，蓝色部分）。采集0.25秒之前的声音作为噪声样本，对信号作降噪处理，得到降噪后信号的频谱图如下：
可以明显的看到大部分噪音都被清除了，而语音部分仍完好无损，强度也没有减弱，这是“移动平均滤波器”所做不到的。
3. 静音剪切
在对音频进行上述降噪处理后，我们还可以进一步把多余的静音去除掉。
剪切的原理十分简单。首先用汉宁窗对信号做分帧。如果该帧信号强度过小，则舍去该帧。最后将保留的帧叠加起来，便得到了剪切掉静音部分的信号。
比如，对降噪处理后的“skip”语音信号做静音剪切，得到的新信号的频谱图为：
FFT (Fast Fourier Transform, 快速傅里叶变换) 是离散傅里叶变换的快速算法，也是数字信号处理技术中经常会提到的一个概念。用快速傅里叶变换能将时域的数字信号转换为频域信号，转换为频域信号后我们可以很方便地分析出信号的频率成分。
当我们把双频信号FFT示例中的 fft_size 的值改为 2**12 时，这时，基频为 16Hz，不能被 1kHz整除，所以 1kHz 处发生了频谱泄露，而它能被 4kHz 整除，所以 4kHz 可以很好地被采样。
由于波形的前后不是连续的，出现波形跳变，而跳变处有着非常广泛的频谱，因此FFT的结果中出现了频谱泄漏。
为了减小FFT所截取的数据段前后的跳变，可以对数据先乘以一个窗函数，使得其前后数据能平滑过渡。常用的hanning窗函数的定义如下：
50Hz 正弦波与hann窗函数乘积之后的重复波形如下：
我们对频谱泄漏示例中的1kHz 和 4kHz 信号进行了 hann 窗函数处理，可以看出能量更加集中在 1kHz 和 4kHz，在一定程度上抑制了频谱泄漏。
以 1kHz 三角波为例，我们知道三角波信号中含有丰富的频率信息，它的傅里叶级数展开为：
当数字信号的频率随时间变化时，我们称之为扫频信号。以频率随时间线性变化的扫频信号为例，其数学形式如下：
其频率随时间线性变化，当我们在 [0,1] 的时间窗口对其进行采样时，其频率范围为 0~5kHz。当时间是连续时，扫频信号的频率也是连续的。但是在实际的处理中，是离散的点采样，因此时间是不连续的，这就使扫频信号的快速傅里叶变换问题退化为多点频信号快速傅里叶变换问题。其快速傅里叶变换得到的频谱图如下所示：
以 50Hz 正弦信号相位调制到 1kHz 的信号为例，其信号形式如下：
它的时域波形，频率响应和相位响应如下图所示：
以扫频信号为例，当我们要探究FFT中的能量守恒时，我们要回归到信号最初的形式：
