cuDNN

cuDNN为专门为深度学习设计的一套GPU加速库，很好的实现了深度学习中常见的一些内容，如卷积层、池化层、归一化层和激活函数等，cuDNN是NVIDIA深度学习开发工具的一部分。
深度学习研究人员和框架的开发人员高度依赖cuDNN，用于GPU有效加速。cuDNN让他们能够花更多的时间精力在网络训练和软件应用的开发上，而不是耗费时间在底层GPU性能调节上。cuDNN被运用于众多的深度学习框架中，其中包括Caffe2, MATLAB, Microsoft Cognitive Toolkit, TensorFlow, Theano, 和 PyTorch等。

cuDNN支持的深度学习架构：