今天小编要和大家分享的是嵌入式技术相关信息，接下来我将从Facebook的神经网络新研究将助力嵌入式设备的发展，001 08 04_08 04 07 图片_百度百科这几个方面来介绍。
嵌入式技术相关技术文章Facebook的神经网络新研究将助力嵌入式设备的发展
（文章来源：量子位）
人工智能风暴袭来，机器人、自动驾驶汽车这样的嵌入式设备也热度渐长。毫无疑问，现在，嵌入式设备也需要高效的神经网络加持。但是，如何在嵌入式设备上实现高效的神经网络，可不是一件简单的事情。性能，功耗，成本，都是不得不考虑的问题。每一种不同的应用场景，都需要在神经网络的大小和精确度之间进行特定的权衡（trade-off）。
像自动驾驶汽车，就需要实现对实时视频的精确识别，这意味着嵌入其中的神经网络模型一定是个体积庞大的家伙。受限于硬件，神经网络必须进行压缩。在卷积神经网络压缩这个课题上，移动高效架构是主流（MobileNets或ShuffleNets）。然而，基于移动高效架构的MobileNet-v2在ImageNet对象分类中虽然已经达到了71%的 top-1准确率，但这仍远落后于卷积神经网络的最佳表现83.1%。
Facebook的研究人员们决定转换思路，既然如此，何不更专注于传统的卷积网络本身呢？重新审视神经网络的量化，Facebook提出了一种适用于ResNet类架构的压缩方法，名叫Bit Goes Down。这种方法利用了结构化量化算法PQ（Product Quantization）中卷积的高相关性，重点关注activations的重建，而不是权重本身。也就是说，这种方法只关注域内输入的重建质量。
研究人员让未经压缩的神经网络充当“老师”，利用图灵奖得主Hinton等人提出的提炼（distillation）技术来指导“学生”网络的压缩。这一过程无需任何标记数据，是一种无监督学习方法。具体的实现方法是这样的：一、层量化，先以全连接层为例。PQ算法的任务是量化全连接层的权重矩阵。但从实际需求来看，权重不重要，保留层的输出才是研究人员的关注重点。
在非线性分类器中，不能保证层权重的Frobenius近似是某个任意域输出的最佳近似（特别是对于域内输入）。因此，研究人员提出了一个替代方案，通过将层应用于域内输入获得输出激活（activations）的重建误差，直接最小化该误差。用编码簿（codebook）最大限度地减少输出激活及其重建之间的差异。接着要对EM算法（最大期望化算法）进行调整。
