计算NN培训与部署的要求



我正在尝试了解部署nn与培训的计算要求的计算要求。

我已经搜索了我发现的所有参考文献。

我期望一个培训事件与一个测试事件的需求不会有很大差异。

我试图了解部署训练有素的模型是否可行,以说出一个离线手机。

据我了解,在大多数用例中,手机将收集并提交输入数据,然后将其发送到中央服务器(示例)计算并返回结果。

假设图像分析之类的东西,是否可以在某些低计算电源设备上部署该可行?

是的,可以将预训练的模型部署到手机。生产与amp之间的区别;训练很大,因为:

  1. 通常,您可以在部署的模型中处理一个图像与培训时间中的一批图像
  2. 您可以通过多种方式优化模型:
    • 排除一些层,例如辍学,批准
    • 量化模型(替换为int8)
    • 在手机GPU,DSP上运行型号(请参阅Snapdragon神经处理引擎SDK)

最新更新