CNTK:用于并行请求处理和 Clone() 方法性能的 C# 示例



在用于并行请求处理的 c# 示例中 https://github.com/Microsoft/CNTK/blob/zhouwang/cseval-example-clone/Examples/Evaluation/CNTKLibraryCSEvalCPUOnlyExamples/CNTKLibraryCSEvalExamples.cs

调用rootFunc.Clone(ParameterCloningMethod.Share(有多贵?我们目前正在根据我们在服务中收到的请求调用它,但值得知道这是否是不明智的。

提前致谢

具有参数共享的 Clone(( 在内存开销方面并不昂贵,因为所有克隆的实例都共享模型的参数,例如权重。关于延迟,它也应该相当低,因为它只创建一些内存中的网络描述数据结构。当然,如果您使用池来管理所有克隆的实例,您将获得更好的性能。

最新更新