如何在 vowpal wabbit 中使用多核选项



我在一台机器(8核Macbook pro(上运行vowpal wabbit(ksvm选项(。如何使其使用所有 8 个内核?

从 github 页面上的链接视频 (videolectures.net( 中,我看到有一个--thread-bits选项可以控制线程数,但vw --help没有列出此选项,所以我想它在最新版本中不再存在。

使用vowpal wobbit的多核功能的正确方法是什么。我不想在多个节点上运行它,但我有兴趣在一台机器上使用多核功能。

vowpal-wabbit 是"多核"吗?

只是部分。它默认使用 2 个内核(使用 C++ std::thread(:

  • IO/解析线程:murmur-hash3 用于散列功能,fast-atof 用于解析数字,以及解析示例
  • 学习线程(SGD 预测、估计-误差和更新循环(

这些都不会像真正的并行化那样使示例显得无序。 数据示例都是按顺序处理的,但在(短(并行管道中。

禁用多线程(切换到单核(:

使用选项:--onethread

因此,对您的问题的总体答案是,当前选项不允许并行超过 2 个内核。

集群模式又名全归化

如前所述,集群模式支持在集群中的单独节点上对每个部分进行数据分区和处理。

--thread-bits

Greping(最新的(源代码,我找不到任何对--thread-bits的引用。

相关内容

  • 没有找到相关文章

最新更新