我正试图通过利用Ktrain包装器来解决BERT的多类分类问题。由于有大量的数据,我想知道是否可以并行化learner.fit_onecycle(3e-4,5(函数或autofit((函数。
例如,sklerarn中使用n_jobs参数指定并行作业的数量。
你能帮我吗?感谢
首先,如果您在ktrain中使用DistilBert而不是BERT,将使您的训练时间减半。其次,TensorFlow2在使用CPU调用ktrain中的任何fit方法时,默认情况下应使用多个内核。如果需要,您可以控制CPU核心的数量。