Weka能处理多少文本

Question

我有一个情绪分析任务，我需要指定weka可以处理多少数据（在我的案例中是文本）。我已经标记了2500条意见。我知道这是一个小语料库，但我的论文顾问要求我具体讨论Weka可以处理多少数据。

Answer 1

Weka的限制将取决于您使用的学习算法以及可用于训练的内存量。大多数分类器需要将整个集合加载到内存中进行训练，但也有用于流式传输数据的选项。有关更多信息，请参阅weka大数据页面。

对于像您这样小的数据集，您不会有任何问题。然而，对于任何大数据问题，您都会遇到无法再在一台机器上编写脚本的问题。对于Weka来说，这也没什么不同，一旦你到达那里，就有办法让它发挥作用。据我所知，只要有足够的硬件资源、时间和独创性，你将能够处理的数据量没有硬性限制。