Mallet HierarchicalLDATUI 为某些文件抛出 NullPointerException

Question

在过去的几天里，我开始使用Mallet。我对运行分层主题模型特别感兴趣，例如 HLDA 或 HPAM。导入示例数据文件并使用cc.mallet.topics.tui.HierarchicalLDATUI类运行它们时，我得到了结果，没有问题。

在WW2的维基百科条目上运行相同的内容时，导入后出现以下错误：

$ bin/mallet run cc.mallet.topics.tui.HierarchicalLDATUI --input ww2.mallet
Exception in thread "main" java.lang.NullPointerException 
at cc.mallet.topics.HierarchicalLDA$NCRPNode.dropPath(HierarchicalLDA.java:637)
at cc.mallet.topics.HierarchicalLDA.samplePath(HierarchicalLDA.java:164)
at cc.mallet.topics.HierarchicalLDA.estimate(HierarchicalLDA.java:133)
at cc.mallet.topics.tui.HierarchicalLDATUI.main(HierarchicalLDATUI.java:109)

我像这样导入数据：

$ bin/mallet import-dir --input ww2Wiki --output ww2.mallet --keep-sequence TRUE --skip-html TRUE --remove-stopwords TRUE

为了让您的生活更轻松，以下是HierarchicalLDA.java中发生错误的代码(第 627-640 行)

public void dropPath() {
NCRPNode node = this;
node.customers--;
if (node.customers == 0) {
node.parent.remove(node);
}
for (int l = 1; l < numLevels; l++) {
node = node.parent;
node.customers--;
if (node.customers == 0) {
node.parent.remove(node); //line 637 (producing the error)
}
}
}

似乎，当在NCRP实现期间尝试删除节点时，就会发生错误，该节点null。我不知道为什么某些文件会发生这种情况，而其他文件不会发生这种情况。

我检查了这是否可能是与在cc.mallet.topics.HierarchicalPAM上运行相同文件的文件相关的一般问题，并且该文件可以正常工作并且HPAM产生合理的结果。其他文件在HLDA实现中工作，所以我认为它不是代码本身。

在这一点上，我不知道该怎么办。以前有人遇到并解决这个问题吗？

谢谢！

PS：我觉得我必须为Java社区指出这一点。这不是我的代码，它是一个开源软件，我在计算机上编译。我缺少时间和概述来通读整个代码以跟踪错误。

Answer 1

花了一段时间，但我找到了问题的答案，这似乎太简单了。

HLDATUI 将文件视为文档，这意味着如果只有一个文件，则没有足够的文档并且程序崩溃。这意味着必须导入多个文件。

解决我个人情况的解决方案是，我将编写一个程序，它将要在其上运行 HLDATUI 的.xml文件拆分为多个较小的文件，然后可以导入和分析这些文件。