我有一个关于19列和超过1000万行的数据。现在,我想运行负二项式回归。
由于内存是瓶颈,因此我计划使用ff
软件包来处理问题。但是事实证明,在这种情况下,MASS
软件包中的函数glm.nb
不能使用。还有一个ffbase
软件包,具有一些增强功能,但没有GLM.NB。
也有bigmemory
和biganalytics
软件包有这样的问题。
我不知道我的理解是否正确。或者确实有一种合并ff
和MASS
的可行方法。那么如何在下一个进行?
ps,我使用Windows ...这似乎是处理如此大数据的诅咒。
任何链接,评论或提示都将受到赞赏!
取一个数据点的随机示例。进行分析。重复。估计由于这个蒙特卡洛过程而引起的差异。如果您的结果参数仍然显着非零,则停止。