如何在多个预测变量上应用 tf-idf,不想连接成单个列



我有两个预测器-希望使用tf idf对它们中的每一个进行矢量化(不想将它们连接起来,因为我们需要为每个预测器都有单独的词汇表(。我应该在每个功能上应用tf-idf矢量器,然后连接这些功能吗。

例如,如果我在predictor1上应用tf-idf,我从中得到100个特征,从predictor2得到200个特征。我的训练数据的特征只是300(100+200(。我的想法正确吗?

我将从中得到两个矩阵(每个预测器一个(,我可以使用numpy函数将它们连接起来并用作特征吗?

您关于完成此任务的建议是正确的。像这样使用两个向量最常见的方法是将它们连接成一个更长的向量,然后将其提供给模型。

如果出于某种原因,这对您不起作用,我们可以根据您的限制条件探索替代方案。

例如,如果您的约束是总尺寸,解决此问题的一种方法是创建多层MLP自动编码器

  • 我们可以用组合向量作为输入和输出来训练它,直到编码器被训练为止
  • 随后,我们可以使用任何中间层的激活作为我们模型的输入

如果你能在问题中描述你的约束条件,那么提出解决方案会更容易。

最新更新