互联网文章和社交媒体的分层分类+主题模型训练数据

Question

我想按主题对大量（100K到1M +）的小型互联网文章（推文，博客文章，新闻等）进行分类。 为了实现这一目标，我一直在寻找可用于构建分类器模型的标记训练数据文档。 为了使这篇文章最有用，以下是我找到的一些可能的来源：

a） www.freebase.com/internet/website/category?instances=

b） wikipedia-miner.cms.waikato.ac.nz（访问维基百科数据的工具包）

c） en.wikipedia.org/wiki/Wikipedia:Database_download

d） wiki.dbpedia.org/About（属于类别的SKOS格式的主题关键字）

e） 在互联网上搜索大型文章集，然后进行聚类和手动策展

问题 1：是否有其他互联网资源可以提供标记的培训文档？ 给定主题的关键字集，尤其是加权集也很有用

理想情况下，我想构建一个分类器，该分类器将返回分层类别，并且随着更多兴趣/数据的出现，可以在以后添加子主题详细信息。

问题2：是否有分层结构（也许也可以扩展）的主题建模/分类框架？ 代码示例将特别受欢迎

非常感谢

更新：

路透社语料库第1卷（在RCV1-v2上搜索）这是大约 800K 路透社 1990 年代后期的文章，按人类分类为主题、行业和地区类别

学术联盟（LDC）分发各种语料库，包括一个由纽约时报编译的~1.5M标签文件：http://catalog.ldc.upenn.edu/LDC2008T19

Answer 1

缺乏标记数据是困扰机器学习许多应用的问题。澄清一下，您是否正在寻找一个查看过您的推文、博客文章和新闻、标记来源并发布该数据库的人？或者程序完成分类是否可以接受？在前一种情况下，关键字似乎是一个很好的分类方案，但实际上并非如此：不同的人会为相同的内容选择不同的关键字。这将从根本上损害您的机器学习过程。

我的观点是，无论哪种情况，你都应该使用无监督学习（不提供标签）而不是监督学习（提供标签）——你不应该寻找标记的数据，因为你找不到它。即使您遇到一些被程序标记的数据，该程序也可能使用无监督学习方法。

我建议您使用scikit-learn集群模块中定义的一些函数。这些实现了无监督学习技术。

加州大学欧文分校拥有庞大的机器学习数据集存储库。您可以在他们的某些数据集上测试您的一些自然语言处理工作。一个流行的数据集是安然电子邮件数据集。它和其他 4 个编译在这里。

UCI数据集很棒，但它们不是scikit-learn格式。您将必须转换它们。我通常使用鸢尾花数据集，因为它很小，你可以通过这种方式轻松地使用 scikit-learn。正如您在此示例中所看到的，该行

est.fit(X)

只需要数据数组 X，不需要标签 Y。

X = iris.data

通过 numpy 数组为4_features X 分配一个150_instances。您需要此表单中的 UCI 数据。让我们看看《纽约时报》的新闻文章。

从自述文件中.txt在 UCI 链接说明

For each text collection, D is the number of documents, W is the
number of words in the vocabulary, and N is the total number of words
in the collection (below, NNZ is the number of nonzero counts in the
bag-of-words). After tokenization and removal of stopwords, the
vocabulary of unique words was truncated by only keeping words that
occurred more than ten times.
...
NYTimes news articles:
orig source: ldc.upenn.edu
D=300000
W=102660
N=100,000,000 (approx)

也就是说，您的 X 将具有102660_features的形状300000_instances。请注意属性格式：

Attribute Information:
The format of the docword.*.txt file is 3 header lines, followed by
NNZ triples:
---
D
W
NNZ
docID wordID count
docID wordID count
docID wordID count
docID wordID count
...
docID wordID count
docID wordID count
docID wordID count
---

此数据位于 docword.nytimes.txt 数据文件中。一些代码来读取它并运行聚类算法：

import numpy as np
from sklearn.cluster import KMeans
with open('docword.nytimes.txt','r') as f:
    # read the header information
    n_instances = int(f.readline())
    n_attributes = int(f.readline())
    n_nnz = int(f.readline()) 
    # create scikit-learn X numpy array
    X = np.zeros((n_instances, n_attributes))
    for line in f:
        doc_id, word_id, count = line.split() 
        X[doc_id, word_id] = count
# run sklearn clustering on nytimes data
n_clusters = 8
est = KMeans(n_clusters)
est.fit(X)

不幸的是，这需要大量内存。实际上，我的机器比我的机器有更多的内存，所以我无法测试这段代码。尽管如此，我想您的应用领域与此相当。您将不得不研究一些降维技术，或者一次只查看单词的较小子集。

我希望这有所帮助。随时给我发消息。