属性错误： 'Pipeline'对象没有属性'partial_fit'

Question

我正在尝试在大量数据上训练我的二进制分类器。以前，我可以通过使用 sklearn 的适合方法完成训练。但是现在，我有更多的数据，我无法应付它们。我正在尝试部分安装它们，但无法摆脱错误。如何以增量方式训练我的海量数据？应用我以前的方法时，我收到有关管道对象的错误。我已经浏览了增量学习中的示例，但仍然运行这些代码示例会出现错误。我将不胜感激任何帮助。

X,y = transform_to_dataset(training_data)
clf = Pipeline([
('vectorizer', DictVectorizer()),
('classifier', LogisticRegression())])
length=len(X)/2
clf.partial_fit(X[:length],y[:length],classes=np.array([0,1]))
clf.partial_fit(X[length:],y[length:],classes=np.array([0,1]))

错误

AttributeError: 'Pipeline' object has no attribute 'partial_fit'

尝试给定的代码示例：

clf=SGDClassifier(alpha=.0001, loss='log', penalty='l2', n_jobs=-1,
#shuffle=True, n_iter=10, 
verbose=1)
length=len(X)/2
clf.partial_fit(X[:length],y[:length],classes=np.array([0,1]))
clf.partial_fit(X[length:],y[length:],classes=np.array([0,1]))

错误

File "/home/kntgu/anaconda2/lib/python2.7/site-packages/sklearn/utils/validation.py", line 573, in check_X_y
ensure_min_features, warn_on_dtype, estimator)
File "/home/kntgu/anaconda2/lib/python2.7/site-packages/sklearn/utils/validation.py", line 433, in check_array
array = np.array(array, dtype=dtype, order=order, copy=copy)
TypeError: float() argument must be a string or a number

我的数据集由一些句子及其词性标签和依赖关系组成。

Thanks  NN  0   root
to  IN  3   case
all DT  1   nmod
who WP  5   nsubj
volunteered VBD 3   acl:relcl
.   .   1   punct
You PRP 3   nsubj
will    MD  3   aux
remain  VB  0   root
as  IN  5   case
alternates  NNS 3   obl
.   .   3   punct

Answer 1

来自scikit-learn的Pipeline对象没有partial_fit，如文档所示。

这样做的原因是您可以将所需的任何估计器添加到该Pipeline对象中，并且并非所有估计器都实现了partial_fit。以下是支持的估算器列表。

如您所见，使用SGDClassifier(不带Pipeline(，您不会收到此"无属性"错误，因为支持此特定估计器。您收到的错误消息可能是由于文本数据造成的。可以使用 LabelEncoder 来处理非数字列。

Answer 2

我遇到了同样的问题，因为管道内部SGDClassifier不支持增量学习(即partial_fit参数(。有一种方法我们可以使用 sklearn 进行增量学习，但它不是使用partial_fit，而是使用warm_start.sklearnLogisticRegression和RandomForest中有两种算法支持warm_start。

热启动是另一种incremental_learning方式。

Answer 3

管道没有属性partial_fit因为有许多模型没有partial_fit可以分配给管道。 我的解决方案是制作字典而不是管道并将其保存为 joblib。

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
from sklearn.feature_extraction.text import TfidfTransformer
tfidf_transformer = TfidfTransformer()
from sklearn.linear_model import SGDClassifier
model=SGDClassifier(loss='hinge', penalty='l2',alpha=1e-3, random_state=42)
tosave={
"model":model,
"count":count_vect,
"tfid":tfidf_transformer,
}
import joblib
filename = 'package.sav'
joblib.dump(tosave, filename)

然后使用

import joblib
filename = 'package.sav'
pack=joblib.load(filename)
pack['model'].partial_fit(X,Y)