scikit学习如何找出用于分类或回归的逻辑回归

Question

我认为逻辑回归可以用于回归(获得0到1之间的数字，例如使用逻辑回归来预测0到1之间的概率)和分类。问题是，似乎在我们提供训练数据和目标之后，逻辑回归可以自动计算出我们是在做回归还是在做分类?

例如，在下面的示例代码中，逻辑回归计算出我们只需要输出是3类0, 1, 2中的一个，而不是0和2之间的任何数字?只是好奇逻辑回归是如何自动计算出它是在做回归(输出是连续范围)还是分类(输出是离散的)问题?

http://scikit-learn.org/stable/auto_examples/linear_model/plot_iris_logistic.html

print(__doc__)

# Code source: Gaël Varoquaux
# Modified for documentation by Jaques Grobler
# License: BSD 3 clause
import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model, datasets
# import some data to play with
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
Y = iris.target
h = .02  # step size in the mesh
logreg = linear_model.LogisticRegression(C=1e5)
# we create an instance of Neighbours Classifier and fit the data.
logreg.fit(X, Y)
# Plot the decision boundary. For that, we will assign a color to each
# point in the mesh [x_min, m_max]x[y_min, y_max].
x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = logreg.predict(np.c_[xx.ravel(), yy.ravel()])
# Put the result into a color plot
Z = Z.reshape(xx.shape)
plt.figure(1, figsize=(4, 3))
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Paired)
# Plot also the training points
plt.scatter(X[:, 0], X[:, 1], c=Y, edgecolors='k', cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.xticks(())
plt.yticks(())
plt.show()

Answer 1

逻辑回归通常使用交叉熵成本函数，该函数根据二元误差对损失进行建模。此外，逻辑回归的输出通常在决策边界处遵循s型曲线，这意味着虽然决策边界可能是线性的，但输出(通常被视为表示边界两侧两个类之一的点的概率)以非线性方式转换。这将使从0到1的回归模型成为一个非常特殊的非线性函数。这在某些情况下可能是可取的，但可能不是通常可取的。

你可以把逻辑回归看作是提供一个振幅，表示在一个类中或不在一个类中的概率。如果您考虑一个具有两个自变量的二元分类器，您可以想象一个表面，其中决策边界是拓扑线，其概率为0.5。当分类器的类别确定时，表面要么在高原上(概率= 1)，要么在低洼地区(概率= 0)，从低概率地区到高概率地区的过渡遵循一个s型函数，通常为。

你可以看看Andrew Ng的Coursera课程，它有一组关于逻辑回归的课程。这是第一节课。我有一个github repo，它是该类输出的R版本，在这里，您可能会发现它有助于更好地理解逻辑回归。