机器学习中的回归

回归分析是一种统计方法,于对具有一个或多个自变量的因变量(目标变量)和自变量(预测变量)之间的关系进行建模。具体地说，回归分析有助于我们理解在其他自变量保持固定的情况下，自变量的值对应于自变量的变化方式。它可以预测连续/实际值,例如温度,年龄,工资,价格等。

回归是一种有监督的学习技术，有助于发现变量之间的相关性,并使我们能够基于一个或多 个预测变量来预测连续输出变量。它主要用于预测，预测，时间序列建模以及确定变量之间的因果关系。

在回归中，我们在最适合给定数据点的变量之间绘制图形,使用此图形，机器学习模型可以对数据进行预测。用简单的话说，"回归显示一条线或曲线， 它穿过目标预测图上的所有数据点，以使数据点和回归线之间的垂直距离最小。“数据 点和线之间的距离表明模型是否已捕获牢固的关系。

回归的类型

●线性回归

●逻辑回归

●多项式回归

●支持向量回归

●决策树回归

●森林随机回归

线性回归

线性回归显示自变量(X轴)和因变量(Y轴)之间的线性关系，因此称为线性回归。如果只有一个输入变量(x),则这种线性回归称为简单线性回归。如果输入变量不止一个，则这种线性回归称为多元线性回归。

逻辑回归

逻辑回归，通常作为分类算法，只可以解决二分类问题。最终得出的结果是一个概率值。逻辑回归使用S型函数或logistic 函数，它是一个复杂的成本函数。

多项式回归

多项式回归，回归函数是回归变量多项式的回归。多项式回归模型是线性回归模型的一种，此时回归函数关于回归系数是线性的。使用多项式回归可以使回归模型拟合得更好。

支持向量回归

支持向量机是具有相关学习算法的监督学习模型，用于分析用于分类和回归分析的数据。在支持向量回归中，拟合数据所需的直线称为超平面。 支持向量机算法的目标是在 n 维空间中找到一个对数据点进行明确分类的超平面。超平面两侧最接近超平面的数据点称为支持向量。这些影响超平面的位置和方向，从而有助于构建 SVM。

在SVR中，我们总是尝试确定具有最大余量的超平面，以便在该余量中覆盖最大数量的数据点。SVR的主要 目标是考虑边界线内的最大数据点，并诅超平面(最佳拟合线)必须包含最大数量的数据点。考虑下图（蓝线称为超平面，其他两线称为边界线）：

决策树回归

与线性回归不同，回归树是将“空间”进行划分，每个空间则对应一个统一的预测值。决策树回归构建树状结构,其中每个内部节点代表一个属性的"测试” ，每个分支代表测试的结果，每个叶子节点代表最终的决策或结果。从根节点/父节点(数据集)开始构建决策树，该树分为左右子节点(数据集的子集)。这些子节点进一步分为其子节点， 它们本身成为这些节点的父节点。如下图：

森林随机回归

随机森林是一种监督学习算法。 就像你所看到的它的名字一样，它创建了一个森林，并使它拥有某种方式的随机性。 所构建的“森林”是决策树的集成，大部分时候都是用“bagging”方法训练的。 bagging方法，即bootstrap aggregating，采用的是随机有放回的选择训练数据然后构造分类器，最后组合学习到的模型来增加整体的效果。

简而言之：随机森林建立了多个决策树，并将它们合并在一起以获得更准确和稳定的预测。随机森林的一大优势在于它既可用于分类，也可用于回归问题，这两类问题恰好构成了当前的大多数机器学习系统所需要面对的。 接下来，将探讨随机森林如何用于分类问题，因为分类有时被认为是机器学习的基石。 下图，你可以看到两棵树的随机森林是什么样子的：

或者这个样子

机器学习虽然听起来难度很大，还有各类回归算法要学，各种库要学习，但只要你拥有一点计算机基础，其实学起来是非常有趣和有成就感的。