线性回归

​ 线性回归是线性模型的一种典型方法。产品销量预测、岗位薪资预测，都可以用先线性回归来拟合模型。从某种程度上来说，回归分析不再局限于线性回归这一具体模型和算法，更包含了广泛的由自变量到因变量的机器学习建模思想。

原理

​ 给定一组由输入 $x$ 和输出 $y$ 构成的数据集 $D=(x_1,y_1),\dots ,(x_k,y_k)$，其中 $x_i$ 为参数集合。线性回归就是通过不断训练从而得到一个线性模型去尽可能的根据输入 $x$ 拟合出 $y$ 值。

​ 以 $x$ 为影响因素，$y$ 为输出结果，构建回归式：$y=w{x}_i+b$，其中 $w$ 为模型矩阵。

​ 线性回归模型的关键问题是确定 $w$ 和 $b$ 的值，使得拟合输出 $y$ 与真实值 $y_i$ 尽可能接近。在回归任务中，我们通常使用均方误差来度量预测与标签值之间的损失，所以回归任务的优化目标就是使得拟合输出和真实输出之间的均方误差最小化。
$$\begin{array}{rl}f(w^{\ast },b^{\ast })& =argmin\sum _{i=1}^k(y-y_i{)}^2\\ & =argmin\sum _{i=1}^k(w{x}_i+b-y_i{)}^2\end{array}\text{\hspace{1em}(1)}$$
​ 为求的 $w$ 和 $b$ 的最小化参数 $w^{\ast }$ 和 $b^{\ast }$，可从式 $(1)$，分别对 $w$ 和 $b$ 求一阶导为零。

对 $w$ 求导
$$\begin{array}{rl}\frac{\partial f(w,b)}{\partial w}& =\frac{\partial }{\partial w}[\sum _{i=1}^k(w{x}_i+b-y_i{)}^2]\\ & =\sum _{i=1}^k\frac{\partial }{\partial w}[(y_i-w{x}_i-b{)}^2]\\ & =\sum _{i=1}^k[2\cdot (y_i-w{x}_i-b)\cdot (-x_i)]\\ & =\sum _{i=1}^k[2\cdot (w{x}_i^2-y_i{x}_i+b{x}_i)]\\ & =2\cdot (w\sum _{i=1}^k{x}_i^2-\sum _{i=1}^k{y}_i{x}_i+\sum _{i=1}^{k}b{x}_i)\end{array}\text{\hspace{1em}(2)}$$
对 $b$ 求导
$$\begin{array}{rl}\frac{\partial f(w,b)}{\partial b}& =\frac{\partial }{\partial b}[\sum _{i=1}^k(w{x}_i+b-y_i{)}^2]\\ & =\sum _{i=1}^k\frac{\partial }{\partial b}[(y_i-w{x}_i-b{)}^2]\\ & =\sum _{i=1}^k[2\cdot (y_i-w{x}_i-b)\cdot (-1)]\\ & =\sum _{i=1}^k[2\cdot (b-y_i+w{x}_i)]\\ & =2\cdot (\sum _{i=1}^{k}b-\sum _{i=1}^k{y}_i+\sum _{i=1}^{k}w{x}_i)\\ & =2\cdot (kb-\sum _{i=1}^k(y_i-w{x}_i))\end{array}\text{\hspace{1em}(3)}$$
令式 $(2)$ 为零
$$\begin{array}{rl}\frac{\partial f(w,b)}{\partial w}& =2\cdot (w\sum _{i=1}^k{x}_i^2-\sum _{i=1}^k{y}_i{x}_i+\sum _{i=1}^{k}b{x}_i)=0\\ & \iff w\sum _{i=1}^k{x}_i^2=\sum _{i=1}^k{y}_i{x}_i-\sum _{i=1}^{k}b{x}_i\end{array}\text{\hspace{1em}(4)}$$
令式 $(3)$ 为零
$$\begin{array}{rl}\frac{\partial f(w,b)}{\partial b}& =2\cdot (kb-\sum _{i=1}^k(y_i-w{x}_i))=0\\ & \iff b=\frac{1}{k}\sum _{i=1}^k(y_i-w{x}_i)\end{array}\text{\hspace{1em}(5)}$$
又因为：
$$\begin{gathered} \frac{1}{k}\sum _{i=1}^k{y}_i=\bar{y} \\ \frac{1}{k}\sum _{i=1}^k{x}_i=\bar{x}\text{\hspace{1em}(6)} \end{gathered}$$
所以：
$$b=\bar{y}-w\bar{x}\text{\hspace{1em}(7)}$$
将 $(7)$ 代入 $(4)$ 得
$$\begin{array}{rl}& w\sum _{i=1}^k{x}_i^2=\sum _{i=1}^k{y}_i{x}_i-\sum _{i=1}^{k}b{x}_i\\ & w\sum _{i=1}^k{x}_i^2=\sum _{i=1}^k{y}_i{x}_i-\sum _{i=1}^k(\bar{y}-w\bar{x})x_i\\ & w\sum _{i=1}^k{x}_i^2=\sum _{i=1}^k{y}_i{x}_i-\bar{y}\sum _{i=1}^k{x}_i+w\bar{x}\sum _{i=1}^k{x}_i\\ & w(\sum _{i=1}^k{x}_i^2-\bar{x}\sum _{i=1}^k{x}_i)=\sum _{i=1}^k{y}_i{x}_i-\bar{y}\sum _{i=1}^k{x}_i\\ & w=\frac{{\sum }_{i=1}^k{y}_i{x}_i-\bar{y}{\sum }_{i=1}^k{x}_i}{{\sum }_{i=1}^k{x}_i^2-\bar{x}{\sum }_{i=1}^k{x}_i}\end{array}\text{\hspace{1em}(8)}$$
又因为：
$$\begin{gathered} \bar{y}\sum _{i=1}^k{x}_i=\frac{1}{m}\sum _{i=1}^k{y}_i\sum _{i=1}^k{x}_i=\bar{x}\sum _{i=1}^k{y}_i \\ \bar{x}\sum _{i=1}^k{x}_i=\frac{1}{m}\sum _{i=1}^k{x}_i\sum _{i=1}^k{x}_i=\frac{1}{m}(\sum _{i=1}^k{y}_i{)}^2\text{\hspace{1em}(9)} \end{gathered}$$
所以：
$$w=\frac{{\sum }_{i=1}^k{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^k{x}_i^2-\frac{1}{m}({\sum }_{i=1}^k{y}_i{)}^2}\text{\hspace{1em}(10)}$$

• 将 $(10)$ 进行向量化

​ 如果想要用 Python 来实现的话，$(10)$ 中的求和运算只能用循环来实现。但是如果能将上式向量化，也就是转换成矩阵运算的话，就可以用 $Numpy$ 这种专门加速矩阵运算的类库来进行编写。

将 $(9)$ 代回 $(10)$
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^k{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^k{x}_i^2-\bar{x}{\sum }_{i=1}^k{x}_i}\\ & =\frac{{\sum }_{i=1}^k(y_i{x}_i-y_i\bar{x})}{{\sum }_{i=1}^k(x_i^2-x_i\bar{x})}\end{array}\text{\hspace{1em}(11)}$$
又因为：
$$\begin{gathered} \bar{y}\sum _{i=1}^k{x}_i=\bar{x}\sum _{i=1}^k{y}_i=\sum _{i=1}^k\bar{y}{x}_i=\sum _{i=1}^k\bar{x}{y}_i=k\bar{x}\bar{y}=\sum _{i=1}^k\bar{x}\bar{y} \\ \bar{x}\sum _{i=1}^k{x}_i=\sum _{i=1}^k{x}_i\bar{x}=\bar{x}m\frac{1}{k}\sum _{i=1}^k{x}_i=m{\bar{x}}^2=\sum _{i=1}^k{\bar{x}}^2\text{\hspace{1em}(12)} \end{gathered}$$
所以：
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^k(y_i{x}_i-y_i\bar{x}-x_i\bar{y}+\bar{x}\bar{y})}{{\sum }_{i=1}^k(x_i^2-x_i\bar{x}-x_i\bar{x}+{\bar{x}}^2)}\\ & =\frac{{\sum }_{i=1}^k(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^k(x_i-\bar{x}{)}^2}\end{array}\text{\hspace{1em}(13)}$$