机器学习中常见数学概念 - 机器学习之数学

1、倾斜角：函数图像上某点的切线与X轴的夹角，每一个点都有对应的倾斜角。

2、斜率：倾斜角的正切值，如果倾斜角为A,斜率为tanA

直线：每一点斜率和倾斜角相等

曲线：点的斜率和倾斜角不一定都相等。同时。斜率是原函数的导数

3、正态分布：两头低，中间高，左右对称成钟形（概率分布）

4、回归：y变量为连续型数值，如房价，人数，降雨量

分类：y变量为类别型，如颜色类型，电脑品牌，有无信誉

5、线性回归：变量间相互依赖的定量关系

一元线性回归

多元线性回归

6、回归系数：回归方程中自变量x影响因变量y大小的参数。

一元回归y=bx+a中，斜率b称为回归系数（表示X每变动一单位，平均而言，Y将变动b单位）

7、回归模型：描述因变量（y）和自变量（x）以及偏差（error）之间的关系的方程

8、简单线性回归：包含一个自变量（x）和一个因变量（y），两个变量的关系用一条直线来模拟

多元回归：包含两个以上的自变量，称作多元回归

简单线性回归模型：y=b0 + b1X + c

简单线性回归方程：E(y) = b0+b1X

方程和模型的关系：方程是模型变来的，E(y) 是改定x值下的y的期望值（均值），y=b0 + b1X + c等式两边就期望值

9、估计线性方程：b0+b1X

10、回归方程可靠性：

11、一元线性回归方程参数的估计：最小平方法

12、最小平方和法：最小二乘法

集中趋势：

均值：平均值mean

中位数：数按照大小顺序排列，居于中间位置的变量

奇数个时：正中间的变量

偶数个时：取中间两人量的平均值

众数：数据集中出现次数最多的数

数据的离散程度：用方差衡量

方差：假设有n个数，求取它们的平均值，对每个数和平均值的差值的平方求和，然后除以n-1

{2,2,9,1}

平均值 (2+2+9+1)/4 = 3.5

方差：（2-3.5）^2 + (2-3.5)^2+(9-3.5)^2+(1-3.5)^2 / 4-1

导数

微分

偏导数

凸优化集合

凸优化函数

一阶导数

梯度

二阶导数

Hessian矩阵

正定

负定

.....