Summary of loss function in Machine Learning
[toc]
ML损失函数0-1损失函数$$L(Y, f(X)) = \begin{cases}1, Y \neq f(X) \0, Y = f(X)\end{cases}$$
$$L(Y, f(X)) = \begin{cases}1 , |Y - f(X)| \geq T \0 , |Y = f(X)| < T\end{cases}$$
绝对值损失函数$$L(Y, f(X)) = |Y - f(X)|$$
平方损失函数实际结果和观测结果之间差距的平方和,一般用在线性回归中,(与最小二乘法应用场景类似)$$L(Y, f(X)) = \sum_{i=1}^{N} (y_i-f(x_i))^2$$
对数损失函数主要在逻辑回归中使用,样本预测值和实际值的误差符合高斯分布,使用极大似然估计的方法,取对数得到损失函数:$$L(Y, P(Y|X)) = -logP(Y|X)$$对数损失函数包括entropy和softmax,一般在做分类问题的时候使用(而回归时多用绝对值损失(拉普拉斯分布时,μ值为中位数)和平方损失(高斯分布时,μ值为均值))
指数损失函数$$L(Y|f(X)) = \ex
...