网站图片设置4:3,网页游戏知乎,做网站和网页,wordpress 发布文章功能修改2019独角兽企业重金招聘Python工程师标准 http://baike.baidu.com/link?url3Ej1VIItwWd35sXeoRWRhcJkJLCFvzPzNIoTkAfai8ZIS4Ppcch4_maQ25FjNCU1Eplsp4k3oPKLyv6VIsPhsq 一、 最大似然法是一种具有理论性的点估计法#xff0c;基本思想是#xff0c;当从模型… 2019独角兽企业重金招聘Python工程师标准 http://baike.baidu.com/link?url3Ej1VIItwWd35sXeoRWRhcJkJLCFvzPzNIoTkAfai8ZIS4Ppcch4_maQ25FjNCU1Eplsp4k3oPKLyv6VIsPhsq 一、 最大似然法是一种具有理论性的点估计法基本思想是当从模型总体随机抽取N组样本观测值后最合理的参数估计量应该使得从模型中抽取N组样本观测值的概率最大。 二、 离散型: 假如一个罐子里面有黑白两种颜色的球数目不知比例不知。我们想知道罐中黑白比例。不能把全部拿出。我们随机取出一个球并记录颜色。若100此实验70次白球。 设白球比例为P则黑球为1-P。 P(Xi|M) P(x1,x2,x3,...,x100 | M) P(x1|M) * P(x2|M) * ... * P(x100|M) P^70 * (1-P)^30 求Max{P^70 * (1-P)^30} 对P求导0 70*P^69*(1-P)^30 P^70 * [-(1-P)^29 * 30] 0 P 0.7 连续型X~N(a,b^2)(正态分布);a,b是未知参数x1,x2,x3....xn来自X的一个样本值。求ab的极大似然估计值 X的概率密度函数为 f(x;a,b^2) 1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x-a)^2}  似然函数为 L(a,b^2)∏1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x-a)^2} 求对数 lnL(a,b^2) ln{1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x1-a)^2}} ... ln{1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (xn-a)^2}} n*(0-1/2 * ln(Math.sqrt(2*pi) * b)^2) -1/(2b^2) * (x-a)^2 n*(0-1/2*ln2pi -1/2lnb^2) - 1/(2b^2) * ∑(xi-a)^2 -n/2*ln2pi - n/2 * lnb^2 - 1/(2b^2) * ∑(xi-a)^2 求偏导 lnL(a,b^2) 对a求偏导  - 1/(2b^2) * 和(xi - a) * 2 * (-1) 0  ∑(xi - a)   0 和xi na a∑xi/n 即a 等于 x样本的均值 lnL(a,b^2) 对b^2求偏导 -n / (2b^2) -  ∑(xi-a)^2 * (-1) * 1/(2b^2)^2 0 n*b^2 - ∑(xi-a)^2 0 b^2 1/n * ∑(xi-a)^2 三、逻辑回归 逻辑函数 g(z) 1 / (1e^(-z)) 估计函数 h(x) g(theta^T * x) 1 / [1 e^(-theta^T * x)] 由于二值分类很像二项分布。 P(y1|x;theta) h(x) P(y0|x;theta) 1 - h(x) 由上式推导成一般表达式 P(y|x;theta) [h(x)]^y * [1- h(x)]^(1-y) 验证 y 0 P(y0|x;theta) [h(x)]^0 *  [1- h(x)]^(1-0) 1 * [1 - h(x)] 1 - h(x) 验证 y 1 P(y1|x;theta)  [h(x)]^1 *  [1- h(x)]^(1-1) h(x) * 1 h(x) 似然估计函数 L(theta) ∏ P(y|x;theta)   ∏  [h(x)]^y * [1- h(x)]^(1-y) 求对数 ln L(theta) ∑{y*lnh(x) (1-y)ln[1-h(x)]} 采用梯度上升法 转载于:https://my.oschina.net/u/204498/blog/644421