最大似然估计(MLE)
写在前面:
为了让Latex公式能在浏览器中正常显示,需要安装插件:MathJax Plugin for Github,谷歌商店的下载页面为:
https://chrome.google.com/webstore/detail/mathjax-plugin-for-github/ioemnmodlmafdkllaclgeombjnmnbima
如果无法访问上面的网址,也可到我的仓库下载一个备份:
https://github.com/wgs666/MathJax_Plugin_for_Github
什么是最大似然估计?
最大似然估计是一种参数估计的方法。其核心思想是:找到参数$\theta$的一个估计值,使得当前样本出现的可能性最大。
设总体$X$属于离散型,其分布律$P{X=x}=p(x;\theta), \theta \in \Theta$的形式为已知,$\theta$为待估参数,$\Theta$是$\theta$可能取值的范围。设$X_1,X_2,\cdots,X_n$是来自$X$的样本,则$X_1,X_2,\cdots,X_n$的联合分布律为:
样本$X_1,X_2,\cdots,X_n$取到观察值$x_1,x_2,\cdots,x_n$的概率,即事件${X_1=x_1,X_2=x_2,\cdots,X_n=x_n}$发生的概率为:
这一概率随$\theta$的取值而变化,它是$\theta$的函数,$L(\theta)$称为样本的似然函数。
最大似然估计法,就是固定样本观察值$x_1,x_2,\cdots,x_n$,在参数$\theta$取值的可能范围$\Theta$内挑选出一个$\hat\theta$,使得似然函数$L(x_1,x_2,\cdots,x_n;\theta)$达到最大。即:
这样得到的$\hat\theta$与样本值$x_1,x_2,\cdots,x_n$有关,常记为$\hat\theta(x_1,x_2,\cdots,x_n)$,称为参数$\theta$的最大似然估计值,而相应的统计量$\hat\theta(X_1,X_2,\cdots,X_n)$称为参数$\theta$的最大似然估计量。
为什么要有参数估计?
当模型已定,参数未知时。
例如,假设我们知道全国人民的身高服从正态分布,但不知道均值和方差。这时可以通过采样,观察其结果,然后再用样本数据的结果推出正态分布的均值与方差的最大概率值,这样就可以知道全国人民的身高分布的函数。
举例
抛硬币。现有一个正反面不是很均匀的硬币,如果正面朝上记为H,反面朝上记为T,抛10次的结果如下:
T, T, T, H, T, T, T, H, T, T
求这个硬币正面朝上的概率有多大?
很显然,这个概率是0.2。现在用MLE的思想来求解它。
设$x_1,x_2,\cdots,x_n$是相应于样本$X_1,X_2,\cdots,X_n$的一个样本值。
不妨用$x_i=1$表示正面朝上,$x_i=0$表示反面朝上
设正面朝上的概率为$\theta$,抛硬币服从二项分布$X \sim b(1,\theta)$,$X$的分布律为:
似然函数为:
取对数后,为
求导:
令$\frac{\partial ln L(\theta)}{\partial \theta}=0$,可得:
可知概率$\hat \theta=0.2$
设$X \sim N(\mu, \sigma^2)$, $\mu, \sigma^2$为未知参数,$x_1,x_2,\cdots,x_n$是来自$X$的一个样本值。求$\mu, \sigma^2$的最大似然估计量。
解:$X$的概率密度为:
似然函数为:
它的对数:
令
联合求解,得到参数$\mu$和$\sigma^2$的最大似然估计值分别为:
相应的最大似然估计量分别为:
$\hat \mu=\bar X$, $\hat \sigma^2=\frac{1}{n}\sum_{i=1}^n (X_i- \overline X)$