极大似然估计的一点思考

极大似然估计的一点思考

宋月,冯海林

西安电子科技大学 数学与统计学院  陕西  西安  710071

摘要：极大似然估计是《数理统计》中一种重要的估计方法，本文通过三个角度：极大似然估计的思想；离散状态的极大似然估计；连续状态的极大似然估计揭示极大似然估计的本质及其中隐含的人文和哲学思考。

关键词：极大似然估计;频率学派;贝叶斯学派

极大似然估计是《数理统计》中最重要的一个估计方法，它由高斯在1821年提出，但在一个世纪后，英国统计学家费歇于1922年才把这个思想发表在《关于数理统计的数学基础》上，从而极大似然估计的思想方法才真正诞生。要理解参数的极大似然估计方法，从三个角度入手就可以，一是极大似然估计的思想；二是离散状态的极大似然估计；三是连续状态的极大似然估计。下面通过引例来介绍这种极大似然估计的思想。

引例1.某位同学与一位猎人一起外出打猎。一只野兔从前方窜过，只听一声枪响, 野兔应声倒下。如果让你推测是谁打中的, 你会如何想呢？ 一般会想: 只一枪就打中了,而猎人命中的概率一般大于这位同学命中的概率，这一枪应是猎人射中的。

引例2 设袋中有黑球和白球共4个,今有放回抽球3次, 结果得到两次白球, 试问如何估计袋中白球的个数?

解：设袋中有白球数个，则抽到白球的概率为。记为抽到的白球数，则。针对袋子中不同的白球数量，可以计算抽到白球的概率见表一。

表一：实验结果

针对有放回抽球3次, 结果得到两次白球的情况，袋中白球数估计是多少？由表一我们估计出来袋中白球数是3。

通过两个引例分析进行估计的想法：最有可能的事情最容易发生，或者说概率最大的事情最有可能发生，这就是极大似然估计法的基本思想。人们在生活中自觉的运用了这种思想，所以说《数理统计》，更一般地，《统计学》与人类的行为有关 ,是模拟人类思维的行为方式的科学,这一点有别于其它的数学学科，这也是有些同学难于理解的地方。进而谈到从极大似然思想的萌芽到成熟历经百年之久的，让学生认识到科学探索的道路的曲折性，任何发现、任何进步都需要坚持不懈的努力。

由引例归纳极大似然估计的问题如下：

一般地，设总体的分布函数为，其中是未知参(,不同,总体也不同)。为来自于总体的样本,若在对总体的抽样中，得到样本值(观察值,发生的事件)。 问是从哪个总体中抽出的？(即应取多少？)

直观的想法是：小概率事件在一次试验中一般不会发生，而大概率事件在一次试验中常常会发生；反之，如果在一次实验中，某个随机事件发生了，若问是什么样的情况引起的，

我们往往会认为极有可能是使这个随机事发生的概率最大的那个情况所引起的。

下面，我们分连续型总体和离散型总体两种情况进行讨论。

（1）离散型总体参数的极大似然估计

  设总体是离散型随机变量，其概率函数为，其中是未知参数．设为取自总体的样本。的联合概率函数为，这里，是常量，是变量。若我们已知样本取的值是，则事件发生的概率为。这一概率随的值而变化，从直观上来看，既然样本值出现了，它们出现的概率相对来说应比较大，应使取比较大的值。

（2）连续型总体参数的极大似然估计

一般地，设总体的概率密度为，其中是未知参数(,不同,总体也不同)。为来自于总体的样本,若已抽取得到为样本的样本值(观察值,发生的事件),问,是从哪个总体中抽出的？(即应取多少？)

我们来考察落在点的邻域内的概率

  。

从直观上讲, 既然在一次试验中得到了观察值,那么可以认为样本落在的邻域里这一事件是较易发生的,具较大的概率。所以就应是从使得样本落在点的邻域内的概率达到最大的总体中抽取的,这样才能在一次抽取中以较大可能性取到 。即选取使这一概率达到最大的参数作为真参数的估计。

    极大似然法就是选取总体参数的估计值,使得样本落在点的邻域内的概率达到最大,也就是使达到最大值。

     可以看出，不管是离散型还是连续型总体，都需要达到最大。因而可以得到极大似然估计的定义和相应的方法步骤。

  记,称为似然函数.

定义2  如果 在达到最大值，则称是的极大似然估计。

即如果选取使式成立的作为的估计，则称是的极大似然估计。

因此，求总体参数的极大似然估计值就是求似然函数的最大值问题。

   根据微积分的知识，要使达到最大值，若可导，必满足

求得，这在计算上常常带来方便。

通常用简化求法:因为与在同一值处达到最大，也可由

求得，这在计算上常常带来方便。

参数情形的极大似然估计步骤

1.写出似然函数

若总体的概率密度为，其中为未知数，为样本的样本值(观察值),此时似然函数为

2.求解方程组

           ,

即可得到极大似然估计。

极大似然估计都是利用样本信息去推断总体某一方面的特征，由于样本具有随机性，推断的结论不能保证百分之百的正确。因此学生应该学会辩证的看问题，当然不实的数据分析出的结果应该是有违现实情况的，所以在实践应用的第一步就需要明白实事求是的重要性，需要培养好认真严谨求实的良好行为品质和办事作风。

反复思考极大似然估计方法，可以看出它建立在以下两种假设基础之上：①某一事件发生是因为该事件发生概率最大。②事件发生与模型参数有关，模型参数是一个定值。这种认识问题的思想是频率学派的观点，因而极大似然估计是频率学派的法宝。前面谈到：《数理统计》，更一般地，《统计学》与人类的行为有关 ,是模拟人类思维的行为方式的科学。是不是所有的人都认可这种观点呢？显然不是，模型参数一定是定值吗？贝叶斯学派认为它是不确定的，是随机的，基于此观点贝叶斯学派有最大后验概率估计。因此从哲学、文化视角窥视极大似然估计才能更好的理解和有效的使用它。

参考文献：

[1]蔺 云.哲学与文化视角下概率统计课的育人功能[J]数学教育学报,2002,5月，Vol 11,No.2

[2]张应山,茆诗松.统计学的哲学思想以及起源与发展[J]统计研究,2004,No.12