统计学博文导读:内贾德大选作弊?流星撞飞机的概率?买双色球?

By 谢益辉 @ 2009/06/17
关键词, , , , , , , , , , 分类推荐文章, 数据分析, 概率论与数理统计, 网站导读
作者信息:目前在Iowa State University统计系跟着Di Cook读PhD。统计之都网站创办者;研究兴趣为统计图形及数据可视化,对前沿统计模型方法的发展感兴趣但不喜纯粹抽象的数学理论,以直观、实用为学习标准;偏好以R语言为工具;Email:xie@yihui.name;个人主页:http://yihui.name
版权声明:本文版权归原作者所有,未经许可不得转载。原文可能随时需要修改纰漏,全文复制转载会带来不必要的误导,若您想推荐给朋友阅读,敬请以负责的态度提供原文链接;点此查看如何在学术刊物中引用本文

“统计之都”站的“网站导读”栏目的设立是为了以简短的形式向大家介绍一些有意思而且有水平的统计学文章,不求理论之复杂,但求统计学之生活化,让大家看到一些统计学的“另类”面目。若这个目的达不到,那么我希望大家读完这些导读文章之后能说一句“哇,原来统计不是会计啊/不是做报表的啊/不是数学啊”也足够了。另外,现在网上很多文章都是抄来抄去(更恶劣的是不加出处的抄袭),我们觉得这种做法极其无聊,是对原始作者的极大不尊重,也容易造成以讹传讹误导不明真相的围观群众,本站这个栏目的建立,也是基于这一点考虑之上提供一种“引用他人文章”的示例,很傻很天真地希望互联网的抄袭现象能够有所收敛。言归正传:

一、用数字作弊要小心:关于内贾德的选票

内贾德日前伊朗的大选可谓轰轰隆隆,颇引人注目,内贾德在胜出之后却引来一片质疑,今日又有传闻说穆萨维才是真正的胜出者。总之疑云重重,那么让政治家玩政治家的游戏吧,我们从另一个视角来关注一下这次选举。密歇根大学的教授Walter R. Mebane, Jr.这几天一直在分析选票数据,今天的文章参见:Note on the presidential election in Iran, June 2009(注意论文和数据以及R代码都在更新中,如果不能访问,请到他的主页上找)

文章主要基于两点理论去检验选票数据:

  1. 本福特定律(Benford’s Law):生活中的数据里,1~9这9个数字在首位的出现并非均匀分布,例如1出现在一个数字的首位的概率约为1/3,而不是想象中的1/9,越往后的数字出现概率越低。不过,作者得到的选票数据是按地区汇总的,而对于汇总数据,我们往往难以发现它作弊的嫌疑,因为汇总数据倾向于符合本福特定律,从这一点上,作者没有找到足够的证据证明选票数据作弊;
  2. 检验离群点:手头的数据只有选票数,没有其它变量,这种情况下统计建模的局限性很大,似乎各种工具都施展不开,不过作者还是在“艰苦”的条件下建立了过度散布的二项回归模型(overdispersed binomial regression),因变量是二分变量(内贾德 vs 穆萨维),自变量是选票数,看看哪些地区的选票数有离群点出现,熟悉伊朗政局情况的人从这些离群点可能发现违背常理的现象(选票过高?过低?)

看来统计学家总是有办法拷问数据,不知咱国内是否有这样的统计学家呢?

想起本科上课的时候我们有一位老师提到陈毅元帅的一句话:“莫伸手,伸手必被捉。”在数据上,还是莫造假吧,只要有人较真,一定有办法看出来的。

二、飞机被流星撞到的概率多大:法航失事之后的计算

前几天,本站作者、COS论坛元老刘思喆用R计算了一下飞机被流星击中而失事的概率,发现一架飞机在11小时飞行过程中被流星击中的概率是双色球中一等奖概率的1/100,看样子可以舒口气,不过坏消息是,20年中被击中的概率就陡然上升到5%了。看来还是双腿走路可靠……

然而我想知道的是:

  • 过去20年有飞机被流星击中过么?
  • Poisson分布合适么?或者,流星砸向地球的分布是什么?有没有天文学相关的实证呢?

三、让R帮你查看是否中了500万大奖:“懒惰”的彩民

这一篇依旧是把统计和R融入生活的刘思喆:500万?去买双色球!(被评论为标题党)彩民们每天眼巴巴对着彩票网以及自己的彩票的若干位数字看,实在是很辛苦,因此思喆老大体谅大家,挑灯夜战写了一段R代码,按照该文的描述,彩民们每天只要打开R,就知道自己有没有中奖。我提议,要是哪位读者因此中奖了一定要给思喆老大提成以及给统计之都捐赠

我后来的想法是,干脆写个批处理文件(R CMD BATCH),开机自动运行好了,连R都不用打开。懒惰是创新之源,这话没错。

R还有很多“奇怪”的应用,在作者的主页贝吉塔行星中能找到更多。

四、其它文章

  • 画函数曲线本来是一件简单的事情,为什么我们总是忘记初中的“描点法”呢:画曲线的通用办法:描点法画图(谢益辉)
  • 标签云将词语文本的大小与其某种属性(例如重要性、出现频率)关联起来,因此标签云图可以直观展示一些词语的属性。例如文本越大表示出现频率越高,那么一眼看去,最大的词就是最热频词了,这里介绍了一种用R生成标签云的方法:Creating Tag Cloud Using R and Flash / JavaScript (SWFObject)(谢益辉)
  • 最后强烈建议对统计软件感兴趣(尤其是对R)的同志们订阅Journal of Statistical Software的RSS,你会经常发现一些稀奇古怪的论文:http://www.jstatsoft.org/rss(啥?你到现在还不知道RSS是神马东西?快来人把这个火星观众撵出去)

若您平时看到觉得写得好的文章,请勿忘推荐给我们,联系邮箱:contact@cos.name。谢谢!

相关文章

6 Responses to “ 统计学博文导读:内贾德大选作弊?流星撞飞机的概率?买双色球? ”

  1. 王长风 on 2009/06/18 at 12:59

    “看来统计学家总是有办法拷问数据,不知咱国内是否有这样的统计学家呢?”

    我也想知道国内有没有这方面做得比较好的统计学家?

  2. priss111 on 2009/06/18 at 22:30

    谢老大写的太好了,赞个。 这样就更加突出统计的实用价值,用活了,生命的感觉……

  3. 唯手熟尔 on 2009/06/26 at 17:07

    为什么人们对数据的分量如此看重,不过还是要对楼主的才华顶礼膜拜!!!

  4. 蒲红刚 on 2009/08/14 at 21:50

    希望以后有更多的好东西分享!

  5. 蒲红刚 on 2009/08/14 at 21:53

    很好

  6. 盟 on 2010/02/26 at 05:13

    have u been told u are a completely gifted and interesting guy?

Leave a Reply

搜索

推荐阅读

有边界区间上的核密度估计

一、一个例子
核密度估计应该是大家常用的一种非参数密度估计方法,从某种程度上来说它的性质比直方图更好,可以替代直方图来展示数据的密度分布。但是相信大家会经常遇到一个问题,那就是有些数据是严格大于或等…阅读全文 »

相关文章

用R也能做精算—actuar包学习笔记(一)

By 李皞

本文是对R中精算学专用包actuar使用的一个简单教程。actuar项目开始于2005年,在2006年2月首次提供公开下载,其目的就是将一些常用的精算函数引入R系统。目前,提供的函数主要涉及风险理论,…阅读全文 »

相关文章

分月存档