引言——变量关系分析的广泛意义 在统计分析中，有这样一类具有普遍意义的问题：在测得了（取样）一个变量系统的数据以后，如何从数据中发现并且验证这些变量之间的关系？了解变量之间的关系，无论是对于知识发掘(knowledge discovery)，还是拟合精度的提高，都是很有意义的．比如任何一类回归分析，便是要分析预测变量和响应变量之间的关系．如果我们能用一些方法做回归前的预分析(pre-analysis before regression)，比如，使用方差分析去分析各个预测因素之间的关系，是非常有必要的．为什么呢？一个很简单的原因是出于对复线性的考虑．众所周知，复线性是回归分析的大敌．如果大家还记得回归分析系数的协方差矩阵的话，想必也能记得如果预测因素之间的相关系数太大会导致回归方程系数非常不稳定(请参阅 method of multivariate data analysis by rencher)．又如结构方程模型，是要分析测量变量(measurement)和结构变量(construct)之间的关系．还有最近十分热门的图模型，便是赤裸裸的声称图模型是所有统计模型的一个大综合．
阅读全文 »

先较为详细地介绍GERT方法，然后使用GERT方法求解几个抛硬币问题
阅读全文 »

这个青年的经历，只代表他个人，没有任何群体的意义。 我想写下一段自白,这自白既是我个人的,也具有普遍意义,因为一个人经历过的事情所有的人都可以经历。 /*跟武汉博文视点合作，召集些身边的朋友，2009应届生，计算机背景，在毕业之前，讲讲自己求学、实习、找工作等的经历与感悟，文章将由电子工业出版社结集出版，在今天秋季学期开学之前出来。我是主编，也是作者之一，刚好经历跟大伙有重叠：经济学、软件工程、SAS、统计学、数据挖掘，文章贴出来，大伙多拍砖头。文中我提到COS，COS让我长见识，又结识不少好朋友。*/ 想启蒙至今，我的学习重心从文史哲转到经济学，最后以软件工程收场；在行业方面，在一家软件公司实习了一年多，找工作以药厂收场——用一个朋友的话讲，“背景是复杂得一塌糊涂”。虽然我常以“学一行，爱一行；做一行，爱一行”自勉，有时也不免回首，想想以前经历过的所有分岔口，玩味些那些没有走过的路，无论当时我多么坚决或者犹豫，一条路被选中，然后一路曲折至今。很多事情，很多选择，可能只有以后才能适合评说，现在我选择把它们记下来，在这么一个时点，我就要毕业，我有一个安身立命的去处，我有规划，但我不知道以后生活会给我什么样的分岔口，就跟我以前遭遇的一样。 ——————我的人生轨迹————— 项羽，“学书不成，去；学剑，又不成”。 —-《史记·项羽本纪 1.高中：文科生，喜文史 | |高考 ...
阅读全文 »

介结了在R中如何实现极大似然估计的一种实现方法。当然其在R中还有其它的实现方法。
阅读全文 »

如何生成一个GeoBUGS格式的中国地图 第一节 导言 之前有些对GeoBUGS感兴趣的同学发邮件询问我有没有GeoBUGS的中国地图，以用于分析中国国内的一些空间数据。我想有必要将如何生成GeoBUGS格式的地图的方法分享给大家。这样的话， GeoBUGS就可以真正为我们所用，从而对于其他GeoBUGS没有自带的地图，我们也可以轻松生成了。本节不涉及统计分析，仅为GeoBUGS的研究使用者提供一个软件使用的技术参考。关于GeoBUGS的统计的书，国外实在是很多了，但关于这块地图定制的参考资料较少，故提出来供大家参阅。
阅读全文 »

“统计之都”站的“网站导读”栏目的设立是为了以简短的形式向大家介绍一些有意思而且有水平的统计学文章，不求理论之复杂，但求统计学之生活化，让大家看到一些统计学的“另类”面目。若这个目的达不到，那么我希望大家读完这些导读文章之后能说一句“哇，原来统计不是会计啊/不是做报表的啊/不是数学啊”也足够了。另外，现在网上很多文章都是抄来抄去（更恶劣的是不加出处的抄袭），我们觉得这种做法极其无聊，是对原始作者的极大不尊重，也容易造成以讹传讹误导不明真相的围观群众，本站这个栏目的建立，也是基于这一点考虑之上提供一种“引用他人文章”的示例，很傻很天真地希望互联网的抄袭现象能够有所收敛。言归正传： 一、用数字作弊要小心：关于内贾德的选票 日前伊朗的大选可谓轰轰隆隆，颇引人注目，内贾德在胜出之后却引来一片质疑，今日又有传闻说穆萨维才是真正的胜出者。总之疑云重重，那么让政治家玩政治家的游戏吧，我们从另一个视角来关注一下这次选举。密歇根大学的教授Walter R. Mebane, Jr.这几天一直在分析选票数据，今天的文章参见：Note on the presidential election in Iran, June 2009（注意论文和数据以及R代码都在更新中，如果不能访问，请到他的主页上找） 文章主要基于两点理论去检验选票数据： 本福特定律（Benford’s Law）：生活中的数据里，1~9这9个数字在首位的出现并非均匀分布，例如1出现在一个数字的首位的概率约为1/3，而不是想象中的1/9，越往后的数字出现概率越低。不过，作者得到的选票数据是按地区汇总的，而对于汇总数据，我们往往难以发现它作弊的嫌疑，因为汇总数据倾向于符合本福特定律，从这一点上，作者没有找到足够的证据证明选票数据作弊； 检验离群点：手头的数据只有选票数，没有其它变量，这种情况下统计建模的局限性很大，似乎各种工具都施展不开，不过作者还是在“艰苦”的条件下建立了过度散布的二项回归模型（overdispersed binomial regression），因变量是二分变量（内贾德 vs 穆萨维），自变量是选票数，看看哪些地区的选票数有离群点出现，熟悉伊朗政局情况的人从这些离群点可能发现违背常理的现象（选票过高？过低？） 看来统计学家总是有办法拷问数据，不知咱国内是否有这样的统计学家呢？ 想起本科上课的时候我们有一位老师提到陈毅元帅的一句话：“莫伸手，伸手必被捉。”在数据上，还是莫造假吧，只要有人较真，一定有办法看出来的。 二、飞机被流星撞到的概率多大：法航失事之后的计算 前几天，本站作者、COS论坛元老刘思喆用R计算了一下飞机被流星击中而失事的概率，发现一架飞机在11小时飞行过程中被流星击中的概率是双色球中一等奖概率的1/100，看样子可以舒口气，不过坏消息是，20年中被击中的概率就陡然上升到5%了。看来还是双腿走路可靠…… 然而我想知道的是： 过去20年有飞机被流星击中过么？ Poisson分布合适么？或者，流星砸向地球的分布是什么？有没有天文学相关的实证呢？ 三、让R帮你查看是否中了500万大奖：“懒惰”的彩民 这一篇依旧是把统计和R融入生活的刘思喆：500万？去买双色球！（被评论为标题党）彩民们每天眼巴巴对着彩票网以及自己的彩票的若干位数字看，实在是很辛苦，因此思喆老大体谅大家，挑灯夜战写了一段R代码，按照该文的描述，彩民们每天只要打开R，就知道自己有没有中奖。我提议，要是哪位读者因此中奖了一定要给思喆老大提成以及给统计之都捐赠！ 我后来的想法是，干脆写个批处理文件（R CMD BATCH），开机自动运行好了，连R都不用打开。懒惰是创新之源，这话没错。 R还有很多“奇怪”的应用，在作者的主页贝吉塔行星中能找到更多。 四、其它文章 画函数曲线本来是一件简单的事情，为什么我们总是忘记初中的“描点法”呢：画曲线的通用办法：描点法画图（谢益辉） 标签云将词语文本的大小与其某种属性（例如重要性、出现频率）关联起来，因此标签云图可以直观展示一些词语的属性。例如文本越大表示出现频率越高，那么一眼看去，最大的词就是最热频词了，这里介绍了一种用R生成标签云的方法：Creating Tag Cloud Using R and Flash / JavaScript (SWFObject)（谢益辉） 最后强烈建议对统计软件感兴趣（尤其是对R）的同志们订阅Journal of Statistical Software的RSS，你会经常发现一些稀奇古怪的论文：http://www.jstatsoft.org/rss（啥？你到现在还不知道RSS是神马东西？快来人把这个火星观众撵出去） 若您平时看到觉得写得好的文章，请勿忘推荐给我们，联系邮箱：contact@cos.name。谢谢！
阅读全文 »

在研究两个变量的关系时，一般会先看看它们的散点图，在图中两变量的关系还是比较直观的，大致可以判断是否线性相关及相关性大小如何，是否是非线性相关等。而到底什么是相关呢？相关其实就是知道一件事对了解另一件事的帮助的大小。实际中，如果对某一事物不太了解，但是对与其有一定联系的另一事物有所了解，如果这种联系很强，那我们对于那件不了解的事物就有了更多的信息，或者说对这个不了解的事物有了更大的自信去预测。其实这也是研究中的一种常用的方法。
阅读全文 »

比率估计表达式严格成立的条件是辅助变量的抽样均值波动很小，这和比率估计量的构造初衷是矛盾的。实际操作中，比率估计的方差低估难免存在。本文在一定假设下构造了比率估计的方差低估比例，并通过模拟实验证明即使在辅助变量波动较大，样本量较小的情形，方差低估的比例也很小，这是比率估计增加精度的重要因素。
阅读全文 »

单因素试验设计及观察研究
阅读全文 »

新华网刚发布了一个关于学生冬季长跑的调查结果（于2009年4月27日13:52访问），一共调查了100人，结果中却出现了92.79%这样的比例数字，有常识的读者都知道，世上不存在0.79个人，因此这里面必然有某个地方是错的（姑且不妄言造假）。这则消息让我马上想起《统计陷阱》这本书，我们生活中有多少陷阱呢？ 从消息编辑人员的角度来说，他们可能觉得保留两位小数显得“精确”，而这种“精确精神”从数学的角度来说显得既可爱又可笑，如果小数位能表示精确，那何不保留100位小数呢？ 从统计人的角度来看，对这种调查报告中的比例数字应该有足够的警觉。很多调查报告并不会告诉我们究竟样本量多大（在这一点上新华网的调查网还比较诚实），这种情况下，我们应该弄清究竟调查了多少对象，当样本量很小的时候我们会怀疑这个调查的代表性。当我们看到比例66%的时候也许能想起来这是2/3（猜测样本量是3的倍数），但对29.1667%这个比例我们未必能很快反应出来分子和分母是多少，若报告公布方没有说明样本量，我们只能自己猜测；对于667这样的数字，我们很容易猜测这是6循环的四舍五入。最终大概思路就是拿比例去挨个乘以一系列整数，看看哪个结果接近整数，从而“还原”原来的分式n/N。以下是简单的R代码： > digit = ((1:100) * 0.29166666)%%1 # 整除1之后的“余数” > plot(digit, ylim = c(0, 1)) > idx = which((1 - digit) < 1e-05 | (digit - 0) < 1e-05) # 与0或1很靠近时 > points(idx, digit, pch = 20) > abline(v = idx, lty = 2) > axis(3, idx) > idx * 0.29166666 7 14 21 28 我们很容易发现分母（样本量）是24的倍数，因为上图中24的倍数乘以29.167%得到的结果很靠近整数；而具备某种特征的样本数量为7的倍数。根据具体的调查背景，我们可以自己猜测报告方究竟调查了多少人：24人？太少；960人？为什么不是1000人？…… 上面只是统计侦查的小游戏而已，当我们具备更多统计知识储备之后，便可以去考虑一些具体的统计模型输出是否存在造假嫌疑。我想，P值在0.05之下且很靠近0.05的时候，或P值一律接近于0的时候，我们不妨以小人之心揣测这个模型也许有问题。当因子分析中，50个变量能根据载荷被准确划分到作者预先设定的5个因子中时（5列因子载荷一律都是只在某个因子上取值极大），这个分析也许存在嫌疑。当然，所有的“小人之心”的前提假设都是：理想情况在现实中是不容易出现的（这是赤裸裸的假设检验逻辑）。
阅读全文 »