统计之都

泊松低方差计数数据建模问题

COS编辑部 — Sat, 28 Aug 2010 13:08:34 +0000

本文作者为中国人民大学统计学院饶燕芳同学，由COS编辑部审核发表，略有修改。点击此处下载/阅读本文PDF版本

一、问题的引出

在数据分析和数据建模的过程中，我们通常需要假定数据变量服从某种分布，以便于建立与分布参数有关的模型或方程，之后利用观测值对参数进行估计，从而达到研究和分析的目的。由于变量是随机的，我们无法确定变量在某个情况下的具体取值，因此通过假定它服从某个分布，然而感兴趣的只是它们的平均水平，即各变量之间的关系都建立在均值的基础上，方差则用于计算估计的精度和假设检验。而大多数情况下，一旦分布的假定确定，随之确定的也就是数据必须符合该分布的均值和方差特征。对于许多单参数分布，均值和方差均有一一对应的关系，如果均值确定，方差由于是均值的函数也就自然地确定下来，例如伯努利分布具有单参数，均值，方差，即有。在这种单参数的情况下，如果观测数据的均值符合假定（即认为），数据的方差和均值就必须满足一定条件（即例如假定服从两点分布，认为，则方差应该有），此时若观测到方差系统地大于分布假设下（此时常被观测均值决定）的方差，就出现了所谓的“超散布性”(overdispersion)，类似地，若出现方差偏小的情况，也就相应出现了“超聚集性”(underdispersion)。

具体到本文需要讨论的泊松分布：现实中常常出现方差不满足假定的情况。由于参数为的泊松分布具有均值和方差相等的特点，如果假定服从泊松分布的数据的样本方差大于模型估计的方差——即样本均值，就出现了“超散布性”，本文称之为泊松分布高方差(extra-Poisson variation
)，而当样本方差低于样本均值时，称此时的“超聚集性”为泊松分布低方差，后文出现的泊松低方差都符合该定义。

正如之前所说，通常建立模型如线性回归都基于均值，因此方差违反假定分布并不影响参数估计效率，但在区间估计和假设检验时就会出现问题。当“超聚集性”出现时，真实的方差会被低估，这将会错误的表现出数据中原本不显著的差异，相反地，“超聚集性”出现时，真实的方差会被高估，这样可能无法检验出组间分布的真实差异，参数的置信区间也会给得过大。因此对于方差超扩散或超聚集的数据，方差问题的处理显得尤为重要，针对此的模型建立是该类问题分析的关键。

泊松分布的超散布性数据在现实中较为常见，简单的序列正相关和非齐次性都可能引起超散布性的出现。泊松低方差的情况则较为少见，但在医学和社会领域中却经常出现。本文的目标就在于探讨针对泊松低方差数据的分布模型。

二两种泊松低方差问题的处理方法

泊松分布为模拟计数数据提供了良好的模型，但均值和方差相等的要求在现实中却显得太为苛刻。因此处理泊松低方差的方法探究就集中在合适的修正分布的寻找上。能够描述计数数据且具有泊松低方差特点（即均值大于方差）的分布选择并不太多，其中包括两种典型的泊松低方差模型：加权泊松分布模型和 CBR 分布模型。

1. 加权泊松分布

Rao CR (1965)提出，若随机变量Y服从加权泊松分布，其密度函数为

(a)

它是保证求和为1的标准化因子。

本文讨论一种较为简单的权重（Martin S R and P Besbeas，2004），即

对于，它的分布类似将概率密度图线向均值“挤压”(见图1)，分布更加集中，相对于标准的泊松分布就有更小的方差，称该分布为三参数指数加权泊松分布，记为 EWP3 。特殊地，当时，称为两参数指数加权泊松分布，记为 EWP2 分布，当时退化为标准泊松分布。对于EWP2 和 EWP3 ，它们拥有更高的峰值，标准化因子 W 可以由式 (a) 导出。尽管矩的表达没有显式，但可以确定分布的方差随着或的增大而降低。

图1 lambda=10,beta1=0.1,beta2=0.2的EWP分布

对于加权泊松分布的探究使得权重还有一些别的形式，如 Castillo and Pe´rez-Casany (1998) 提出的幂加权泊松分布(PLWP)，Cameron 和 Johansson (1997) 使用的泊松多元加权分布 PPp 等。

2. 纯生过程模型（CBR）

不得不提的是，在处理泊松低方差数据的问题中还有一类较为有效的方法。由Faddy(1997)在随机过程的基础上提出这种变出生概率(CBR)分布。这个分布是建立在广义泊松分布的基础上：Faddy 认为，任何关于 {0,1,2,…}的离散分布都有广义泊松特性，即纯生过程。考虑一个 Markov 计数过程，为内的事件发生数，在内有转移概率：

其中为事件数为n时的事件发生率，我们感兴趣的只是某一时刻的分布，这里t可以不失一般性地取1，在此模型中，时刻1时的事件数的分布具有如下形式：

其中

而上式的成立可由 Kolmogorov 微分方程简单推导而来：

这里认为初始时刻的事件数是从1开始的。因此，CBR 分布是由一系列不同的事件发生率参数决定的。通常可以认为是k的函数。Faddy 在1997年已经证明，对于递增的,将表现出泊松高方差特征，而当递减时，也就表现出泊松低方差特征。

三、参数估计

上述两种分布的参数估计都可通过极大似然法求出。记为第i个样本的事件发生数，观测数据中中事件数k的频数(k=1,2,3,…)，则 EWP2 和 EWP3 分布的负对数似然方程为（已去除与参数无关的项）：

(b)

通过求使（b）式达到最小值的得到估计参数。

对于纯生过程模型，概率分布向量就是矩阵的第一行，若，其负对数似然函数为：

通过最小化上式即可得到的极大似然估计。而参数估计的方差可以通过数值计算时产生的 Hessian 矩阵得到。

四、数据实例

我们引用 Faddy（2001）的小鼠胚胎数据，作者已对该数据用 CBR 方法做了较好的分析。在产生该数据的实验中，对已经怀孕的小鼠用药（除草剂2,4,5-T），同时记录小鼠子宫上的胚胎着床数。数据给出了7种剂量水平下胚胎着床数的频率分布。在交配后的6-14天内，往怀孕的雌鼠体内注射某种剂量水平的2,4,5-T。在分娩之前，将雌鼠杀死，确定其体内的活胎数目。0剂量组的频数分布便具有泊松低方差特征。0剂量组数据的均值为11.55，方差为9.92，方差均值比为0.859。

图2

使用泊松分布对参数进行估计，参数的最大似然估计为样本均值11.55，图2显示了估计的泊松分布和样本观测频率的差异。尽管拥有相同的均值，但由于数据具有泊松低方差特点，其经验分布的比泊松分布集中得多，可以说此时使用泊松分布模型的效果是差强人意的，显然不是一个合适的模型。

1. 加权泊松分布

分别使用 EWP2 和 EWP3 分布对0剂量组数据进行参数的最大似然估计。其中EWP2分布中，= 11.79， =0.11，EWP3中，=14.56，=-0.15，=0.68，估计的 EWP2 、EWP3 分布如图3。由于分布具有了泊松低方差特征，通过权重参数将分布向中部“挤压”，分布更加集中且峰值更高，估计的效果相比之下比泊松分布好很多。EWP2 由于在的左右都赋予相等的权重，因此对称的“压缩”模式不如 EWP3 的非对称“压缩”有弹性，从观测数据经验分布的轻微左偏也暗示了允许取不同值的 EWP3 分布在分布的拟合上更具优势。

图3 EWP2 、EWP3和CBR的分布拟合图

2. CBR分布

CBR参数的极大似然估计={4.66,7.90,22.97,15.02,18.23,19.18,16.49,14.40,13.15,
10.01,9.33,6.90,6.32,6.26,5.40,6.28,3.27,0.00,2.00,2.00,1.00}，图3中显示的 CBR 拟合效果非常好，几乎与经验分布重合。但模型中含有过多的参数使得估计精度大大降低，其中的估计标准误为12.59，置信区间宽近50。虽然对于拥有多个事件发生率的 CBR 分布能够灵活地刻画事件发生数之间的任何概率变化，但参数时过多模型的过度拟合是没有太大意义的，也不易于控制和分析。如前所述，可以利用该模型的建立关于k的函数，从而减少模型中的参数个数，在该例子中事件数分类较多时这种做法就显得十分必要。Faddy(2001) 就从众多函数形式中找到了一种能很好地模拟事件数发生概率在最初增长较快而后缓慢下降特点的四参数模型：

对于0剂量组数据，的估计值为 {1.360, 3.507, 0.648, 2.953}，估计的分布与经验分布的对比如图4，尽管模型中减少了17个参数，但由于函数形式的合理，该分布仍旧保持较好的拟合效果，拟合优度=6.755，p值为0.914。

图4

针对 2-4-5T 对小鼠胚胎着床影响的实验数据的泊松低方差特性，相对于标准泊松，加权泊松 EWP2、EWP3 和 CBR 在分布上的修正都使模型有许多改进，能够更好地表现出数据中蕴含的现实含义，其生物学意义的解释也更加清晰：在发育毒性的研究中，药物会影响早期的繁殖过程，阻止胚胎的形成。对于多胎的动物（如老鼠），参数起初的增长表示了受精胚胎着床过程可以进一步刺激排卵，之后的下降说明受精卵着床过程的减慢，这段平缓的过程也就使得方差有所降低。

3. 组别分析

之所以选择一个足够合适的分布的重要的意义不仅在于它能较合适地刻画观测数据，更在于它能够精确地刻画不同组别之间的差异。Faddy(2001)表明75剂量组和90剂量组的频数分布相似，并不存在显著性的差异，文章这部分就将比较标准泊松、EWP2、EWP3 和 CBR 这四种分布在检验0剂量组和75/90剂量组之间差异的能力。过程中使用似然比检验。

似然比检验在大样本时具有渐进性。似然比统计量为

当样本量n趋于无穷，将渐进服从分布，r为参数空间 and 的维数之差。

表1 四种分布检验效果比较
		自由度r	p值
标准泊松	2.690	1	0.1000
EWP2	4.789	2	0.0912
EWP3	11.980	3	0.0075
CBR	10.764	4	0.0294

标准泊松分布的0剂量组和75/90剂量组的极大对数似然函数值分别为-1837.763和-318.618 ，即负两倍似然比为2.691（自由度为1），p值为0.10（实际值大于0.1），即使在10%的显著性水平上都无法认为0剂量和75/90剂量对小鼠胚胎着床的影响是显著的。EWP2 的负两倍似然比为4.789，p值比标准泊松略小，为0.0912，在10%的显著性水平下可以认为0剂量组和75/90剂量组小鼠胚胎着床的显著差异，但如果显著性水平在5%则无法拒绝原假设。相比之下，CBR和EWP3的负两倍似然比统计量的p值都小得多，在通常5%的显著性水平下能够有力地表明0剂量组和75/90剂量组之间的差异是显著的，且其中 EWP3 的检验效率甚至明显高于 CBR，p值0.0075达到高度显著。

以上检验至少说明在0剂量组和75/90剂量组的比较上 EWP2、EWP3 和 CBR 都优于标准泊松，能够有效地检测出不同组别之间的分布差异，从而证明了本文之初的观点：标准泊松无法准确刻画该实验数据具有泊松低方差的特性，因此将高估剂量组内的方差，在检验上无法有效地识别组间真实存在的差异。如果轻易地使用泊松分布进行分析，将得出0剂量组和75/90剂量组无显著差异的错误结论。而加权泊松分布和 CBR 都在某种程度上克服了标准泊松的缺点，其中 EWP3 和 CBR 则“灵敏”地发现了组间的显著性不同。且 EWP3 能够表现地比 EWP3 出色，还因为剂量组下的频数分布略微左偏，2个加权参数容许 EWP3 更贴切地拟合原始数据的真实分布。

五、结论

当数据出现“超散布性”和“超聚集性”时可能出现的问题，分布假定的错误将分别低估和高估真实数据的方差，从而影响模型的合理性，有时甚至导致得出错误的结论。本文着眼于一类典型的“超聚集性”问题——泊松低方差特性，并针对该类问题的解决归纳了两种方法：泊松加权分布模型和纯生过程分布模型。前者通过对标准泊松分布进行加权修正，克服了泊松分布均值和方差必须相等的局限性，其中 EWP2 和 EWP3 具有形式简单且适用性强的特点，而 EWP3 在很多情况下会优于 EWP2，多一个参数能够较好地模拟较普遍的不对称的单峰经验分布。而纯生过程分布模型在思路上则有很大不同，它基于随机过程中的事件发生机制，对于分类的事件计数数据在理论上有很强的适用性。CBR 能够用足够多的参数模拟不同事件数间频率的变化特征，通过建立与k的合适的函数形式，可以构造出任何离散分布，尤其适和分析分类较多的数据。此外，的函数变化还有利于结合数据在真实世界中的内在的形成原理，对基于不同事件数时刻的时间发生率有比较完整的描述，能够赋予参数合理的解释。但 CBR 不适用于分类较少的计数数据，会由于缺少事件产生过程信息它无法表现出其优势。

这个……好像没有相关文章，客官看点儿别的吧

第三届中国R语言会议（北京会场）纪要

邱怡轩 — Wed, 23 Jun 2010 05:32:26 +0000

第三届中国R语言会议北京会场合影（右键另存为看大图）

第三届中国R语言会议（北京会场）于2010年6月14日~15日在中国人民大学明德法学楼0101成功召开。会议由中国人民大学应用统计科学研究中心与中国人民大学统计学院主办、统计之都网站(cos.name)协办。在两天的会议时间里，来自各行各业的R用户齐聚北京，共同探讨和交流R软件的使用经验，取得了丰厚的成果。

会议概况

参会单位

本次会议吸引了70余家单位近170人参加，参会人员所在单位包括：

大学：爱荷华州立大学、北京大学、北京大学医学部、北京工商大学、北京工业大学、北京航空航天大学、北京化工大学、北京交通大学、北京理工大学、北京联合大学、北京林业大学、北京师范大学、东北农业大学、复旦大学、桂林理工大学、南开大学、山东大学、首都经济贸易大学、首都师范大学、天津大学、武汉大学、西北师范大学、西藏民族学院财经学院、厦门大学、云南师范大学、浙江大学、浙江嘉兴学院、芝加哥大学、中国地质大学（北京）、中国科学院研究生院、中国矿业大学（北京）、中国农业大学、中国人民大学、中国石油大学、中央财经大学、中央民族大学等；
科研所：北京荣昌药物研究院、南京地理与湖泊研究所、天津市第一中心医院、中国科学院北京基因组研究所、中国科学院大气物理研究所、中国科学院地理科学与资源研究所、中国科学院计算机网络信息中心、中国科学院青藏所、中国科学院生物物理所、中国科学院微生物研究所、中国科学院心理所、中国科学院遗传与发育生物学研究所、中国科学院植物研究所、中国农业科学院农业资源与农业区划研究所、中国社会科学院、中国水产科学研究院、中国医学科学院阜外心血管病医院、中国有色金属工业信息中心；
企业：Gfk、IMS Health、Mango Solutions、北京迪美斯科技发展有限公司、北京国政通、北京首航财务管理顾问有限公司、博奥生物有限公司、博纳集团、定谊科技、豆瓣、汇言群知计算机有限公司、其明信息、上海源略数据、同方知网、完美时空、文思创新、现代国际市场研究有限公司、新华信国际信息咨询(北京)有限公司、亚信科技等；
政府部门及事业单位：北京市统计局、北京质量协会、国家减灾中心、国家知识产权局专利局等。

参会人员

用R对收集到的参会者年龄信息进行汇总，得到年龄分布的茎叶图如下：

2nd China-R Beijing              3rd China-R Beijing

18 | 0                                        0 | 18
19 | 0                                    00000 | 19
20 | 0000000                          000000000 | 20
21 | 000000000000                00000000000000 | 21
22 | 0000000000000000000             0000000000 | 22
23 | 000000000000000                00000000000 | 23
24 | 0000000                       000000000000 | 24
25 | 000000000000             00000000000000000 | 25
26 | 000000000000000              0000000000000 | 26
27 | 000000000000                   00000000000 | 27
28 | 000                             0000000000 | 28
29 | 000000                               00000 | 29
30 | 000000                             0000000 | 30
31 | 0                                     0000 | 31
32 | 0                                      000 | 32
33 | 0                                     0000 | 33
34 | 0                                       00 | 34
35 |                                        000 | 35
36 | 0                                        0 | 36
37 |                                          0 | 37
38 | 0                                          | 38

45 | 0                                          | 45

可以看出，与上届会议相比，本届会议一个显著的变化是参会者的年龄结构更加丰富，这从一个侧面说明了R的用户范围正在逐步扩大，不同年龄层的人都开始对R软件产生了兴趣。

与上届会议类似，本届会议的参会人员大都来自高校和科研机构，包括在校学生、高校老师、科研所研究员等；而本届会议同样得到了企业界和政府部门朋友的大力支持，其中有行业分析师、市场研究员、咨询师、政府服务人员、公务员、医药统计分析师、算法工程师、软件工程师等等。

会议内容

本次会议由两部分组成，其中第一天为R语言基础培训，第二天为演讲报告。

6月14日上午，统计之都论坛R版版主、亚信科技有限公司研究员刘思喆为参会者讲解了R软件的历史及其基本的统计计算功能；下午，统计之都创始人、中国R语言会议发起人、美国爱荷华州立大学在读博士谢益辉讲解了R软件的作图功能。本次培训是三届会议以来北京会场举行的首次正式R语言基础培训，取得了良好的反响，同时为国内R软件的推广提供了新的动力。

培训讲稿下载：

6月15日为会议的演讲报告部分，本次会议共进行了九场正式报告，在此要特别感谢各位演讲者热情的参与和支持。以下演讲资料都遵守CC协议：

谢益辉：傻瓜软件是怎样炼成的：用gWidgets包创建图形用户界面（相关程序代码）
江麒：Nlme包及数学建模中的R
李舰：R与文本挖掘
杨仁东：R与Python在昼夜节律分析中的应用
陈堰平：非参数回归的R语言实现
稳国柱：加速R，矢量化运算与并行运算（更详细的介绍请参见这里）
祝迎春：R与因子分析的新发展
甄一松：R/BioConductor在斑马鱼心脏再生领域的应用
胡一睿：R在处理门限自回归模型中的应用

第三届中国R语言会议北京会场演讲者与组织人员合影（右键另存为看大图）

会议展望

在会议结束后的综合讨论中，会议的参会者与会议的组织人员共同交流了中国R语言会议的长期发展问题，就形成会议常务的核心委员会和责任机制达成了共识，并决定要在正式的R会议之外举办经常性的交流活动。如果您对于中国R语言会议有何意见或建议，也请在此提出，谢谢！

从中心极限定理的模拟到正态分布

谢益辉 — Sun, 09 May 2010 04:24:58 +0000

昨日翻看朱世武老师的《金融计算与建模》幻灯片（来源，幻灯片“13随机模拟基础”），其中提到了中心极限定理（Central Limit Theorem，下文简称CLT）及其SAS模拟实现。由于我一直觉得我们看到的大多数对CLT的模拟都有共同的误导性，因此在此撰文讲述我的观点，希望能说清楚CLT的真实面目，让读者对它有更深刻的理解。

一、中心极限定理说了什么

从广义的角度来讲，CLT说的是一些随机变量之和（在n趋于无穷的时候）趋于正态分布，条件是这些随机变量之间相关性不要太严重，每个随机变量自身的方差相对来说不要太大。我们平时看到的都是CLT的最简单的形式：随机变量独立同分布，方差有限。实际上独立同分布不是必要的条件。要理解这段话，我们就得去思考一下Lindeberg条件或Liapounov条件的含义，以及非独立情况下的CLT。而CLT为什么偏偏选中了正态分布呢？这主要是泰勒展开的功劳（注1），加上特征函数作为“催化剂”，捣鼓半天，最后一看，特征函数的极限形式正是正态分布。本文不打算走到这样偏僻的数学角落，只是先介绍一下CLT的前世今生，当我们在统计理论上犯迷糊的时候，回溯到事情的最原始状态，往往能让头脑更清醒（注2）。

即使是最简单的CLT，我觉得几乎所有做模拟的人都走入了一个误区，就是把钟形密度曲线解释为正态分布。给一个非正态的总体分布，重复计算若干次样本均值，把密度以直方图或密度曲线的形式画出来，给观众们说，看：钟形曲线！群众们一看，哇，原本是左偏/右偏/水平的密度，现在真的变成了对称的钟形曲线。于是乎不得不信服CLT的魔力。

二、中心极限定理的模拟

我们缺的不是钟形曲线，而是样本均值的分布和正态分布差多少的指标。这一点在下面第3小节中再谈，先看几个常见的模拟例子。

1、对称的钟形曲线不代表正态分布

很多人喜欢用掷骰子的例子来讲中心极限定理，大意是将两次独立掷骰子的结果加起来，看这个和的分布。我犹记当年人大一位老师给我们上抽样就举了这个例子说明CLT的魔力：看，即使样本量为2，得到的分布也是正态分布！恰好昨天在朱老师的幻灯片中又看到这个例子，不禁感叹这样一个糟糕的例子竟然经久不衰。这个例子的骗局在哪儿呢？其实很简单：在于掷骰子得到的结果的“对称性”，换句话说，结果是1、2、3、4、5、6，这6个数字围绕其均值3.5左右对称，因此两次骰子的结果加起来也围绕7对称，再画个图，两边低，中间高，看似正态分布好像出来了。朱老师的SAS代码如下：

data a;
do x1=1 to 6;
do x2=1 to 6;
output;
end;
end;  /*模拟掷骰子两次，生成36行数据*/
data a;
set a;
x=sum(x1,x2);
proc univariate data=a noprint;
var x;
histogram/normal (mu=est sigma=est);
run;

先跑题说一处细节：这段代码中的直方图不合适，因为我们知道结果x只可能是整数，而（SAS）直方图默认的分组也会以整数为边界，每个边界上的整数都被归到右边的条中去了，而这个所谓的直方图其实只是个条形图：展示每种结果的频数。所以这种情况下认为指定非整数的分组边界才能显示数据真实的分布。以下是R代码：

x = rowSums(expand.grid(1:6, 1:6))
hist(x, breaks = seq(min(x) - 0.5, max(x) + 0.5, 1), main = "")

两次掷骰子得到的结果之和的分布

样本量为2的时候真的得到正态分布了么？CLT确实有它的神奇之处，但还没那么神奇。以上结果如我前文所说，仅仅是由于样本空间中的元素的对称性，所以得到了一副对称的图形，看起来像是正态分布，如果我们再用另外6个数字试验一下，马上就看穿这种迷惑了，我把最后一个数字换成15再看直方图：

d = c(1, 2, 3, 4, 5, 15)
x = rowSums(expand.grid(d, d))
hist(x, breaks = seq(min(x) - 0.5, max(x) + 0.5, 1), main = "")

6个数字中2个样本之和的分布

如何？“正态分布”哪里去了？客官是否能看清骰子中的中心极限定理谎言了？

2、直方图上添加正态密度曲线有误导性

在我还会用SPSS的年代（大约是SPSS 15.0），我就发现SPSS的一个荒唐之处，它的直方图有个选项，可以控制是否添加正态密度曲线。我们被“正态”毒害得多深，从这些软件设置就可以看出来。为什么只能加正态密度曲线，而不能加数据自身反映出来的核密度估计曲线？换句话说，数据的分布一定要是正态么？

我们看CLT的模拟，很多人也喜欢在直方图上加上正态分布密度曲线，这有一定道理：可以看直方图跟正态密度的差异有多大。然而，我们却很少见直方图上的核密度曲线（注3）。既然是要作比较，就拿最可比的去比，比如曲线对曲线，直方图对直方图，人眼本来就是不精确的测量工具，那么制图者就应该提供尽量准确而方便的参照系。

3、给出拟合好坏的指标

综上，我在两年多以前已经把这些CLT模拟的想法写成函数收录在R包animation中，参见函数clt.ani()。代码及输出如下：

if (!require(animation)) install.packages("animation")
library(animation)
ani.options(interval = 0.1, nmax = 100)
par(mar = c(4, 4, 1, 0.5))
clt.ani()

中心极限定理模拟：从指数分布到正态分布

这个CLT模拟的过程很简单：给一个总体分布（默认为右偏的指数分布），在给定样本量n时不断重复抽样分别计算样本均值，一直这样计算obs个均值，并画出它们的直方图和相应的核密度估计曲线；然后随着n增大，看相应的样本均值分布如何。此外，我使用了Shapiro正态性检验来检验这些均值的正态性，并把P值取出来画在下半幅图中。这样我们就很清楚地知道，对于每一种样本量（n = 1, …, 100），我们的样本均值究竟离正态分布多远。此处P值就充当了一个拟合好坏的指标。可以看出，上面的动画中，当样本量n超过20之后，P值会普遍偏大，也就是样本均值的分布和正态分布比较接近（严格来说，是“不能拒绝正态分布”），但也不能保证样本量大就一定意味着正态分布，譬如上图中n=40的时候P值就很小。

三、小结

正态分布在统计中的地位如此之重要，以至于人们几乎认为正态是一种自然而然的分布，本文想说明的是，正态有它的自然性（参见注1），但我们不能逮着两边低中间高的东西都叫正态（参见小学课文《小蝌蚪找妈妈》）；做模型或分析数据之前，先清空脑子里的这种“正态教义”，用事实说话。

另外，前面胡江堂挖了个大坑，大家跳进去争论了半天SAS和R的问题，我在这里也挖个小坑：就模拟而言，如果有SAS用户愿意研究一下，我想知道朱老师的SAS模拟代码是否有改进的余地。SAS自70年代创立，过了二十多年才引进“函数”这种杀人越货编程必备之工具，一直以来都是“宏”的天下，说它“恐龙”应该也不冤枉吧。朱老师幻灯片中的长篇SAS代码，如果用R改写，应该都不会超过三五行甚至一行（注4），而反过来可能就麻烦了，比如上面的动画（用SAS怎么写？），它用R之所以方便，是因为R大量的统计相关的函数可任意调用，而图形也很灵活，可以把P值动态写在图例的位置，也可以愿意把样本量n作为下标动态写在旁边。

脚注

注1：以我的浅见，统计学中绝大多数极限正态分布的来源都是泰勒展开，主要是因为泰勒展开中有一个平方项，这个东西和正态分布的密度函数（或特征函数）看起来形式相似，再加上一些对高次项的假设（使它们在极限中消去），正态分布也就来了。另一个典型例子是极大似然估计的渐近正态性：泰勒展开中一阶导数为零，剩下二阶像正态。此外，正态分布有个独特的特点，就是它的密度函数和特征函数长得很像，冥冥之中也主导了很多统计量的分布（这一点我还没太想清楚）。

注2：我很少见统计学家强调这种想法的重要性，仿佛大家都埋在公式堆里都推导得倍儿高兴。有两个例外：一个是Brian Ripley教授，我在看他的一份幻灯片Selecting amongst large classes of models的时候发现他竟然回顾了AIC的假设条件——这是我见过的唯一一个讲模型选择时会回到数学根源的人；另一个是Ripley的老搭档，Bill Venables，他在他那著名的手稿Exegeses on Linear Models中竟然从泰勒展开来说线性模型的来历，这也是我在所有我读过的线性模型相关的文章和书中看到的唯一一份从泰勒展开角度谈线性模型的材料。我个人并不喜欢数学，但我喜欢看思路。

注3：我的观点是，画直方图尽量加上核密度估计曲线，因为它能刻画数据在任意位置上的密度大小，而直方图的形状则完全受制于分组边界的位置。当然，核密度估计曲线也取决于核函数，但大多数情况下，核函数不会对曲线的形状有太大的影响。不过邱怡轩在前面“有边界区间上的核密度估计”一文中提到的问题很值得注意。

注4：伯努利随机变量之和的分布。SAS代码：

symbol;
goptions ftext= ctext= htext=;

%macro a(n);
data rv;
retain _seed_ 0;
do _i_ = 1 to &n;
binom1 = ranbin(_seed_,&n,0.8); /*ranbin函数返回以seed、n、0.8为参数的二项分布随机变量*/
output;
end;
drop _seed_ _i_;
run;
%mend;

%a(100);

proc univariate data=rv noprint;
var binom1;
histogram/normal( mu=est sigma=est);
inset normal ;
run;

R代码：

a = function(n) hist(rbinom(n, n, 0.8))

什么叫向量化编程？这就是R它爹S语言诞生的原因之一：统计学的编程不应该涉及到那么多繁琐的循环。

Think SAS(一)

胡江堂 — Sun, 18 Apr 2010 07:57:09 +0000

为什么你应该学SAS？本文不想卷入SAS与R，或者与SPSS、S-Plus、Matlab等统计软件孰优孰劣的争论中去，我是说，作为一个有志于投身工业界的统计分析人员，你为什么应该把SAS纳入你的分析工具箱？这会是一篇动员贴，尤其是对广大对数据分析感兴趣的在校生。在默认统计编程语言是R的“统计之都”，我需要拿上面这幅图来吸引眼球：学SAS吧。

R是好东西，不只是在COS，现在全世界的统计系和统计学生当中，R是主导性的学术语言。但不妙的是，国内高校学生中，学SAS的明显少了，医药、金融等行业经常苦于招不到合适的SAS程序员。在统计分析领域，SAS是主导性的工业语言，它与R，不应该是此消彼长的关系。工业界与学院的隔膜，现在我感觉是非常明显。下面讲的就是，关于SAS，我们在学院可能不太关注的事实。

0. SAS是什么？

这是一个问题，SAS已经不是你所想象的那个样子。作为一家年收入超过20亿美元的、全球最大的独立BI/分析厂商，SAS就是那家由Dr. Jim Goodnight领导的私人公司。作为一个庞大的软件系统，以下只是SAS系统的一个不完整、不系统的介绍：

1.传统SAS（编程驱动）

1-1 基础模块（Base SAS）：包括类似于PL/L的第四代编程语言data steps、SQL、ODS、XML Engine、Macro以及大量的内置函数（支持Perl 正则表达式）和过程步(procedures)等。对一个SAS程序员来说，这个BASE模块几乎就是全部（说学SAS，就是先学这个，这不需要统计背景或者计算机背景）。又，狭义的SAS Base仅指data steps。

1-2 数据存取模块（SAS/ACCESS）：支持大量的PC文件（除文本文件外，还包括Excel、SPSS的.sav、Stata的.dta等等）以及所有主流的关系数据库及ERP系统（Oracle、SAP、SQL Server、DB2、MySQL等等）

1-3 作图模块(SAS/GRAPH)：SAS作图功能强大，只是模样够土。新版SAS 9.2在这块有不少让人兴奋的改进，比如支持ODS、TrueColor、ActiveX、SVG（Scalable Vector Graphics）等，另外还加了一个graph editor，新潮不少。

1-4 统计分析模块(SAS/STAT ) ：包括回归模型、方差分析模型、混合模型、贝叶斯分析、分类数据分析、多元分析（主成分和因子分析等）、判别分析、聚类分析、生存分析、非参数分析等，多是我不熟悉的领域，只管罗列。有个Stat Studio支持R。

1-5 时间序列与计量经济学模块（SAS/ETS ）：同上，X11、X12、ARIMA、PANEL、AUTOREG、……。又，做资产组合等投资分析也是在这个模块。

1-6 矩阵运算模块(SAS/IML) 1-7 运筹学模块(SAS/OR) 1-8 地理信息系统模块(SAS/GIS) …… 以上部分是大部分SAS高校用户能接触到的东西，主要用命令行实现功能。下面则是有GUI的客户端工具，一般都用它们作计算引擎。

2. 客户端工具

2-1 元数据管理(SAS Management Console，SMC):元数据(metadata)就是关于数据的数据。最简单的，一个数据集的变量属性就是metadata。SMC是SAS产品元数据管理的统一中心。

2-2 ETL工具(SAS Data Integration Studio)：ETL就是数据抽取(Extract)、转换(Transform)和加载(Load)。完成企业数据处理的工具还有SAS OLAP Cube Studio、SAS Information Map Studio等。

2-3 数据挖掘模块(SAS Enterprise Miner，EM) ：SAS的重磅产品之一。5以上是Java客户端版本，用户体验增进不少。

2-4 综合分析工具包(SAS Enterprise Guide，EG): 有完善的GUI界面，完成SAS从数据整合、分析到报表的一系列功能。EG与JMP，是SAS公司的两个明星产品。 ……

3. 其他

3-1 统计探索软件包JMP：这是一个独立于Base SAS的软件，由SAS公司的二把手John Sall主管，界面很炫，功能很强，让业务人员爱不释手那种。JMP9支持R。 ……

以及，由以上SAS产品整合打包、再加上业务规则支持形成的各种SAS行业解决方案，广泛运用于金融、通信、能源、政府、医药、保险、制造、零售等各个行业。 SAS不仅仅是一款统计软件，它的官方定位是“商务分析和商务智能软件”(Business Analytics and Business Intelligence Software, BA & BI)。现在我们的重点放回SAS 1.1 即Base SAS上来。

1. SAS是最流行的数据分析类语言

我们看一个编程语言4月份的排名，来自TIOBE。TIOBE编程语言排名是各种程序语言流行程度的指标，每月更新。它参考全球范围内的技术工程师、培训师以及第三方厂商的意见，通过google、MSN、Yahoo!等常用的搜索引擎搜索结果来计算每种编程语言的流行指数。这个排行榜是程序员查看自己掌握的编程技能是否过时的权威参考之一。具体的评分标准，可以参阅其官分评分文档。现在最新的排行榜是（前20名，2010年4月）：

这个TIOBE排名，有它自身的局限。比如，Google新推出的Go，一时广受追捧，4月的排名噌就上去了，但这并不能代表它的实际流行程度。但长期看来，模式还是很明显，比如，通用型的编程语言C/C++、Java、Perl、Python等一直占据这个榜单的榜首，而SAS，则一直是数据分析类语言的龙头，与Oracle数据库内置的PL/SQL语言不分上下。在2010年4月这份榜单中，我们可以把常见的统计分析类语言（关于“统计分析类语言”，这里表述不够精确，比如Matlab，可以作为统计分析工具用，但更多用在科学计算方面。得其大意了。）单独摘出来做一份表单（Maple、Mathematica、R和SPSS由于在榜单上差异不大，故按字母顺序排序）：

	统计分析语言	TIOBE排名2010年4月
1	SAS	13
2	Matlab	18
3	Fortran	34
4	Maple	#51 to #100
5	Mathematica	#51 to #100
6	R	#51 to #100
7	SPSS	#51 to #100

SAS是工业界最流行的统计分析语言。以前，号称有工业用途的三个统计软件是SAS、S-plus和SPSS，它们都是二十世纪七十年代问世的。S-plus与R同源，根正苗红，前身是上世纪七十年代末诞生于AT&T的贝尔实验室(Bell Labs)的S语言，八十年代末由StatSci公司运作，九十年代初转主MathSoft，2001年公司改组，改名叫Insightful，前年（2008），Insightful又被BI产商Tibco收购，从此，江湖上再也听不到S-plus的名号，它被融入Tibco的一个叫TIBCO Spotfire的分析平台。

再说SPSS，它的历史最早，1968年就有第一个发行版，由当时斯坦福大学的研究生Norman Nie等人发明，原意是Statistical Package for the Social Sciences。1975年SPSS公司成立，1993年上市。2009年，SPSS公司被IBM以12亿美元收购。现在，这家公司称作”SPSS: An IBM Company”，那个软件，叫做PASW (Predictive Analytics SoftWare) 。我们默认的那个SPSS也已经不复存在。

2009年，SAS公司的全球收入是23亿美元，它创立于1976年，比SPSS公司还晚一年。SAS软件1972年就有一个较稳定的发行版。随着BO等BI公司、SPSS等数据分析工具提供商一个个被IT巨头收购，SAS现在是全球最大的独立的BI/分析厂商，迄今没有上市。

2. R和SAS

这里要单独说下R。R现在被认为是SAS的一个潜在竞争者。SAS公司在细分市场上的主要竞争对手是SAP、Oracle、IBM、Microsoft、Teradata、SunGard、Unica等IT厂商。R对SAS的（潜在）威胁，不是体现在软件本身，而是体现在用户尤其是高校用户上。前面提到，R现在是学院里的标准统计语言。随便揪一个统计系的学生问：“为什么学R”。答：“因为课程项目用。”“为什么课程项目用？”答：“因为老师用。”或者“因为谢益辉在用。”

那我们再问R的传道者像谢益辉，“为什么用R？”答：“因为R开源”、“因为R统计功能强大，算法日新月异”、“因为某某大佬用R”等等。——通常，你不会因为，比如“R比SAS好”便去学R，或者“SAS比R好”便去学SAS。但是，假如一个人的时间精力只允许他/她学一门语言，那么，由于学院派益辉同学等的大声疾呼，R的确抢走了SAS的很多高校用户。但如果一个在校生还有额外的时间精力，而且他的志向不限于学院，那么，他或许应该再听听工业界的呼吁。

前面提到“算法日新月异”是R的一个优势，这对学院研究颇有吸引力，但工业界相对就保守些，对新算法的需求就小些。——平常听起来“保守”似乎是一个不太积极向上的词，但想想，一个法官应该是保守的，在统计学的假设检验里，遵守的其实也是一个保守原则。举个例子，在学院研究中，Bayesian（贝叶斯分析）在概念上已经不是那么新潮了，但在医药行业（就是那个由保守的药监局如FDA监管的行业），现在用的还是传统的Frequentist方法（参见ICH E9，Statistical Principles for Clinical Trials）。学院里的优势不必然是工业界的优势，那么你为什么不额外再学一门SAS，这个工业界的金标准？以前说过，R的不足刚好是SAS所长，反之亦然。

又，有在校生说，R免费，而SAS是商业软件，故学R，——这是一个不成熟的、人云亦云的说法。你在学校实验室能免费学到SAS，以后你的东家自然会为SAS软件买单。费用不是你应该考虑的问题。

3. SAS可以作为一门职业

从实际的角度来说，有一个工种就叫做SAS程序员(SAS Programer, 或叫做Statistical SAS Programmer、Statistical Analyst)。在全球最大的求职网站www.monster.com，分别以SAS等作为skill关键词，搜索结果如下（测试时间：2010-04-13，你现在看到的会有细微的差别）：

1645 SAS jobs

577 Matlab jobs

329 SPSS jobs

87 Fortran jobs

59 STATA jobs

59 Maple jobs

24 Mathematica jobs

这是英语世界的大致情况。说说我们身边的机会。SAS使用者大多集中在医药、金融等行业。现在国际上的大药厂（辉瑞、拜耳、诺华，……）纷纷在中国开研发中心，对生物统计师（Biostatistician，包括统计师和程序员。程序员就是SAS程序员，而SAS编程也是统计师的基本要求之一）的需求渐长。在金融领域，拿我稍熟悉的信用评分领域来讲，熟悉SAS和数据挖掘的人才也很短缺。另外，广泛的机会还能在国内如火如荼的互联网公司和通信行业找到。

其实，即使不把SAS作为一门职业，对一份分析类的工作，你简历中出现SAS也会比出现其他类似的东西（Excel、……）更能吸引雇主的眼球。SAS被普遍认为是一种重量级的工具。对于统计系的学生，我知道R是你的首选。你需要再学习一门SAS的理由是，SAS是工业界的流行语言。对社会学、经济学等社科类的专业学生来说，你们需要学习SAS，还有一个额外的理由，SAS会让你的背景显得更硬朗一些，大白话就是说，能让文科气息稍微淡一些。对IT类学生来说，学习SAS不会占用你太多时间，然后在就业市场，你的选择会宽广很多。（待续）

我国黄金期货市场的VaR风险度量——基于历史模拟法

邓一硕 — Wed, 14 Apr 2010 13:38:38 +0000

0.引言

VaR(Value at Risk)是上世纪90年代由JP·Morgan公司在风险矩阵中提出的一种新型风险管理工具，作为一种进行金融风险测量和控制的模型，它以简单易操作且统计学理论基础扎实而闻名，相较于传统的金融风险管理模型，其具有更高的实用价值。因此，VaR自诞生以来就得到了广泛的应用，且目前在全世界已发展成为金融市场风险测量的主流方法。

1. VaR方法概述

VaR全称为Value at Risk,直译为“处于风险状态下价值”，又译作“风险价值”或“在险价值”。其含义是指：在市场正常情况时，在指定的概率水平（置信度）下，某一金融资产或证券组合的价值在未来特定持有期T内的最大可能损失，该定义可直观表示为：

VaR的严格的数学定义则由Altzner(1999)给出，即

其中，表示使A成立的所有所组成的集合的下确界，其余符号同上。
目前，典型的VaR的计算方法包括：历史模拟法、蒙特卡洛模拟法、方差-协方差法以及近年来广为流行的Coplus方法。其中，历史模拟法和蒙特卡罗模拟法属于全值估计方法，他们的特色在于不需要对市场因子的统计分布进行假设，因此可以较好地处理金融事件序列中的尖峰和厚尾现象。本文将采用历史模拟法以我国上海黄金期货交易所推出的au0901为研究对象，分析测度au0901的VaR值，最后用Kupiec方法对模型进行有效性检验。

2. 历史模拟法简介

2.1 历史模拟法的定义

历史模拟法是计算VaR的一种非参数方法，通常适用于那些不易取得完整的历史交易资料的金融资产的VaR值的计算。这种方法的核心是用给定历史时期上所观测到的市场因子的变化来表示市场因子的未来变化，也就是说它用历史上金融资产在一定概率水平下所出现的最大损失值作为相应的VaR值。可以形象的说，历史模拟法是一种“以史为鉴”的VaR计算方法。

历史模拟法计算VaR的具体步骤和流程图示如下：

图1 历史模拟法流程图

1、收集数据资料，确定市场因子。

2、确定模拟的时间长度N。

3、对所选取的时间长度N的历史资料计算计算金融资产的收益率。

4、将计算出的收益率按从小到大的顺序进行排序，并按照不同的置信水平计算出相应的分位数，即得到VaR值。

历史模拟法的重点环节是确定合适的历史资料的时间长度N。一般而言，只有足够长的的时间长度，才有可能描述在极端状况下的风险值。如果模拟的时间长度过小，就无法精准刻画金融资产的VaR值。然而，如果模拟的时间长度过长又会因为吸收了过多的历史陈旧信息而是的VaR值的计算不精确。

2.2 历史模拟法的优缺点

1、历史模拟法的优点

（1）不需要对市场因子的统计分布进行假设

历史模拟法完全依赖历史资料进行VaR的计算，不需要对市场因子的统计分布进行假设，可以较精确刻画市场因子的特征，例如一般资产报酬具有的厚尾、偏态现象就可能透过历史模拟法表达出来。

（2）不需对市场因子的波动性和相关性进行假设

历史模拟法不须对资产收益率的波动性、相关性进行假设，因为历史资料已经反应资产报酬波动性、相关性等的特征，因此免除了估计误差的问题，历史模拟法相较于其它方法，较不受到模型风险的影响。

（3）完全评价法

历史模拟法是一种非参数方法，因此无论资产或投资组合的收益率是否为常态或线性，波动是否随时间而改变，皆可采用历史模拟法来衡量其风险值。

2、历史模拟法的缺点

应用历史模拟法计算VaR值主要有以下缺点：

（1）历史资料的耗费大量人力物力

历史模拟法一般需要庞大的历史资料库。数据储存、校对、除错等工作都需要庞大的人力与资金来处理，这是一个复杂繁琐的且极易出错的过程。

（2）极端事件的损失不易被模拟

一般而言，重大极端事件的损失比较罕见，所以在进行历史模拟时，很难将极端事件包罗在内，因此采用历史模拟法是常常无法估计出极端事件的发生。

（3）因子的变动假设

历史模拟法假定未来风险因子的变动会与过去表现相同的假设，然而这不一定可以反映现实状况。随着时间的发展，影响金融资产收益的各种因素都在发生这变化，时过境迁之后，未来的市场因子变化可能会异于历史状况，这是历史模拟法最大的软肋。

3. 模型的检验方法

VaR模型的检验方法有很多种，其中Kupiec（1995）提出的失败率检验法最具权威性和实用性。失败率检验法的基本思想是：如果VaR模型计算的VaR 值是准确的，那么金融资产实际损失超过VaR值的例外可视为从一个二项分布中出现的独立事件，即如果损失小于VaR 值，则为一个成功事件(记为1) ，如果损失大于VaR 值，则视为一个失败的事件(记为0)。在原假设中，P =N/T，其中N 为失败(例外) 天数，即实际损失超过VaR值的天数；1-P为VaR的置信水平； T为实际考察天数。Kupiec 给出了相应的极大似然统计量：

在零假设成立的条件下，统计量LR服从自由度为1的分布。如果统计量值超过了临界值，我们则拒绝原假设；否则，则接受原假设。

4. 实证分析

4.1 数据基本描述

本文以交易活跃且具有代表性和国际影响力的上海黄金期货的代号为au0901的黄金期货为例来探讨所选方法的优劣。所用数据为每个交易日的开盘价格连续数据，数据来源于上海期货交易所。考虑到数据的可得性和有效性，au0901的时间跨度定为2008年1月16日至2008年12月31日。在剔除没有交易的交易日后，期铜连续合约的数据个数为252个。为方便处理，本文将期货收益率定义为，为连续期货合约第t日的开盘价格。这里，首先用R软件对样本数据进行基本描述，样本收益率的序列图和收益率的直方图如下：

图2 收益率的序列图和收益率的直方图

表1：au0901收益率的基本统计特征

N	均值	标准差	偏度	峰度	J-B值	D-W值	Q(25)	Q^2 (25)
251	-0.00072	0.0224	-0.518	1.067	23.928	2.261	27.534[0.3]	47.849[0.03]

由表1可知，au0901的收益序列是右偏的，且峰度大于正态分布的峰度，从而该序列具有尖峰厚尾的特征，且根据J-B统计量我们可以拒绝原序列为正态分布的原假设。另外，由于D-W统计量的值接近于2，说明该收益序列的自相关性微弱。

4.2 计算及检验VaR

1.用历史模拟法计算VaR值

在应用历史模拟法时，本文选取的历史数据模拟长度为25，置信水平为95%。根据2.2中所述方法计算au0901的时变VaR值，将其与实际收益率对比如下:

图3 置信水平95%下的时变VaR值与实际收益率对比图

2.Kupiec检验

用前文所述的Kupiec失败率检验方法对模型的结果进行检验，结果如下：

表2：Kupiec失败率检验结果

样本长度	失败次数	LR统计量	置信水平	P-value
250	16	1.54[<3.84]	95%	0.215

由表2结果可知，在95%置信水平下LR统计量的值小于临界值3.84，因此历史模拟法计算的VaR值通过了Kupiec失败率检验。

4.3 结论

根据前文au0901的VaR的计算结果以及Kupiec的失败率检验结果，我们可以认为：历史模拟法通过了Kupiec失败率检验，可以有效的估计我国黄金期货的风险，适合于我国黄金期货价格的风险度量。

参考文献：

[1]王春峰.金融市场风险管理[M].天津大学出版社，2001.

[2]张尧庭.金融市场的统计分析[M].桂林：广西师范大学出版社,1998：32-120

风险评价的VaR方法简介 (0)

有边界区间上的核密度估计

邱怡轩 — Sun, 11 Apr 2010 05:07:51 +0000

一、一个例子

核密度估计应该是大家常用的一种非参数密度估计方法，从某种程度上来说它的性质比直方图更好，可以替代直方图来展示数据的密度分布。但是相信大家会经常遇到一个问题，那就是有些数据是严格大于或等于零的，在这种情况下，零附近的密度估计往往会出现不理想的情况。下面以一个指数分布的模拟数据为例（样本量为1000），R程序代码为：

set.seed(123);
x=rexp(1000,1);
plot(density(x,kernel="epanechnikov"),ylim=c(0,1.2));
lines(seq(0,8,by=0.02),dexp(seq(0,8,by=0.02),1),col="blue");
abline(v=0,col="red");

可以看出，理论上应该单调递减的密度函数在0附近有明显的“陡坡”，而且不应该有密度的小于零的区域也有着正的估计值。当样本量增大时，这种现象也不会得到明显好转，下图是将样本量改为10000时的情形。

set.seed(123);
x=rexp(10000,1);
plot(density(x,kernel="epanechnikov"),ylim=c(0,1.2));
lines(seq(0,8,by=0.02),dexp(seq(0,8,by=0.02),1),col="blue");
abline(v=0,col="red");

我们也许从平时看的书中了解到，当样本量趋于无穷时，核密度估计值将是收敛到真实的密度函数的，但我们可能不会特意去研究那些结论成立的条件。以上这两个简单的例子似乎给了我们一个直观的感觉，那就是当真实密度函数的支集（函数f(x)的支集指的是使得f(x)≠0的x的集合）有边界时，核密度估计值可能会出现一些不理想的情况。下面就简单地给出一些理论的结果。

二、理论分析

在一些必要的条件下（真实的密度函数f二阶导绝对连续，三阶导平方可积），核密度估计值的偏差有表达式，其中h是带宽，，k(u)是支集为[-1,1]的核函数（即在[-1,1]上有值，其余的地方取零）。可以看出这个偏差是随着带宽h的减小以的速度趋于零的。

而假设密度函数以0为边界，那么上述表达式将不再成立，而是代之以

其中。可以看出，当x>=h时，，，此时的偏差跟之前的那个表达式没有区别；但当0<=x

也许你会提议说，将估计值除以，偏差就可以减小了吧？的确，这样是一种改进的办法，但也要注意到，此时h的一次项不会消除，也就是说原来的衰减速度放慢到了h，从效率上说相对于理想的情况是大打了折扣。

这时候一个巧妙的办法是，用另外一个核函数l(x)对f也做一次估计，那么就有

其中的和意义类似，只不过是针对l(x)的。

对以上两个式子进行线性组合，则会有

然后把f(x)的系数移到等式左边，O(h)项的偏差就神奇地消失了。

通过观察核密度估计的表达式，我们可以将上面这个过程等价地认为是对f(x)用了一个新的核函数进行估计，这个新的核函数是

特别地，如果将l(x)取为x*k(x)，那么p(x)将有一个简单的形式

当x>=h时，这个新的核函数p(x)就是k(x)，而当0<=x

三、程序实现

下面这段程序是对本文的第一幅图进行“整容”，代码及效果图如下：

k=function(x) 3/4*(1-x^2)*(abs(x)<=1);
a0=function(u,h)
{
	lb=-1;
	ub=pmin(u/h,1);
	0.75*(ub-lb)-0.25*(ub^3-lb^3);
}
a1=function(u,h)
{
	lb=-1;
	ub=pmin(u/h,1);
	3/8*(ub^2-lb^2)-3/16*(ub^4-lb^4);
}
a2=function(u,h)
{
	lb=-1;
	ub=pmin(u/h,1);
	0.25*(ub^3-lb^3)-0.15*(ub^5-lb^5);
}
kernel.new=function(x,u,h)
{
	k(x)*(a2(u,h)-a1(u,h)*x)/(a0(u,h)*a2(u,h)-a1(u,h)^2);
}
den.est=function(u,ui,h)
{
	sapply(u,function(u) ifelse(u<0,0,mean(kernel.new((u-ui)/h,u,h))/h));
}
set.seed(123);
dat=rexp(1000,1);
x=seq(0,8,by=0.02);
y=den.est(x,dat,2*bw.nrd0(dat));
plot(x,y,type="l",ylim=c(0,1.2),main="Corrected Kernel");
lines(x,dexp(x,1),col="red");

从中可以看出，边界的偏差问题已经得到了很好的改进。

如果真实的密度函数的支集不是[0,+∞]，而是某一个闭区间[m,n]，那么偏差修正的过程与上面类似，只不过是要将定义为。在编程序的时候，也只需把积分的上下限进行相应的调整即可。

蒙特卡洛方法与定积分计算

邓一硕 — Mon, 08 Mar 2010 09:21:23 +0000

本文讲述一下蒙特卡洛模拟方法与定积分计算，首先从一个题目开始：设，用蒙特卡洛模拟法求定积分的值。

随机投点法

设服从正方形上的均匀分布，则可知分别服从[0,1]上的均匀分布，且相互独立。记事件，则的概率为

即定积分的值就是事件出现的频率。同时，由伯努利大数定律，我们可以用重复试验中出现的频率作为的估计值。即将看成是正方形内的随机投点，用随机点落在区域中的频率作为定积分的近似值。这种方法就叫随机投点法，具体做法如下：

图1 随机投点法示意图

1、首先产生服从上的均匀分布的个随机数（为随机投点个数，可以取很大，如）并将其配对。

2、对这对数据，记录满足不等式的个数，这就是事件发生的频数，由此可得事件发生的频率，则。

举一实例，譬如要计算，模拟次数时，R代码如下：

n=10^4;
 x=runif(n);
 y=runif(n);
 f=function(x)
 {
 exp(-x^2/2)/sqrt(2*pi)
 }
 mu_n=sum(y
模拟次数 时，令,其余不变。
定积分的精确值和模拟值如下：
表1



精确值







0.3413447
0.342
0.344
0.34187
0.341539
0.341302



注：精确值用integrate(f,0,1)求得
扩展
如果你很细心，你会发现这个 方法目前只适用于积分区间 ，且积分函数 在区间上的取值也位于  内的情况。那么，对于一般区间 上的定积分 呢？一个很明显的思路，如果我们可以将  与 建立代数关系就可以了。
首先，做线性变换，令  ，此时，
,。
进一步如果在区间上有 ，令
，
则。此时，可以得到 。
其中,,。
这说明，用随机投点法计算定积分方法具有普遍意义。
举一个实例，求定积分 。
显然，，由于在 上时单调减函数，所以 ，。R中代码为
a=2;
 b=5;
 g=function(x)
 {
 exp(-x^2/2)/sqrt(2*pi);
 }
 f=function(y)
 {
 (g(a+(b-a)*y)-c)/(d-c);
 }
 c=g(5);d=g(2);s_0=(b-a)*(d-c);
 n=10^4;
 x=runif(n);y=runif(n);
 mu_n=sum(y<=f(x));
 J=mu_n/n;
 J_0=s_0*J+c*(b-a);
定积分 的精确值和模拟值如下：
表2



真实值







0.02274985
0.02332792
0.02311736
0.02262659
0.02284152
0.02278524



注：精确值用integrate(g,2,5)求得)
平均值法
蒙特卡洛模拟法计算定积分时还有另一种方法，叫平均值法。这个原理也很简单：设随机变量 服从上的均匀分布，则 的数学期望为

所以估计 的值就是估计 的数学期望值。由辛钦大数定律，可以用 的观察值的均值取估计 的数学期望。具体做法：
先用计算机产生 个服从上均匀分布的随机数： 。
对每一个 ，计算 。
计算。
譬如，计算 ，R中的代码为
n=10^4;
 x=runif(n);
 f=function(x)
 {
 exp(-x^2/2)/sqrt(2*pi)
 }
 J=mean(f(x));
其精确值和模拟值如下：

表3



真实值







0.3413447
0.3405831
0.3410739
0.3414443
0.3414066
0.3413366



平均值法与随机投点法类似可以进行扩展，这里不再赘述。
结论
用蒙特卡洛模拟法计算定积分具有普遍意义。蒙特卡洛模拟方法为我们提供了一个看待世界的新思路，即一个不具随机性的事件可以通过一定的方法用随机事件来模拟或逼近。
相关文章
有边界区间上的核密度估计 (10)
比率估计为什么精确 (5)
最新评论
huang shuai : http://www.stat.columbia.edu/~cook/movabletype/mlm...
谢益辉 : 那要看怎么理解“对维数不敏感”了，如果只是“不限制维数”的话，那这算不上优点，因为高维情况下需要的样...
胡荣兴 : 很久之前用过蒙特卡罗方法，现在都生疏了。蒙特卡罗的好处就是计算简化，不用去考虑那么复杂的积分或微分甚...
邱怡轩 : set.seed()不是为了防止产生相同的随机数，相反，正是为了产生相同的随机数，因为这样一来，每次...
colinisstudent : 我倒是觉得并不是所有的积分问题都值得硬上的，一些问题能够被简化，使得积分问题在相对比较低维的情况下进...

蒲丰投针问题的推广

COS编辑部 — Thu, 07 Jan 2010 12:40:44 +0000

蒲丰投针问题是一个非常经典的问题，两百多年来，一直受到学者们的广泛关注和研究，并衍生出了很多非常有意思的变种问题。本文利用坐标系变换、几何概率方法巧妙地求出了：往矩形网格上随机投椭圆，该椭圆恰好包含在某个矩形中间的概率，并将结果拓展到了平行四边形网格的情形下。

具体内容，参见此pdf文档。

注：

本文作者为中南大学数学院应数专业蔡永强同学，感谢他的授权，使得本文可以在此分享。
附件pdf文档是由手写稿扫描转换而成，也欢迎广大统计学子向COS主站投稿。

第二届中国R语言会议纪要

邱怡轩 — Sun, 20 Dec 2009 07:53:18 +0000

第二届中国R语言会议北京会场合影（右键另存为看大图）

第二届中国R语言会议上海会场演讲者和工作人员合影（右键另存为看大图）

2009年12月5~6日以及2009年12月12~13日，第二届中国R语言会议分别在北京和上海两个分会场成功召开。北京会场由中国人民大学应用统计科学研究中心和中国人民大学统计学院主办；上海会场由华东师范大学资源与环境科学学院、金融与统计学院主办，Mango Solutions咨询公司提供赞助。对R语言在中国的推广做出了杰出贡献的吴喜之教授和谢益辉博士远在美国为本次会议发来祝贺；中国R语言的领军人物、华东师范大学的汤银才老师也应邀参加会议并做了专题报告。两个会场的会议就R语言在众多领域中的应用展开了广泛的交流和讨论，为R语言在中国的进一步应用和推广开辟了更宽阔的道路。

会议主题

本次会议的主题是“无处不在的R”，也即印在参会胸牌上的“use R eveRywheRe”，意指R的应用领域之广；同时，“use R eveRywheRe”又可看成是“useR eveRywheRe”，意指R的使用者遍布四面八方。

从会议的结果来看，演讲的内容和参会者所在的单位都很好地契合了这一主题。

会议概况

参会单位

北京和上海两地会议共吸引了90余家单位共300余人参加，参会单位包括：

高校：北京交通大学、北京科技大学、北京林业大学、北京师范大学、东华大学、东南大学、复旦大学、华东师范大学、华中科技大学、吉林大学、剑桥大学、江苏大学、南京财经大学、南京人口管理干部学院、南京人口学院、南京信息工程大学、清华大学、山东大学、上海财经大学、上海大学、上海电机学院、上海海洋大学、首都经济贸易大学、苏州大学系统生物学中心、西北师范大学、西藏民族学院财经学院、新加坡国立大学、英国杜伦大学、浙江大学、中国科学院研究生院、中国农业大学、中国人民大学、中国石油大学、中南大学、中央财经大学、中央民族大学等
科研机构：东海所、上海交通大学瑞金医院、南京地质古生物研究所、上海生命科学研究所、上海植生所、上海中医药大学附属龙华医院、协和医院基础医学所、宣武医院、有色金属技术经济研究院、中国地质环境监测院、中科院动物研究所、中科院生态中心、中科院西双版纳植物园、中科院系统科学研究所、中国科学院计算机网络信息中心、中国科学院马普计算生物学研究所、中国科学院上海生命科学研究院计算生物学研究所、中国科学院植物研究所、中国林业科学研究院、中国农业科学院、中国食品发酵工业研究院、中国水稻研究所等
公司企业：Alipay、CUPL、IMShealth、Iresearch、Mango Solutions、SAS Institute、SIPPE、SPSS China、北京瑞丽杂志社、北京中彩在线科技有限责任公司、贝塔斯曼集团、方正科技集团股份有限公司、好耶、科瑞纳、摩托罗拉、欧维特服务、赛诺菲巴斯德生物统计中国部、上海汇众汽车制造有限公司、上海源略数据、思创软件、拓普公司、网秦、新华信国际信息咨询(北京)、中科软科技股份有限公司、中芯国际等
政府部门及事业单位：北京市质量协会、国家统计局、国家知识产权局专利局、宁波市疾控等

参会人员

用R对填写了年龄信息的参会人员数据进行汇总，得到年龄分布的结果如下：

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
  18.00   22.00   24.00   24.93   27.00   45.00

  18 | 00
  20 | 00000000000000000000000000000
  22 | 00000000000000000000000000000000000000000000000000000000000000000000
  24 | 0000000000000000000000000000000000000
  26 | 000000000000000000000000000000000000000000
  28 | 0000000000000
  30 | 0000000000
  32 | 000000
  34 | 0000
  36 | 000
  38 | 00
  40 |
  42 |
  44 | 0

从中不难看出R的使用者大体是年轻一代，同时也不乏年龄稍大、经验丰富的一批人。

参会的人员大都来自高校和科研机构，包括在校学生、高校老师、科研所研究员等；来自企业和政府部门的朋友也对本次会议给予了极大的关注和支持，他们的职业包括了程序员、软件工程师、系统分析师、公务员、数据挖掘工程师、公司职员、咨询师等等。

会议演讲

本次会议要特别感谢各位演讲者的大力支持，他们为演讲报告付出了大量的精力和时间，有的不远千里奔赴两地进行演讲，有的则是通宵达旦修改讲稿。在总共为期四天的会议时间中，共举行了正式演讲34场，其中北京会场19场，上海会场15场。以下演讲资料都遵守CC协议，其中部分遵守CC2.5协议：

北京会场：

陈堰平：会议开幕及R语言基础
高涛、李程：统计图形概览与其在R下的实现
关菁菁：RExcel应用数据挖掘方法现代发展趋势
钟其顶：R在食品标准研制中的应用与展望
肖楠：R环境安全特性初探与前瞻
宫雨：Integrate R into Your C/C++ Application using Visual C++ 2008（CC2.5）
刘永生：地质环境调查监测研究中的R应用
奚潭：R在灰色系统理论方面的应用
刘思喆：R在大规模数据整理及自动化报告方面的应用
祝迎春：R在市场研究中的应用
孙晓燕、王婷：R心理学笔记
左辰：非参数方法与稳健性估计初探（CC2.5）
魏太云：矩阵可视化及corrplot包的介绍
陈丽云：从经济学到R语言：在经济和计量中使用R（CC2.5）
孙蝶：R在近红外光谱分析中的应用
王化儒：R在空间分析中的应用初探
丁鹏：R and WinBugs
马斌：应用omd包对QSAR分析中分子结构参数矩阵的优化
黄志一：WebR–R在线分析及在大气数据分析中的应用

上海会场：

汤银才老师：R与WinBUGS
林光启：R和统计在半导体界的应用
魏太云：矩阵可视化及corrplot包的介绍（见北京会场）
高涛、李程：统计图形概览与其在R下的实现（见北京会场）
王卫杰：基于rpart包的决策树应用
于怡：Survival Analysis in R
马斌：应用omd包对QSAR分析中分子结构参数矩阵的优化（见北京会场）
奚潭：R在灰色系统理论方面的应用（见北京会场）
陈丽云：从经济学到R语言：在经济和计量中使用R（见北京会场）
肖楠：R环境安全特性初探与前瞻（见北京会场）
刘思喆：153分钟学会R
刘思喆：R在大规模数据整理及自动化报告方面的应用（见北京会场）
李舰：R在应用领域的扩展——JAVA开发和最优化
谢益辉（刘思喆代讲）：怎么写R包
林帧舜：Marketing Analytical Framework

会议展望

在谢益辉博士的建议下，未来的R语言会议可能会邀请到R核心团队（R Development Core Team）成员来中国进行演讲和交流，并希望以暑期学校的形式让更多的人参与到R语言的学习中；
在第一届R语言会议的基础上，本届会议采取了北京和上海两个分会场的形式举办，今后有望将会议的地点转向国内更多的地区，使得R语言的影响力进一步扩大；
为加强大家的交流与合作，平时可以在全国各地举办更多的小型讨论会，巩固和丰富年度R语言会议的成果；
更多，请畅所欲言……

会议报道

本次会议的很多组织者和参会者都在博客和论坛帖子中记录下了自己眼中的R语言会议，现收录如下：

同时也欢迎您将自己在会议期间的照片、感想等与大家一起分享！

附录：用R生成会议胸牌

本次会议所用的胸牌完全是用R代码生成的，其中用到了rimage这个包（现在CRAN上不再提供rimage包的Windows版本，如果想要测试代码的话可以到这里下载一个较早版本的rimage包）：

#字符画
library(rimage)
plot.ch = function(ch, pch = "#", cex = 3) {
    height = 15 * cex
    width = 15 * cex * nchar(ch)
    jpeg("rtemp.jpg", width = width, height = height)
    par(mar = c(0, 0, 0, 0))
    plot(1, type = "n", ann = FALSE, axes = FALSE)
    text(1, 1, labels = ch, cex = cex)
    dev.off()
    m = read.jpeg("rtemp.jpg")
    unlink("rtemp.jpg")
    m.grey = rgb2grey(m)
    m.black = ifelse(m.grey < 0.5, 0, 1)
    v = which(m.black == 0, arr.ind = TRUE)
    return(v)
}

#胸牌制作
draw.card = function(contact) {
    if (require(rimage)) {
        x = read.jpeg(file.path(R.home(), "doc/html/logo.jpg"))
        lim = dim(x)[1:2]
        par(mar = rep(0, 4), cex = 0.7)
        a1 = plot.ch("use", cex = 5)
        v1 = a1[seq(1, nrow(a1), by = 3), ]
        a2 = plot.ch("eveRy wheRe", cex = 3)
        v2 = a2[seq(1, nrow(a2), by = 3), ]
        for (i in 1:nrow(contact)) {
            plot(0, xlim = c(-0.5, 1.5) * lim[1], ylim = c(-1.9,
                2.1) * lim[2], axes = FALSE, ann = FALSE, type = "n",
                asp = 1)
            plot(x, add = TRUE)
            text(0.5 * lim[1], 1.9 * lim[2], "第二届中国R语言会议",
                cex = 2.5)
            text(0.5 * lim[1], 1.4 * lim[2], "The 2nd Chinese R Conference\n(Beijing)",
                cex = 1.7)
            text(0.5 * lim[1], 1 * lim[2], "北京，2009.12.5-6",
                cex = 1.5)
            text(0.5 * lim[1], -0.6 * lim[2], contact[i, 1],
                cex = 2.4)
            text(0.5 * lim[1], -1 * lim[2], contact[i, 2], cex = 1.5)
            text(-1.6 * lim[1], -1.3 * lim[2], paste("主办：中国人民大学应用统计科学研究中心 (www.applstats.org)",
                "　　　中国人民大学统计学院 (stat.ruc.edu.cn)",
                "协办：统计之都网站 (http://cos.name)", sep = "\n"),
                cex = 1, adj = c(0, 1))
            text(1.9 * lim[1], -1.8 * lim[2], paste("ID:", contact[i,
                3]))
            points(v1[, 2] - 160, 60 - v1[, 1], pch = "#", cex = 0.5)
            points(v2[, 2] - 180, -v2[, 1], pch = "#", cex = 0.5)
        }
    }
}

# 示例
contact = data.frame(name = c("张三", "李四"), unit = c("张家村",
    "李家店"), id = c(1001, 1002))

# 写入PDF文件
pdf(width = 3.5, height = 4.5, family = "GB1")
draw.card(contact)
dev.off()

也谈提高R语言的运算效率

谢益辉 — Mon, 14 Dec 2009 08:38:22 +0000

用过底层语言做计算的人转入R语言的时候一般都会觉得R语言的运算太慢，这是一个常见的对R的误解或者对R的设计的不理解。在二三十年前Chambers等一群人在贝尔实验室设计S语言之前，统计计算主要是通过那些底层语言实现的，典型的如Fortran。当时有一个基于Fortran的统计分析库，用它的麻烦就在于无论做什么样的数据分析，都涉及到一大摞繁琐的底层代码，这让数据分析变得很没劲，统计学家有统计学家的事情，天天陷在计算机程序代码中也不是个办法，要摆脱底层语言，那就只能设计高层语言了。有所得必有所失，众所周知，高层语言一般来说比底层语言低效，但对用户来说更友好。举个简单的例子，用C语言计算均值时，我们得对一个向量（数组）从头循环到尾把每个值累加起来，得到总和，然后除以向量的长度，而均值在统计当中简直是再家常便饭不过了，要是每次都要来这么个循环，大家也都甭干活儿了，天天写循环好了。

前两天COS论坛上有个帖子提到“R语言的执行效率问题”，大意如下：

有120000行数据，用perl写成12万行R命令做t.test，然后执行，大概几分钟就算完了。如果只用R语言，把所有数据先读入，然后用循环，每一行做t.test，花了几个小时，到现在还没有算完。这说明一个问题，在R里执行单行命令要比用循环快，涉及到循环的问题，最好写成单行命令执行。

我不清楚作者是如何写这“12万行”R命令的，本文假设是把t.test(dat[i, ]), i = 1, 2, ..., 120000写入一个文件，然后用source()执行之。面对这样一个问题，我们有若干种改进计算的可能性。首先我们看“硬”写入程序代码的方法：

## 为了使计算可重复，设定随机数种子
set.seed(123)
## 生成数据，随机数，120000行 x 100列矩阵
dat = matrix(rnorm(120000 * 100), 120000)
nr = nrow(dat)
nc = ncol(dat)
## 六种方法的P值向量
p1 = p2 = p3 = p4 = p5 = p6 = numeric(nr)

## via source()
f = file("test.t")
writeLines(sprintf("p1[%d] = t.test(dat[%d, ])$p.value",
    seq(nr), seq(nr)), f)
system.time({
    source(f)
})
#   user  system elapsed
#  95.36    0.19   95.86
close(f)
unlink("test.t")

1、向量式计算：`apply()`以及`*apply()`

当我们需要对矩阵的行或者列逐一计算时，apply()系列函数可能会提高效率。本例是对矩阵的行做t检验，那么可以这样计算：

## via apply()
system.time({
    p2 = apply(dat, 1, function(x) {
        t.test(x)$p.value
    })
})
#   user  system elapsed
#  63.12    0.06   63.50
identical(p1, p2)
# [1] TRUE

结果比第一种方法快了大约半分钟，而且计算结果完全一样。apply()本质上仍然是循环，但它在某些情况下比直接用显式循环要快：

## via for-loop
system.time({
    for (i in seq(nr)) p3[i] = t.test(dat[i, ])$p.value
})
#   user  system elapsed
#  69.88    0.03   70.05
identical(p2, p3)
# [1] TRUE

不过apply()系列函数在提高运算速度上优势并不会太明显，提倡用它的原因是它和统计中的矩阵运算相似，可以简化代码，相比起，我们可能更愿意看这样的表达式。很多R内置函数都是用底层语言写的，我们需要做的就是把一个对象作为整体传给函数去做计算，而不要自行把对象分解为一个个小部分计算，这个例子可能更能体现向量式计算的思想：

system.time(apply(dat, 1, mean))
#   user  system elapsed
#   5.28    0.04    5.25
system.time({
    x = numeric(nr)
    for (i in 1:nr) x[i] = mean(dat[i, ])
})
#   user  system elapsed
#   4.44    0.02    4.42
system.time(rowMeans(dat))
#   user  system elapsed
#   0.11    0.00    0.13

2、明确计算的目的

很多情况下，R函数返回的不仅仅是一个数字作为结果，而是会得到一系列诸如统计量、P值、各种系数等对象，在我们调用R函数之前如果能想清楚我们究竟需要什么，也许对计算的速度提升有帮助。比如本例中，也许我们仅需要12万个双边P值，其它数字我们都用不着，那么可以考虑“手工”计算P值：

## "hand" calculation in R
system.time({
    p4 = 2 * pt(apply(dat, 1, function(x, mu = 0) -abs((mean(x) -
        mu)/sqrt(var(x)/nc))), nc - 1)
})
#   user  system elapsed
#  15.97    0.07   16.08
identical(p3, p4)
# [1] TRUE

上面的计算更“纯净”，所以计算速度有了本质的提升，而且计算的结果和前面毫无差异。在做计算之前，人的脑子多思考一分钟，也许计算机的“脑子”会少转一个小时。

3、把四则运算交给底层语言

R是高层语言，把它拿来做简单的四则运算是很不划算的，而且容易导致程序低效。加加减减的活儿是C和Fortran等底层语言的强项，所以可以交给它们去做。以下我们用一段C程序来计算t统计量，然后用R CMD SHLIB将它编译为dll（Windows）或so（Linux）文件，并加载到R中，用.C()调用，最终用R函数pt()计算P值：

## "hand" calculation in C for t-statistic
writeLines("#include 

void calc_tstat(double *x, int *nr, int *nc, double *mu, double *tstat)
{
    int i, j;
    double sum = 0.0, sum2 = 0.0, mean, var;
    for (i = 0; i < *nr; i++) {
        for (j = 0; j < *nc; j++) {
            sum += x[i + j * *nr];
        }
        mean = sum / (double) *nc;
        sum = 0.0;
        for (j = 0; j < *nc; j++) {
            sum2 += (x[i + j * *nr] - mean) * (x[i + j * *nr] - mean);
        }
        var = sum2 / (double) (*nc - 1);
        sum2 = 0.0;
        tstat[i] = (mean - *mu) / sqrt(var / (*nc - 1));
    }
}", "calc_tstat.c")
system("R CMD SHLIB calc_tstat.c")
dyn.load(sprintf("calc_tstat%s", .Platform$dynlib.ext))
system.time({
    p5 = 2 * pt(-abs(.C("calc_tstat", as.double(dat), nr, nc,
        0, double(nrow(dat)))[[5]]), nc - 1)
})
#   user  system elapsed
#   0.86    0.06    0.92
dyn.unload(sprintf("calc_tstat%s", .Platform$dynlib.ext))

因为R可以用system()调用系统命令，所以整个过程全都可以用R完成，Windows用户需要安装Rtools并设置系统环境变量PATH才能使用R CMD SHLIB。

更进一步，因为R自身的一些C程序也是可供用户的C程序调用的，所以我们可以把整个P值的计算过程全都扔进C代码中，一步完成：

## "hand" calculation in C calling Rmath.h
writeLines("#include 
void calc_pvalue(double *x, int *nr, int *nc, double *mu, double *pval)
{
    int i, j;
    double sum = 0.0, sum2 = 0.0, mean, var;
    for (i = 0; i < *nr; i++) {
        for (j = 0; j < *nc; j++) {
            sum += x[i + j * *nr];
        }
        mean = sum / (double) *nc;
        sum = 0.0;
        for (j = 0; j < *nc; j++) {
            sum2 += (x[i + j * *nr] - mean) * (x[i + j * *nr] - mean);
        }
        var = sum2 / (double) (*nc - 1);
        sum2 = 0.0;
        pval[i] = 2 * pt(-fabs((mean - *mu) / sqrt(var / (*nc - 1))),
                      (double) (*nc - 1), 1, 0);
    }
}", "calc_pvalue.c")
system("R CMD SHLIB calc_pvalue.c")
dyn.load(sprintf("calc_pvalue%s", .Platform$dynlib.ext))
system.time({
    p6 = .C("calc_pvalue", as.double(dat), nr, nc, as.double(0),
        double(nrow(dat)))[[5]]
})
#   user  system elapsed
#   0.83    0.07    0.91
dyn.unload(sprintf("calc_pvalue%s", .Platform$dynlib.ext))

头文件Rmath.h的引入使得我们可以调用很多基于C程序的R函数，详情参考手册Writing R Extensions。通过C计算出来的P值和前面用R算的略有差异，下面画出p6 - p1 vs p1以及p6 - p5 vs p5的图：

P值的差异

导致差异的原因此处不细究，感兴趣的读者可以帮忙检查一下。

小结

若你熟悉底层语言，计算又不太复杂，那么可用底层语言写，然后用R调之；
否则把R对象当做整体去计算，能做x + 1就不要做for (i in length(x)) x[i] + 1
不要低估R core们的编程水平，他们已经做了很多工作让用户脱离底层编程

注：本文中的运算时间可能不可重复，这与计算机所处的状态有关，但大体来说，运算速度的快慢是可以肯定的。本文仅仅是关于统计计算的一个微小的例子，以后若有更好的例子，可能会更新本文；也欢迎各位提供更多示例。

真实值
0.02274985	0.02332792	0.02311736	0.02262659	0.02284152	0.02278524

真实值
0.3413447	0.3405831	0.3410739	0.3414443	0.3414066	0.3413366

统计之都

泊松低方差计数数据建模问题

一、问题的引出

二 两种泊松低方差问题的处理方法

1. 加权泊松分布

2. 纯生过程模型（CBR）

三、参数估计

四、数据实例

1. 加权泊松分布

2. CBR分布

3. 组别分析

五、结论

这个……好像没有相关文章，客官看点儿别的吧

最新评论

第三届中国R语言会议（北京会场）纪要

会议概况

参会单位

参会人员

会议内容

会议展望

相关文章

最新评论

从中心极限定理的模拟到正态分布

一、中心极限定理说了什么

二、中心极限定理的模拟

1、对称的钟形曲线不代表正态分布

2、直方图上添加正态密度曲线有误导性

3、给出拟合好坏的指标

三、小结

脚注

相关文章

最新评论

Think SAS(一)

0. SAS是什么？

1.传统SAS（编程驱动）

2. 客户端工具

3. 其他

1. SAS是最流行的数据分析类语言

2. R和SAS

3. SAS可以作为一门职业

相关文章

最新评论

我国黄金期货市场的VaR风险度量——基于历史模拟法

0.引言

1. VaR方法概述

2. 历史模拟法简介

2.1 历史模拟法的定义

2.2 历史模拟法的优缺点

3. 模型的检验方法

4. 实证分析

4.1 数据基本描述

4.2 计算及检验VaR

4.3 结论

参考文献：

相关文章

最新评论

有边界区间上的核密度估计

一、一个例子

二、理论分析

三、程序实现

相关文章

最新评论

蒙特卡洛方法与定积分计算

相关文章

最新评论

蒲丰投针问题的推广

相关文章

最新评论

第二届中国R语言会议纪要

会议主题

会议概况

参会单位

参会人员

会议演讲

会议展望

会议报道

附录：用R生成会议胸牌

相关文章

最新评论

也谈提高R语言的运算效率

二两种泊松低方差问题的处理方法

1、向量式计算：`apply()`以及`*apply()`