COS访谈第23期:尹建鑫老师

【COS编辑者按】受访者:尹建鑫      采访者:王小宁     校对:王佳    

尹建鑫       中国人民大学副教授,2009年在北京大学获得博士学位。2009年至2011年在美国宾夕法尼亚大学医学院生物统计系做博士后研究。2011年8月回国到中国人民大学任教。从事高维变量选择、图模型估计、结构学习算法、自适应实验设计、非参数统计等方面的研究。研究成果发表在国际知名统计杂志上(Annals of Applied Statistics, Journal ofMultivariate Analysis,Statistica Sinica)及Journal of Machine Learning Research的W&CP系列中。曾多次参加国际、国内学术会议,做演讲、邀请报告。并曾作为参赛队代表获因果与预测国际挑战赛“最佳整体贡献奖”。目前主持一项国家自然科学基金青年项目、一项教育部博士点基金项目。2015年获教育部第七届高等学校科学研究优秀成果奖(人文社会科学)统计学三等奖

继续阅读COS访谈第23期:尹建鑫老师

共轭梯度法计算回归

共轭梯度示意图(图片来源:维基百科)
轮回眼 共轭梯度示意图(图片来源:维基百科

引子

之所以写这篇文章,是因为前几天统计之都的微信群里有同学提了一个问题,想要对一个很大的数据集做回归。然后大家纷纷给出了自己的建议,而我觉得共轭梯度算回归的方法跟这个背景比较契合,所以就正好写成一篇小文,与大家分享一下。

说到算回归,或许大家都会觉得这个问题太过简单了,如果用 $X$ 表示自变量矩阵,$y$ 表示因变量向量,那么回归系数的最小二乘解就是 $\hat{\beta}=(X’X)^{-1}X’y$。(本文完)



哎等等,别真走啊,我们的主角共轭梯度还没出场呢。前面的这个算系数的公式确实非常简洁、优雅、纯天然、不做作,但要往里面深究的话,还是有很多问题值得挖掘的。

最简单暴力的方法,就是从左向右,依次计算矩阵乘法,矩阵求逆,又一个矩阵乘法,最后是矩阵和向量的乘法。如果你就是这么算的,那么可以先默默地去面壁两分钟了。

更合理的方法,要么是对 $X’X$ 进行 Cholesky 分解,要么是对 $X$ 进行 QR 分解,它们基本上是现在算回归的软件中最常见的方法。关于暴力方法和矩阵分解方法的介绍和对比,可以参见这个B站上的视频。(什么?你问我这么严肃的话题为什么要放B站上?因为大部分时间都是在吐槽啊)

好,刚才去面壁的同学现在应该已经回来了,我们继续。前面这些通过矩阵运算求回归系数的方法,我们可以统称为直接法。叫这个名字,是因为它们都可以在确定数目的步骤内得到最终的结果。而与之相对的,则叫做迭代法,意思是通过不断更新已经得到的结果,来逐渐逼近真实的取值。打个比方,你想要知道一瓶82年的拉菲值多少钱,直接法就是去做调研,原料值多少,品牌值多少,加工费多少,运输费多少……然后加总起来得到最终的定价;而迭代法就是去问酒庄老板,你先随便蒙一个数,然后老板告诉你高了还是低了,反复循环,总能猜个八九不离十。

说到这里,你自然要问了,既然算回归的软件大都是用直接法,为什么还要考虑迭代法?莫非直接法有什么不好的地方?这就说到问题的点子上了。

继续阅读共轭梯度法计算回归

COS访谈第22期:李丰老师

【COS编辑者按】受访者:李丰      采访者:王小宁 张心雨      审稿人:成慧敏    

          李丰,博士, 中央财经大学统计与数学学院,副院长,硕士研究生导师, 主要研究方向为大数据与复杂模型、贝叶斯推断与统计计算、计量经济与预测方法以及多元模型。现任北京大数据协会理事,中国统计教育学会高等教育分会副秘书长,曾任2014 年金融工程与风险管理国际研讨会执行秘书。李丰老师是多个国家项目的项目负责人及主要参加人,曾获得The 2014 Cramér Prize等重要奖项。著有《大数据分布式计算与案例》等书籍。 继续阅读COS访谈第22期:李丰老师

RStudio的前世今生——RStudio创始人专访

本文是一篇Joseph B Rickert(简称JBR)对J.J. Allaire(RStudio的创始人和首席执行官)的采访稿,原文在此。统计之都与作者沟通后得到授权将其翻译为中文,希望可以让广大读者能够更多了解在R的世界中这个叫RStudio的地方。在这次采访中讨论了RStudio的历史、使命和J.J.的未来愿景。 短暂的交谈中讨论了各种各样的主题,包括RStudio的业务、R语言的发展、R联盟对R社群的重要性以及J.J.对R新手们的建议。

 

J.J. Allaire
J.J. Allaire

继续阅读RStudio的前世今生——RStudio创始人专访

第九届中国R语言会议(武汉) 暨华中地区数据科学会议通知

R语言作为统计和数据挖掘界广泛应用的统计分析、绘图的语言和操作环境,是一个基于GNU系统自由、免费、源代码开放的软件。每年R的官方机构都会举办useR!会议,各个国家及地区也定期有R用户的交流活动。在中国,自2008年起,北京、上海、杭州、广州等地已经成功举办了八届R语言会议,前后报名参与人数超过万人。会议内容覆盖数据科学在各行各业的应用,包括天文、地理、医疗、生物、金融、能源、互联网等领域,在高校和业界均形成了深远影响,促进了R语言乃至数据科学在中国的推广和发展。如今R语言会议已成为R语言社区在国内影响力最大的交流盛会,聚学术专家、业界精英、技术大咖于一堂,让更多的数据人参与其中,促进社区内部的交流和进步。

随着R语言在多个领域的广泛应用,越多华中地区数据人开始关注R与数据科学,来自各行各业的R用户需要这样一个平台交流技术,碰撞思想,武汉R语言会议正是适应这种需求而举办。2015年R语言会议首次走进华中地区,即获得业界关注。2016年,中国R语言会议将以开创性的双会场形式再次来到武汉,由中南财经政法大学统计与数学学院、湖北经济学院信息管理与统计学院、统计之都联合主办,诚邀学界和业界精英同台演讲交流,愿与更多的数据爱好者探讨数据科学,共同进步提高!

第九届中国R语言会议(武汉),欢迎各位的到来!

继续阅读第九届中国R语言会议(武汉) 暨华中地区数据科学会议通知