标签归档:ESL

COS访谈第十九期:张志华教授

【COS编辑部按】 受访者:张志华   采访者:常象宇   文字整理:王莉晶 朱雪宁

张志华,博士,上海交通大学计算机科学与工程系教授,上海交通大学数据科学研究中心兼职教授,计算机科学与技术和统计学双学科的博士生指导导师。在加入上海交通大学之前,是浙江大学计算机学院教授和浙江大学统计科学中心兼职教授。主要从事人工智能、机器学习与应用统计学领域的教学与研究。迄今在国际重要学术期刊和重要的计算机学科会议上发表70余篇论文。是美国“数学评论”的特邀评论员,国际机器学习旗舰刊物Journal of Machine Learning Research 的执行编委。其公开课《机器学习导论》和《统计机器学习》受到广泛关注。

张志华教授和他的学生们

张志华教授和他的学生们

2015年9月19日晚,在美丽的古都西安,张志华接受了常象宇博士(西安交通大学管理学院助理教授)的采访,王莉晶、朱雪宁对采访稿进行了一些文字上的整理和修改,全文最终由采访人常象宇和被采访人张志华审核定稿。

下面是访谈的全部内容。

常象宇:请您简单介绍一下您博士期间的研究和促使您出国求学的原因。

张志华:当时在国内读博士的时候,我的研究主要是集中在利用模糊数学,神经网络与遗传算法、并利用它们解决图像处理、计算机视觉等中的问题。当时做这些方法还是发表一些论文,毕业条件也很容易达到的,但是自己隐隐约约总觉得这个领域不太对自己胃口。而且博士读了4年,之前博士论文基本完成。最后一年的空档期,我读到了Biometrika和JRSSB上面Peter Green和S. Richardson的关于RJMCMC(Reversible Jump Markov Chain Monte Carlo)的文章。RJMCMC的思想是把参数估计和模型选择放在一个统一的框架下进行。特别是,他们在JRSSB上的文章给出了求解单变量高斯混合模型的RJMCMC方法。当时用高斯混合模型去做图像分割是比较重要的方法,但通常是用BIC等准则进行模型选择,参数估计和模型选择是两个分离的过程。所以当时计算机视觉界关注到RJMCMC。但是我们遇到的问题不是单变量问题,而是高维问题。Green他们文章特别提到,他们方法推广到高维是Open Problem,并说这是个比较难的问题。当时我的第一感觉,我可以解决这个问题。我们利用SVD分解设计了相应的算法,效果也不错。但是里面的证明我还是没法解决,主要是缺少统计背景。但发现这些东西,我突然觉得特别喜欢,所以当时就决定改行。而在国内无法学到这些东西,也找不到相关书籍,当时上国际网是要付费的,不像现在获取资料如此方便。那段时间,在Mike Jordan教授个人主页上发现了他的统计学习的讲义“概率图模型导论”。那个时候下载1M需要大约5元钱。所以颇花了一番周折才弄到Mike 的讲义。读完之后收益非常大, 也喜欢上了统计学习这个方向。意识到相关背景自己缺得太多,而国内很难找到相关书籍啊。

常象宇:您后来又是如何师从了国际著名的统计机器学习专家Michael Jordan教授的呢? 继续阅读COS访谈第十九期:张志华教授

统计学习那些事

编辑部按:本文转载Yang Can主页中的文章,稍有修改,原文链接请点击此处

作者简介:杨灿,香港科技大学电子与计算机工程系。
主页:http://ihome.ust.hk/~eeyang/index.html

在港科大拿到PhD,做的是Bioinformatics方面的东西。Bioinformatics这个领域很乱,从业者水平参差不齐,但随着相关技术(比如Microarray, Genotyping)的进步,这个领域一直风风光光。因为我本科是学计算机电子技术方面的,对这些技术本身并没有多大的兴趣,支持我一路走过来的一个重要原因是我感受到统计学习(Statistical learning)的魅力。正如本科时代看过的一本网络小说《悟空传》所写的:“你不觉得天边的晚霞很美吗?只有看着她,我才能坚持向西走。”

离校前闲来无事,觉得应该把自己的一些感受写下来,和更多的爱好者分享。

1. 学习经历

先介绍一下我是如何发现这个领域的。我本科学自动化,大四时接触到一点智能控制的东西,比如模糊系统,神经网络。研究生阶段除了做点小硬件和小软件,主要的时间花在研究模糊系统上。一个偶然的机会,发现了王立新老师的《模糊系统与模糊控制教材》。我至今依然认为这是有关模糊系统的最好的书,逻辑性非常强。它解答了我当年的很多困惑,然而真正令我心潮澎湃的是这本书的序言,读起来有一种“飞”的感觉。后来我终于有机会来到港科大,成为立新老师的PhD学生,时长一年半(因为立新老师离开港科大投身产业界了)。立新老师对我的指导很少,总结起来可能就一句话:“你应该去看一下Breiman 和Friedman的文章。”立新老师在我心目中的位置是高高在上的,于是我就忠实地执行了他的话。那一年半的时间里,我几乎把他们的文章看了好几遍。开始不怎么懂,后来才慢慢懂了,甚至有些痴迷。于是,我把与他们经常合作的一些学者的大部分文章也拿来看了,当时很傻很天真,就是瞎看,后来才知道他们的鼎鼎大名,Hastie, Tibshirani, Efron等。文章看得差不多了,就反复看他们的那本书“The Elements of Statistical learning”(以下简称ESL)。说实话,不容易看明白,也没有人指导,我只好把文章和书一起反复看,就这样来来回回折腾。比如为看懂Efron的“Least angle regression”,我一个人前前后后折腾了一年时间(个人资质太差)。当时国内还有人翻译了这本书(2006年),把名字翻译为“统计学习基础”。我的神啦,这也叫“基础”!还要不要人学啊!难道绝世武功真的要练三五十年?其实正确的翻译应该叫“精要”。在我看来,这本书所记载的是绝世武功的要义,强调的是整体的理解,联系和把握,绝世武功的细节在他们的文章里。 继续阅读统计学习那些事