编辑部按:本文是统计之都访谈第49期。随着生物医学领域的发展以及科学技术不断进步,日益丰富的数据为生物统计带来新的机遇及挑战。生物统计内容广博,不仅包括传统医学领域的药物实验设计与临床分析,也涉及目前火热的遗传基因组学数据分析、电子病历、精准医学,以及越来越受重视的公共卫生及环境领域。美国的生物统计经历了几十年的发展已建立成熟的职业体系,多数顶尖大学也都设立了生物统计系,为制药公司、FDA、科研机构输送了大量优质人才。然而,中国高校完整系统的生物统计项目依旧屈指可数,相关科研及产业转化也非常薄弱。鉴于目前国内生物统计发展滞后,认识和宣传非常不足,这次访谈我们邀请了宾夕法尼亚大学生物统计系李洪哲老师,从他的职业体验出发向读者介绍生物统计。

李洪哲是美国宾夕法尼亚大学生物统计系佩雷尔曼冠名讲席教授,统计与数据科学系教授,大数据统计中心主任,曾任生物统计系研究生项目主席。李洪哲的研究兴趣包括统计遗传、基因组学以及微生物组学研究,他将生物学研究和统计学研究相结合,在成分数据分析等方面做出了许多开创性的工作。李老师是美国统计协会(American Statistical Association)会士、数理统计学会(Institute of Mathematical Statistics)会士、美国科学促进会(American Association for the Advancement of science)会士,其研究成果多发表在Science, Nature, Nature Genetics, Science Translational Medicine, JASA, JRSSB, Annals of Statistics, Biometrika等国际顶级期刊上。

访谈人:王健桥(哈佛大学生物统计系博后)、黄乘月(中国人民大学统计学院大四学生)、吕秋燃(中国人民大学统计学院大四学生)、邱怡轩(上海财经大学副教授)、边蓓蕾(昆士兰大学统计遗传学在读博士)、魏太云。

image text

图1:李洪哲老师的艺术风格画。

结缘生物统计

统计之都:可以介绍一下您的求学和工作经历吗?

李洪哲:我是北京大学1985级的学生,当时北大第一年将统计和数学学院分开,数学学院又分为应用数学和信息两个专业。我是信息专业,当时这个专业是第一年开设,课程设计是前两年和所有数学系学生一起上基础课,后两年学一些统计和信号处理方面的课程。印象比较深的是应用统计课,张绪定老师当时做地理图像处理,最后一年带着我们做了一些研究,我因此算是对统计有初步了解。有些统计课就当成数学课学了,尤其是线性模型,基本上就是学习一些矩阵运算,没有理解它的真正用处。

90年代初,我申请到华盛顿大学,华盛顿大学统计系当时比较重视统计计算,主要聚焦在马尔可夫链蒙特卡洛方法的研究。我来到华盛顿大学后才知道统计应用方面的问题。华盛顿大学同时也有出色的生物统计系,同学们都在一起上课,我慢慢也接触了一些生物统计研究。当时生物统计最热门的是艾滋病方面的研究,比较热门的方向是多元生存分析和遗传学。

我的导师 Elizabeth Thompson 教授当时主要做蒙特卡洛计算以及在统计遗传学中的应用,但我对计算不是很感兴趣,我的毕业论文是将生物统计多元生存分析和遗传学研究方向结合起来,研究用半参数模型来估计家庭性遗传疾病的发病年龄,包括乳腺癌及阿尔茨海默病。那个时候统计遗传刚开始,几乎没有个人遗传数据,但有家族谱系数据,我的论文就想从表型数据研究一个家族成员携带致病基因和不携带致病基因在不同年龄得病的概率。

统计之都:您博士求学的体会?

李洪哲:我的导师允许我自己去探索。我觉得这个对学生来说挺重要的,因为做研究需要有独立性,学生不能去期望导师给一个特别详细的课题,也不能一直继续去做前人的工作。我带学生往往给他们的第一个项目很详细,但到最后研究阶段学生最好能自己想点东西,老师应该给学生很多空间让学生自己去探索。另外我做研究收获比较多的就是多读点东西,包括相关的应用领域的文献,不要只局限在自己研究的小领域,多读点东西对学生很有帮助。我当时的论文涉及多元生存分析、遗传学,以及马尔可夫链蒙特卡洛方法,读了很多相关文献。

统计之都:博士毕业后您是如何考虑自己的职业选择?

李洪哲:当时受限于眼界及生活考虑,就想赶快博士毕业找份工作,所以并没有特别思考自己的毕业选择。Mayo Clinic是世界很有名的一个医学中心,它有一个比较大的生物统计组,我就直接去Mayo Clinic做了生物统计师(biostatistician)。但它毕竟不是学校,工作的主要内容就是和医生合作,偏服务咨询性质。

我工作了三年之后觉得这份工作并不是特别适合我,就离开Mayo Clinic进入了大学的学术界。一个原因是我还想做一些遗传方面的研究,但在Mayo Clinic没有特别多这方面的机会。另外一个原因是我想与学生和博士后一起讨论思考问题,后来我就去了加州戴维斯医学院做助理教授。

当时遗传学还有很多问题需要解决,我因此在Mayo Clinic申请到了美国国家健康研究院 (NIH) R01基金,这是对独立研究的能力的肯定,找工作和换工作也就比较容易了。但我认为职业选择还是看一个人的兴趣,例如很多有趣的生物统计工作就在一些医学中心不在学校。

统计之都:后来您又换了一次工作来到宾大?

李洪哲:离开加州戴维斯再到宾大主要是因为我追求数据驱动的研究问题。离开Mayo Clinic就是因为当时那里只有临床研究数据,所以到戴维斯我可以做一些遗传数据研究。后来生物技术发展可以测量转录组数据(microarray transcriptomics data)了,我对此很感兴趣,但如果没有合作这种数据很难做好。我在戴维斯寻找合作者却一直没有找到合适的人选,只找到了兽医和农业相关的教授。虽然农业是戴维斯的优势学科,但我个人对农业没有兴趣,所以不是很满意。

在戴维斯待了7年以后,随着领域的发展,教职工作的机会就非常多了。我考虑了几个地方,后来选择去宾大发展和扩大统计遗传项目。宾大的医学院很大,好处是有不少出色的医生或是生物学家。只要某方面有新的技术,肯定会有人在做。这个对生物统计研究者来说非常重要——你想从事某方面的研究,虽然可以在已有的公共数据集上工作,但实际上真正有影响力的还是这些合作的项目。其中最重要的就是数据很新颖,问题也很新颖,从做生物统计研究的角度能带来更大的影响力。

统计之都:能说一说您了解的生物统计毕业生在学界和业界的情况吗?

李洪哲:生物统计的博士毕业生主要去学界、大药厂或者医学中心,现在一些学生也去科技公司了。药厂有很多做生物统计的人专门做临床试验(clinical trials),生物标志物(biomarker)和电子健康档案(EHR)相关的研究。他们工作内容也非常实际,比如研究如何将以前药厂临床试验数据与新的实验数据相结合,像之前的实验有很多控制组,现在有新试验了还能不能用?另外就是药物上市以后,是否有预料之外的问题,是否有效?能不能用遗传组学找到药物的目标?学界和业界的选择我认为也取决于一个人的兴趣。学界对我来说优势是时间比较灵活,另外可以做自己想做的东西;对任何感兴趣的东西,花点时间总是可以做。此外,还可以和学生们一起做研究,这是一件非常美好的事情。

生物统计学家的日常

统计之都:可以讲讲您作为生物统计学家的工作状态和工作体验吗?

李洪哲:大多数的生物统计学家都有自己方法方面的研究,此外合作也是非常重要的,尤其是当合作能带来新的科学问题与新的数据。因此我会花很多时间跟合作者开会。合作和研究的时间分配就得平衡一下。我现在尽量保证合作项目都是跟我自己的研究领域有关的,有时候是比较标准的生物统计问题,我实验室的成员们一般就帮我做这些事情。

这种合作和研究互相促进的模式我认为是最理想的,一些合作开始之前也不知道这个领域大概有什么样的问题,通过合作也学习到了,这类合作我觉得还是值得的。比如我十年前开始微生物组学方面的合作及研究,注意到很多数据分析方面的问题。另外合作中找到生物上比较重要的东西,从研究的角度也是非常有满足的一件事情。

申请基金也是职业中很重要的一件事情,美国生物统计教授的工资主要来自自己的基金。另外,组里的学生和博士后都需要教授自己资助。每4—5年我们就需要重新申请基金,需要思考下一个阶段做什么。申请基金有很大的不确定性,最重要的是问题要新颖有趣而且要有实际价值。

统计之都:您与非统计专业的研究者合作有什么诀窍吗?

李洪哲:首先,就是要让合作者知道哪些东西是他们不能做的或者做不好的,比如试验设计及不确定性的刻画,这就是生物统计学家的价值所在。这样能够和合作者慢慢建立相互信赖的关系。作为生物统计学家不能太被动,在研究中我们要有说话权。尤其需要主导试验设计的方面,告诉合作者什么样的试验设计与数据处理是合理的,不要只当分析数据的人,这样的关系不是我们学者需要的。

要想跟人合作,学会合作者的语言也十分重要,不然他们不清楚你在表达什么。这就需要我们去学习他们领域的东西。合作中交流很重要,协商也很重要,最好在合作之前,就把我们能做什么,谁要主导这个项目说清楚,主导项目的人就需要承担更多的责任。还需要和合作者相互促进,慢慢建起互惠互利的关系。这对新的助理教授比较有难度,一般年长的教授会帮助他们建立这种联系。

771b32b817fbe0cf6a3fb7fc4d89bef

图2:李洪哲老师和学生们小酌

统计之都:印象中最深刻或者最有趣的合作?

李洪哲:刚来宾大前5年,我跟Dr. John Maris做儿童肿瘤的遗传问题。他是费城儿童医院的医生,从医过程中收集了很多儿科神经母细胞瘤数据,我和他一起做全基因组关联分析(GWAS),研究拷贝数变异(copy number variation)相关的问题。我们找到了几个重要的神经母细胞瘤遗传因子,结果发表在Science, Nature, New England Journal of Medicine等期刊。

另一个是10年前我们开始做微生物组的研究,在Science上发表了文章研究饮食和微生物组的关系,那个项目有很多新的统计的问题,有分析方面的挑战,需要提出新的方法提升分析结果,主要是减少错误发现(false discovery)。我们现在也还在研究微生物组和各种疾病的关系以及在个体营养学中的作用。最深刻的合作往往是这些高影响力的合作。

关于生物统计学科

统计之都:可以介绍一下宾大生物统计项目吗?

李洪哲:生物统计项目主要集中于公共卫生学院和医学院,这两类生物统计项目有类似的地方,但也有不同点。公共卫生学院有很多人群群体的流行病数据或者环境影响的数据。医学院下属的生物统计项目有很多临床上的医学数据,以及基础科学方面的新型数据,比如单细胞遗传组学数据。这两种项目合作的对象也不一样,在医学院合作的主要是一些医生及做基础科学研究的生物学家。

宾大的生物统计是生物统计,流行病和信息系(Department of Biostatistics, Epidemiology and Informatics)的一个分支,相对比较年轻,大概建系30多年。最初建系的原因就是医学院合作需求,一些大的研究项目也需要很多医学院一起参加,需要人协调数据处理数据。有了研究生以后,我们就招了更多的老师,现在隶属于基础生物医学研究。随着可获得的EHR数据,遗传数据及医疗图像数据的增加,我们也一直在招聘,目前有30多个教授,研究方向越来越多。

我们系最近5—10年发展很快,因为有新的数据驱动研究。目前有三个分支,分别是生物统计、流行病和生物信息,定位就是希望促进大家合作,主导生物医学相关的数据分析与数据科学。同时,我们也在加强和工程学院的合作,尤其是在机器学习及人工智能方面。

统计之都:您觉得统计、生物统计、生物信息的区别和联系是什么?

李洪哲:生物统计和统计的界限已经很模糊了。原来生物统计之所以能从统计里分出来,是因为生物统计的发展历史非常注重合作,所以会有分工。但现在做统计的人也要有一个关注的应用主题,很多就是生物方面的问题,好比因果推断,统计系、生物统计、经济系都有人做。当然统计系研究范围更广,还有很多人专门研究理论,这种纯理论的人很少在生物统计系下面。但我之前也有个生物统计系同事专门做生存分析理论的,所以我觉得这个区别越来越小。

生物统计和生物信息还不太一样,生物统计还是比较注重推断(inference)角度的建模。生物信息也有模型、算法、问题,这一点和我们是一致的。但统计常常会有更多的不确定性分析(uncertainty assessment)与推断,而生物信息工作更底层,很多关注数据的获取和处理,应用上他们也更关注机器学习(machine learning)与预测(prediction)等等,不太一样。但统计发明的工具,如错误发现率,生物信息用的人也很多。如果生物统计的人能和生物信息的人合作是最好的,因为他们处理底层实验数据的能力还是很强的,这方面比我们更有优势。当然,目前生物统计的人也有很多开始做生物信息的工作。

统计之都:您如何看待机器学习、深度学习在生物统计上的未来?

李洪哲:我只和一个学生做过一个用深度学习的问题。如果关注点在于预测,那用深度学习技术自然是很好的尝试。如果你有非常大量的样本,比如影像识别癌症肿瘤,那效果就是非常好的。但有的时候只有一两百个样本,也用深度学习做预测,这个就很难说。样本量小,用深度学习也学不出什么东西,没太大意义。我觉得关键是获取大的高质量的数据。很多人都在研究,想要解释为什么深度学习有用,目前能够解释的都是最简单的模型,比如两层神经网络。真正实际有用的深度学习模型,比如在工业界大公司有用的大模型,都是因为数据量大。做一些序列数据以及没有结构的文本数据,深度学习是有用的。所以我一直觉得如果要做这方面的研究,一定要有一个非常有说服力的应用,并且数据要多。

有一些问题传统统计不好做,比如说做文本挖掘(text mining),一般的统计并不能构建一个很好的特征空间。比如我们做细菌基因,想要预测什么地方会有生物合成基因簇(biosynthetic gene cluster),传统统计不太能很好地构建这个问题,但如果转化成文本挖掘问题,效果反而是很好的。所以并不是大家都去做深度学习咱们也去做,如果有这方面的问题、数据我们就可以去进行尝试,不过我了解的也不是很多。但是,深度学习、 大语言模型和人工智能会给生物统计带来很多机会,尤其是在精准医学和个性化治疗及诊断方面。我们应该寻找机会去参与这些项目,去和他们合作。

统计之都:生物统计重要的是数据还是方法?是理论创新重要还是寻找问题更重要?

李洪哲:一个重要的指标是看这项工作的科学影响力。一个非常有趣的数据很重要,同时用这个数据能解决什么问题也很重要。我觉得最理想的状态就是二者兼备,数据很新,同时有新的方法提升对数据的理解。有一个新方法,能解决一个问题,是非常好的;但如果这个方法的思路能拓展到其他问题和应用,更上一层楼,是更好的,这种就是最理想的研究了。

我现在审稿就比较关注这几点。问题是不是有趣,相比已有的方法是否有提升,提升在哪,或者你这个方法是否提供了一些统计角度的深刻见解。大家都听过一些学术报告,我觉得有些不是很好的,先讲了一些研究动机,然后讲方法。但最后,方法没有回答最初研究动机中的问题;或者,虽然回答了问题,却和做一个简单分析没有什么区别。这个怎么能让别人相信你做的研究是有意义的?我觉得方法是为了解决问题,有些人用很新的数据,做一些简单的分析,能得到一些有用的结论,也是可以的。但是有时候用一些超越传统的新方法能得到更多有意义的结果以及更深刻的洞察。

统计之都:生物统计工作的评价标准应该是什么样的?

李洪哲:生物统计是一个评价非常多元的领域。好的生物统计工作,我认为,第一,回答的问题是非常重要的,如何识别出关键问题。或者说一个生物的问题,你怎么构建成一个统计的问题。第二就是怎么找解决方法——结果要有说服力,不仅仅是数值模拟,更应该在实际数据中能获得一些有用的和有影响力的结论。更进一步,方法需要有一些统计的思想在里面,不仅仅是做一个简单的T检验或者线性回归,最好还能通过观察数据对已有方法进行改进,从而更好地解决问题。最后,如果能把方法拓展一些,应用到更多的数据集,或者对于统计本身有一些贡献,有理论层面的证明,那就是最理想的了。有一套方法论,最后结果又很好而且很实用,这一类研究就是极好的。

现在还有一些工作致力于统计应用软件,我们有的老师也在考虑这个问题,你做的软件需要被广泛使用,这也是我认为生物统计另一个需要提升的地方。整个领域有这么多方法,有哪些是每天使用的?比如基因差异表达分析(differential expression),虽然仍有大量文章提出新方法,但绝大多数的应用文章都使用DEseq方法,最大的原因就是人家的软件好用;另外一个例子是单细胞遗传组数据分析的软件Seurat。所以现在生物统计需要努力的做一些用户友好的软件,大家都能用,我们才能有影响力。现在软件的使用量也逐渐纳入评价指标当中。另一方面我也理解学生大部分时间都是上课,做科研。所以只能教授自己雇程序员,但学校的资金也常常是有限的。时间和资金的双重约束是我们做不出很多特别好的软件的原因。

统计之都:生物统计研究是否有像OpenAI 或DeepMind进行“重工业”科研发展的可能呢?

李洪哲:学校的计算资源、资金也有限。所以承担大型项目对隶属于学校的生物统计研究人员是很难的,我们自己的资金肯定做不了。但是如果有一群人聚在一起,资金和时间充足,或许是可以的。重要的是我们生物统计学家要积极参加并争取领导这些大的项目。

国内生物统计的现状和发展方向

统计之都:你觉得限制国内生物统计发展的因素是什么?为什么国外和国内做生物统计的老师数量差别如此之大?

李洪哲:生物统计的发展依赖于公共卫生及临床科研和产业界(比如大药厂)对数据分析的需求。中国对公共卫生和临床研究的投入以及产业化目前还不够,发展还处于早期,因此对生物统计的直接需求不是那么大。同时,中国医生的工作强度很大,没有很多时间来做科研。

另外一个原因就是国内生物统计如何定位。虽然在中国生物统计也与医学与公共卫生挂钩,但都只是辅助的角色,系统内部并不知道怎么定位生物统计,也没有一个科学有效的标准去评估生物统计工作的重要性。所以北大的周晓华老师把生物统计设立为同时隶属于数学中心和医学院。在美国生物统计系的学生有90%是统计、数学的背景,这对于国内隶属于医学院的生物统计系是不太可能的,因为学生和院系会互相认为背景不匹配。我觉得这是一个很大的限制因素。

大家需要转变观念:生物统计如果放在医学院、公共卫生学院,一定要明确对学生的预期是什么,明确如何评价他们的工作。另外一个就是刚才提到的,和医院和公共卫生领域的合作。还有,就是建立完善的生物统计的培养体系,像全面系统的生物统计博士训练在中国也是比较稀缺的。

统计之都:您对国内生物统计发展的建议?

李洪哲:生物统计发展需要一个氛围。我去过一些国内医院里的生物统计组,感觉他们不太了解生物统计真的能实现什么,当然也不只是中国,我们合作的很多美国医生也不知道。所以我们作为做生物统计的人应该去说服他们我们能实现什么,我们确实能做出一些简单的数据分析做不出的事情。

我觉得现在可以尝试的方向是,中国也有一些大的项目,比如基因序列的项目,生物统计的人需要参与进去,慢慢大家就会觉得生物统计非常重要。而且要主动去融入、去领导,不要等着别人把数据都收集好了我们才去分析,要从一开始就加入,帮助他们设计如何收集样本如何研究。这个很重要,不是说收集数据只是他们的事情,我们要告诉他们如何更有效地收集数据能避免数据有偏等等,这是我们的工作范围。生物统计最重要的一件事情就是如何去采样,如何去设计实验,用合适的方法避免一些潜在的问题,这些需要我们提前加入。一旦实验设计好了,数据收集好了,我们再想参与进去就很难了。人家也会觉得你只能被动地做一些数据分析,而不是这个项目的主要设计者。一定不要等。如果生物统计能参与几个大的项目,就非常有希望。其实只要我们的建议确实有道理,大家还是很愿意接受的,因为总有他们想不到但咱们能想到的一些事情。领导力还是非常重要的。

我之前只和国内有一次合作,研究IBD(炎症性肠病)。因为近些年中国的IBD病人数量呈指数上升,大家猜想是不是与国外的食物引入导致传统饮食结构的变化,进而影响国人肠道菌群这一因素有关。我当时参加的项目是美国消化学科协会和中国消化学科协会去合作研究这个问题,结果发现共享数据很困难,比如两所医院很难一起合作,双方都说自己要主导,但是我们又不能只用一个医院的数据,因为一个医院的不代表普遍人群的,这样的话就很难做。

统计之都:那要怎么解决这些问题的呢?

李洪哲:通常来说是成立一个数据共享中心(data coordinating center),这个中心协调不同的研究,但并不意味着不同的医院可以随意共享这些数据,比如有人就想办法把数据放到一个共享云端同时也保护病人隐私,GWAS就是一个很好的例子。相关的研究方法也非常重要,比如如何对数据进行脱敏,不用原始数据就能进行分析。我们生物统计也需要反省一下,为什么不能从一开始就加入研究,成为领导者。生物信息这方面做得就比我们好,大的项目他们加入得很快很早,他们也确实非常关注数据收集的细节和具体步骤,我们有时候就忽略了。我们这些年长的研究者也需要起好带头作用。

给学生和老师的建议

统计之都:什么样的学生适合生物统计?

李洪哲:我觉得至少有一定的数学基础,有比较扎实的概率论、统计推断等课程的训练。在这个基础上,最重要的是读一些科学方面的文章,比如Science和Nature杂志上的,我也很鼓励我的学生去读。他们有很多新的数据新的问题,之所以能发到Science和Nature肯定是有一些启发意义的,然后去想想他们的问题是什么,我们能怎么改进他们的做法,或者在他们的数据基础上能不能问出新的问题。这种思维方式很重要,好的生物统计学家除了扎实的统计训练之外,对生物、公共卫生及新型生物技术这些学科也要有兴趣。

2a0bf2367cda30c16307c97d5af6e40

图3:李洪哲老师和王健桥博士毕业合影

统计之都:您对新入职的老师起步阶段和职业发展有什么建议吗?

李洪哲:我几个感受就是,第一,在职业生涯刚开始的时候,一定要聚焦于一两个领域,不要什么方向都做,这一篇文章那一篇文章,人们就很难定位你。最重要的就是要让别人了解你的工作,就好比我们写推荐信,需要强调这个人在这个领域做了很有意义的工作。如果什么都做我就很难明确指出你的关键贡献是什么。

另外就是发表文章,并不是说一年发得越多越好,不管哪都发。我觉得如果想要构建好你自己的位置,把关注点放到几篇好的文章,这样你这个领域的人才能知道你。尽量早点加入一些真正的项目当中,尝试成为领导者,和你的合作者沟通。还有就是我刚才说的,对你应用的领域有所了解,这样才能和合作方互相沟通互相理解,知道他们想问什么问题,也能把我们的东西给他们解释清楚。

统计之都:和学生相处方面您有没有什么建议?

李洪哲:我自己的理念就是,前一两个项目给学生详细具体一些,基本上让他知道能怎么做出来,至少让学生建立起自信心。慢慢地给他们一些空间,让他们自己去探索,尤其是如果他们之后想做独立的科研工作者,寻找问题是非常重要的能力。

有的学生很优秀,你给他什么任务都能完成得特别好;但是独立性不够,出去之后不知道自己能做什么,我觉得是当时这方面能力没充分培养,所以最后一两年应该给他们更多的空间自己去琢磨。

从生物统计角度来说,可以让学生参与到一些合作当中。我以前觉得很耽误学生的时间不愿意让他们去参与,后来发现他们会从和合作者沟通的过程当中学到很多东西,让他们知道合作者关心什么、想要什么,这些是需要的。生物统计很重要的一方面就是合作,给他们一个机会让他们去听我们是怎么和合作者沟通的,也是一种训练。

当然,选择好的学生,也是很重要的。我基本能看出学生的能力是什么样,能做出什么样的科研。有些学生更喜欢做应用方面的,让他们做理论证明肯定不太好,就不要给他们这种任务。总之我也是很享受和学生一起合作这样一个过程的,同时我也尽量帮助我的学生找到他们合适的职业。

e9a823bf493e502fd4f2247311d043c

图4:李洪哲老师和博士后、访问学者

统计之都:如果学生和导师的研究兴趣不一样,那这种情况您怎么处理呢?

李洪哲:我觉得作为导师第一个是要有开放心态去听学生的想法,第二个是导师也需要去和学生一起读一些新东西。我就从学生那里学到了很多东西。学生和导师的研究兴趣不会完全不一样,在研究大方向上应该一致。导师应该对问题值不值得做、领域做到什么程度,还能做哪些没解决的问题,以及最后项目做出来大概是什么样子很清楚。当然这个过程中双方需要保持充分的理解和沟通。

统计之都:感谢您抽出时间参加我们采访。

发表/查看评论