mxnet:结合R与GPU加速深度学习

近年来,深度学习可谓是机器学习方向的明星概念,不同的模型分别在图像处理与自然语言处理等任务中取得了前所未有的好成绩。在实际的应用中,大家除了关心模型的准确度,还常常希望能比较快速地完成模型的训练。一个常用的加速手段便是将模型放在GPU上进行训练。然而由于种种原因,R语言似乎缺少一个能够在GPU上训练深度学习模型的程序包。

DMLC(Distributed (Deep) Machine Learning Community)是由一群极客发起的组织,主要目标是提供快速高质量的开源机器学习工具。近来流行的boosting模型xgboost便是出自这个组织。最近DMLC开源了一个深度学习工具mxnet,这个工具含有R,python,julia等语言的接口。本文以R接口为主,向大家介绍这个工具的性能与使用方法。

一、五分钟入门指南

在这一节里,我们在一个样例数据上介绍mxnet的基本使用方法。目前mxnet还没有登录CRAN的计划,所以安装方法要稍微复杂一些。

  • 如果你是Windows/Mac用户,那么可以通过下面的代码安装预编译的版本。这个版本会每周进行预编译,不过为了保证兼容性,只能使用CPU训练模型。
install.packages("drat", repos="https://cran.rstudio.com")
drat:::addRepo("dmlc")
install.packages("mxnet")
  • 如果你是Linux用户或者想尝试GPU版本,请参考这个链接里的详细编译教程在本地进行编译。

安装完毕之后,我们就可以开始训练模型了,下面两个小节分别介绍两种不同的训练神经网络的方法。

二分类模型与mx.mlp

首先,我们准备一份数据,并进行简单的预处理:

require(mlbench)
require(mxnet)
data(Sonar, package="mlbench")
Sonar[,61] = as.numeric(Sonar[,61])-1
train.ind = c(1:50, 100:150)
train.x = data.matrix(Sonar[train.ind, 1:60])
train.y = Sonar[train.ind, 61]
test.x = data.matrix(Sonar[-train.ind, 1:60])
test.y = Sonar[-train.ind, 61]

我们借用mlbench包中的一个二分类数据,并且将它分成训练集和测试集。mxnet提供了一个训练多层神经网络的函数mx.mlp,我们额可以通过它来训练一个神经网络模型。下面是mx.mlp中的部分参数:

  • 训练数据与预测变量
  • 每个隐藏层的大小
  • 输出层的结点数
  • 激活函数类型
  • 损失函数类型
  • 进行训练的硬件(CPU还是GPU)
  • 其他传给mx.model.FeedForward.create的高级参数

了解了大致参数后,我们就可以理解并让R运行下面的代码进行训练了。

mx.set.seed(0)
model <- mx.mlp(train.x, train.y, hidden_node=10, out_node=2,      out_activation="softmax", num.round=20, array.batch.size=15, learning.rate=0.07, momentum=0.9, eval.metric=mx.metric.accuracy)
## Auto detect layout of input matrix, use rowmajor..
## Start training with 1 devices
## [1] Train-accuracy=0.488888888888889
## [2] Train-accuracy=0.514285714285714
## [3] Train-accuracy=0.514285714285714

...

## [18] Train-accuracy=0.838095238095238
## [19] Train-accuracy=0.838095238095238
## [20] Train-accuracy=0.838095238095238

这里要注意使用mx.set.seed而不是R自带的set.seed函数来控制随机数。因为mxnet的训练过程可能会运行在不同的运算硬件上,我们需要一个足够快的随机数生成器来管理整个随机数生成的过程。模型训练好之后,我们可以很简单地进行预测:

preds = predict(model, test.x)
## Auto detect layout of input matrix, use rowmajor..
pred.label = max.col(t(preds))-1
table(pred.label, test.y)
##           test.y
## pred.label  0  1
##          0 24 14
##          1 36 33

如果进行的是多分类预测,mxnet的输出格式是类数X样本数。

回归模型与自定义神经网络

mx.mlp接口固然很方便,但是神经网络的一大特点便是它的灵活性,不同的结构可能有着完全不同的特性。mxnet的亮点之一便是它赋予了用户极大的自由度,从而可以任意定义需要的神经网络结构。我们在这一节用一个简单的回归任务介绍相关的语法。

首先,我们仍然要准备好一份数据。

data(BostonHousing, package="mlbench")

train.ind = seq(1, 506, 3)
train.x = data.matrix(BostonHousing[train.ind, -14])
train.y = BostonHousing[train.ind, 14]
test.x = data.matrix(BostonHousing[-train.ind, -14])
test.y = BostonHousing[-train.ind, 14]

mxnet提供了一个叫做“Symbol”的系统,从而使我们可以定义结点之间的连接方式与激活函数等参数。下面是一个定义没有隐藏层神经网络的简单例子:

# 定义输入数据
data <- mx.symbol.Variable("data")
# 完整连接的隐藏层
# data: 输入源
# num_hidden: 该层的节点数
fc1 <- mx.symbol.FullyConnected(data, num_hidden=1)

# 针对回归任务,定义损失函数
lro <- mx.symbol.LinearRegressionOutput(fc1)

在神经网络中,回归与分类的差别主要在于输出层的损失函数。这里我们使用了平方误差来训练模型。希望能更进一步了解Symbol的读者可以继续阅读这两份分别以代码配图为主的文档。

定义了神经网络之后,我们便可以使用mx.model.FeedForward.create进行训练了。

mx.set.seed(0)
model <- mx.model.FeedForward.create(lro, X=train.x, y=train.y, ctx=mx.cpu(), num.round=50, array.batch.size=20, learning.rate=2e-6, momentum=0.9, eval.metric=mx.metric.rmse)
## Auto detect layout of input matrix, use rowmajor..
## Start training with 1 devices
## [1] Train-rmse=16.063282524034
## [2] Train-rmse=12.2792375712573
## [3] Train-rmse=11.1984634005885

...

## [48] Train-rmse=8.26890902770415
## [49] Train-rmse=8.25728089053853
## [50] Train-rmse=8.24580511500735

这里我们还针对回归任务修改了eval.metric参数。目前我们提供的评价函数包括”accuracy”,”rmse”,”mae” 和 “rmsle”,用户也可以针对需要自定义评价函数,例如:

demo.metric.mae <- mx.metric.custom("mae", function(label, pred) {
  res <- mean(abs(label-pred))
  return(res)
})
mx.set.seed(0)
model <- mx.model.FeedForward.create(lro, X=train.x, y=train.y, ctx=mx.cpu(), num.round=50, array.batch.size=20, learning.rate=2e-6, momentum=0.9, eval.metric=demo.metric.mae)
## Auto detect layout of input matrix, use rowmajor..
## Start training with 1 devices
## [1] Train-mae=13.1889538083225
## [2] Train-mae=9.81431959337658
## [3] Train-mae=9.21576419870059

...

## [48] Train-mae=6.41731406417158
## [49] Train-mae=6.41011292926139
## [50] Train-mae=6.40312503493494

至此,你已经掌握了基本的mxnet使用方法。接下来,我们将介绍更好玩的应用。

二、手写数字竞赛

在这一节里,我们以Kaggle上的手写数字数据集(MNIST)竞赛为例子,介绍如何通过mxnet定义一个强大的神经网络,并在GPU上快速训练模型。

第一步,我们从Kaggle上下载数据,并将它们放入data/文件夹中。然后我们读入数据,并做一些预处理工作。

require(mxnet)
train <- read.csv('data/train.csv', header=TRUE) 
test <- read.csv('data/test.csv', header=TRUE) 
train <- data.matrix(train) 
test <- data.matrix(test) 

train.x <- train[,-1] 
train.y <- train[,1]

train.x <- t(train.x/255)
test <- t(test/255)

最后两行预处理的作用有两个:

  • 原始灰度图片数值处在[0,255]之间,我们将其变换到[0,1]之间。
  • mxnet接受 像素X图片 的输入格式,所以我们对输入矩阵进行了转置。

接下来我们定义一个特别的神经网络结构:LeNet。这是Yann LeCun提出用于识别手写数字的结构,也是最早的卷积神经网络之一。同样的,我们使用Symbol语法来定义,不过这次结构会比较复杂。

# input
data <- mx.symbol.Variable('data')
# first conv
conv1 <- mx.symbol.Convolution(data=data, kernel=c(5,5), num_filter=20)
tanh1 <- mx.symbol.Activation(data=conv1, act_type="tanh")
pool1 <- mx.symbol.Pooling(data=tanh1, pool_type="max",
                          kernel=c(2,2), stride=c(2,2))
# second conv
conv2 <- mx.symbol.Convolution(data=pool1, kernel=c(5,5), num_filter=50)
tanh2 <- mx.symbol.Activation(data=conv2, act_type="tanh")
pool2 <- mx.symbol.Pooling(data=tanh2, pool_type="max",
                          kernel=c(2,2), stride=c(2,2))
# first fullc
flatten <- mx.symbol.Flatten(data=pool2)
fc1 <- mx.symbol.FullyConnected(data=flatten, num_hidden=500)
tanh3 <- mx.symbol.Activation(data=fc1, act_type="tanh")
# second fullc
fc2 <- mx.symbol.FullyConnected(data=tanh3, num_hidden=10)
# loss
lenet <- mx.symbol.SoftmaxOutput(data=fc2)

为了让输入数据的格式能对应LeNet,我们要将数据变成R中的array格式:

train.array <- train.x
dim(train.array) <- c(28, 28, 1, ncol(train.x))
test.array <- test
dim(test.array) <- c(28, 28, 1, ncol(test))

接下来我们将要分别使用CPU和GPU来训练这个模型,从而展现不同的训练效率。

n.gpu <- 1
device.cpu <- mx.cpu()
device.gpu <- lapply(0:(n.gpu-1), function(i) {
  mx.gpu(i)
})

我们可以将GPU的每个核以list的格式传递进去,如果有BLAS等自带矩阵运算并行的库存在,则没必要对CPU这么做了。

我们先在CPU上进行训练,这次我们只进行一次迭代:

mx.set.seed(0)
tic <- proc.time()
model <- mx.model.FeedForward.create(lenet, X=train.array, y=train.y, ctx=device.cpu, num.round=1, array.batch.size=100, learning.rate=0.05, momentum=0.9, wd=0.00001, eval.metric=mx.metric.accuracy, epoch.end.callback=mx.callback.log.train.metric(100))
## Start training with 1 devices
## Batch [100] Train-accuracy=0.1066
## Batch [200] Train-accuracy=0.16495
## Batch [300] Train-accuracy=0.401766666666667
## Batch [400] Train-accuracy=0.537675
## [1] Train-accuracy=0.557136038186157
print(proc.time() - tic)
##    user  system elapsed
## 130.030 204.976  83.821

在CPU上训练一次迭代一共花了83秒。接下来我们在GPU上训练5次迭代:

mx.set.seed(0)
tic <- proc.time()
model <- mx.model.FeedForward.create(lenet, X=train.array, y=train.y, ctx=device.gpu, num.round=5, array.batch.size=100, learning.rate=0.05, momentum=0.9, wd=0.00001, eval.metric=mx.metric.accuracy, epoch.end.callback=mx.callback.log.train.metric(100))
## Start training with 1 devices
## Batch [100] Train-accuracy=0.1066
## Batch [200] Train-accuracy=0.1596
## Batch [300] Train-accuracy=0.3983
## Batch [400] Train-accuracy=0.533975
## [1] Train-accuracy=0.553532219570405
## Batch [100] Train-accuracy=0.958
## Batch [200] Train-accuracy=0.96155
## Batch [300] Train-accuracy=0.966100000000001
## Batch [400] Train-accuracy=0.968550000000003
## [2] Train-accuracy=0.969071428571432
## Batch [100] Train-accuracy=0.977
## Batch [200] Train-accuracy=0.97715
## Batch [300] Train-accuracy=0.979566666666668
## Batch [400] Train-accuracy=0.980900000000003
## [3] Train-accuracy=0.981309523809527
## Batch [100] Train-accuracy=0.9853
## Batch [200] Train-accuracy=0.985899999999999
## Batch [300] Train-accuracy=0.986966666666668
## Batch [400] Train-accuracy=0.988150000000002
## [4] Train-accuracy=0.988452380952384
## Batch [100] Train-accuracy=0.990199999999999
## Batch [200] Train-accuracy=0.98995
## Batch [300] Train-accuracy=0.990600000000001
## Batch [400] Train-accuracy=0.991325000000002
## [5] Train-accuracy=0.991523809523812
print(proc.time() - tic)
##    user  system elapsed
##   9.288   1.680   6.889

在GPU上训练5轮迭代只花了不到7秒,快了数十倍!可以看出,对于这样的网络结构,GPU的加速效果是非常显著的。有了快速训练的办法,我们便可以很快的做预测,并且提交到Kaggle上了:

preds <- predict(model, test.array)
pred.label <- max.col(t(preds)) - 1
submission <- data.frame(ImageId=1:ncol(test), Label=pred.label)
write.csv(submission, file='submission.csv', row.names=FALSE, quote=FALSE)

三、图像识别应用

其实对于神经网络当前的应用场景而言,识别手写数字已经不够看了。早些时候,Google公开了一个云API,让用户能够检测一幅图像里面的内容。现在我们提供一个教程,让大家能够自制一个图像识别的在线应用。

DMLC用在ImageNet数据集上训练了一个模型,能够直接拿来对真实图片进行分类。同时,我们搭建了一个Shiny应用,只需要不超过150行R代码就能够自己在浏览器中进行图像中的物体识别。

为了搭建这个应用,我们要安装shiny和imager两个R包:

install.packages("shiny", repos="https://cran.rstudio.com")
install.packages("imager", repos="https://cran.rstudio.com")

现在你已经配置好了mxnet, shiny和imager三个R包,最困难的部分已经完成了!下一步则是让shiny直接下载并运行我们准备好的代码:

shiny::runGitHub("thirdwing/mxnet_shiny")

第一次运行这个命令会花上几分钟时间下载预先训练好的模型。训练的模型是Inception-BatchNorm Network,如果读者对它感兴趣,可以阅读这篇文章。准备就绪之后,你的浏览器中会出现一个网页应用,就用本地或在线图片来挑战它吧!

如果你只需要一个图像识别的模块,那么我们下面给出最简单的一段R代码让你能进行图像识别。首先,我们要导入预训练过的模型文件:

model <<- mx.model.load("Inception/Inception_BN", iteration = 39)
synsets <<- readLines("Inception/synset.txt")
mean.img <<- as.array(mx.nd.load("Inception/mean_224.nd")[["mean_img"]])

接下来我们使用一个函数对图像进行预处理,这个步骤对于神经网络模型而言至关重要。

preproc.image <- function(im, mean.image) {
  # crop the image
  shape <- dim(im)
  short.edge <- min(shape[1:2])
  yy <- floor((shape[1] - short.edge) / 2) + 1
  yend <- yy + short.edge - 1
  xx <- floor((shape[2] - short.edge) / 2) + 1
  xend <- xx + short.edge - 1
  croped <- im[yy:yend, xx:xend,,]
  # resize to 224 x 224, needed by input of the model.
  resized <- resize(croped, 224, 224)
  # convert to array (x, y, channel)
  arr <- as.array(resized)
  dim(arr) = c(224, 224, 3)
  # substract the mean
  normed <- arr - mean.img
  # Reshape to format needed by mxnet (width, height, channel, num)
  dim(normed) <- c(224, 224, 3, 1)
  return(normed)
}

最后我们读入图像,预处理与预测就可以了。

im <- load.image(src)
normed <- preproc.image(im, mean.img)
prob <- predict(model, X = normed)
max.idx <- order(prob[,1], decreasing = TRUE)[1:5]
result <- synsets[max.idx]

四、参考资料

MXNet是一个在底层与接口都有着丰富功能的软件,如果读者对它感兴趣,可以参考一些额外的材料来进一步了解MXNet,或者是深度学习这个领域。

 

COS每周精选:深度学习

本期投稿: 王威廉   王小宁            编辑:王小宁

深度学习

2006年Hinton 等人的深度学习论文在当时掀起了一股深度学习的研究浪潮,今年的人机围棋大战(AlphaGo 对战李世石)更是赚足了大众的眼球,相关的论文更是被更多的人拿来研读,小编为大家整理了一下,供大家学习交流。

AlphaGo是一款围棋人工智能程序,由位于英国伦敦的谷歌(Google)旗下DeepMind公司的戴维·西尔弗、艾佳·黄和戴密斯·哈萨比斯与他们的团队开发,这个程序利用“价值网络”去计算局面,用“策略网络”去选择下子。更多信息可去官网查阅

继续阅读COS每周精选:深度学习

美国统计协会开始正式吐槽(错用)P值啦

(图片来源:https://xkcd.com/1478,一幅讽刺滥用P值的漫画)

今天美国统计协会(ASA)正式发布了一条关于P值的声(吐)明(槽),算起来可以说是近期统计学界的一件大事了。为什么这么说呢?首先,P值的应用太广,所以对P值进行一些解释和声明非常有必要。其次,对P值的吐槽历来有之,但今天是第一次被一个大型的专业协会以非常正式的形式进行澄清,多少带有一些官方的意思。声明的全文可以在这个页面中下载。

那么这则声明里面都说了什么呢?小编整体读了一遍,把我认为重要的信息概括在这篇文章之中。

首先,ASA介绍了一下这则声明诞生的背景。2014年,ASA论坛上出现了一段如下的讨论:

问:为什么那么多学校都在教 p = 0.05?

答:因为那是科学团体和期刊编辑仍然在用的标准。

问:为什么那么多人还在用 p = 0.05?

答:因为学校里还在这么教。

看上去多少有点讽刺的味道,但事实却也摆在眼前。从舆论上看,许许多多的文章都在讨论P值的弊端,小编摘录了几条言辞比较激烈的:

这是科学中最肮脏的秘密:使用统计假设检验的“科学方法”建立在一个脆弱的基础之上。——ScienceNews(Siegfried, 2010)

假设检验中用到的统计方法……比Facebook隐私条款的缺陷还多。——ScienceNews(Siegfried, 2014)

针对这些对P值的批评,ASA于是决定起草一份声明,一方面是对这些批评和讨论作一个回应,另一方面是唤起大家对科学结论可重复性问题的重视,力图改变长久以来一些已经过时的关于统计推断的科学实践。经过长时间众多统计学家的研讨和整理,这篇声明今天终于出现在了我们面前。

P值是什么

这份声明首先给出了P值一般的解释:P值指的是在一个特定的统计模型下,数据的某个汇总指标(例如两样本的均值之差)等于观测值或比观测值更为极端的概率。

这段描述是我们通常能从教科书中找到的P值定义,但在实际问题中,它却经常要么被神话,要么被妖魔化。鉴于此,声明中提出了六条关于P值的准则,作为ASA对P值的“官方”态度。这六条准则算是这条声明中最重要的部分了。

继续阅读美国统计协会开始正式吐槽(错用)P值啦

COS访谈第21期~史建军:饱学致用育桃李,锦袍换酒傲江湖

史建军老师是工业工程领域的知名教授和学术带头人,现任佐治亚理工学院(Georgia Institute of Technology,后文简称Georgia Tech)工业工程系(后文简称IE,该系在美国连续28年专业排名第一)冠名教授,同时兼任机械工程系教授。史老师开创了系统信息学和控制(system informatics and control)这一新的博士研究培养方向,是美国工业工程学会(IIE)会士,美国机械工程学会(ASME)会士,运筹学和管理科学学会(INFORMS)会士,国际统计学会(ISI)会士,国际质量研究院(IAQ)院士,也是美国INFORMS的质量统计与可靠性分会的founding Chair,曾获得 the IIE Albert G. Holzman Distinguished Educator Award 等重要奖项。他是多个国际期刊的编委,包括主编管理工程国际顶尖期刊“IIE Transactions”的 Quality and Reliability Engineering 子刊等。史建军教授是使用系统控制和多元统计相结合研究多工位误差建模与分析理论的创始人。他培养的博士生已经有二十几位在国际一流大学任教,其中有7名获得美国自然科学基金委NSF Career奖,1名获得美国总统奖,多名学生在工业公司担任副总或资深管理人员。史老师一直与工业界紧密合作,他的研究小组中开发出的技术已经应用到各种生产系统并带来重大的经济效益,被广泛用在了汽车组装、飞机制造、钢铁冶炼等诸多领域。史老师也是国内多处高校的客座教授,是中科院质量研究中心的创始人之一和海外主任,也是北京大学工业工程系的访问首席教授。jianjun

本访谈既学术又八卦,由黄帅、常象宇、魏太云执行并撰写。出于读者阅读习惯的考虑,我们将一些英文翻译成了中文,并且做了相应的中文写作处理。如果由于我们的失误造成一些误解,还请各位读者多多谅解。

  继续阅读COS访谈第21期~史建军:饱学致用育桃李,锦袍换酒傲江湖