Large Scale Learning in R

Taiwan R User Group

MLDMMonday: 每周一分享资料相关议题

主题包含但不限于：

R 套件使用

机器学习和统计模型

很多人都在诟病R 无法处理大量的数据

但是只要用对R 的包

R 是可以处理大量的数据

今天我想跟大家分享

运用R 建立商用推荐引擎的心得

主要是靠着Rcpp和pbdMPI等包

打造可扩放性的学习模组

实际的数据和课本上的数据是不一样的

今天从这样的数据开始

以“预测点击发生的机率”为例

\[w^Tx\]

iris

head(model.matrix(Species ~ ., iris))

  (Intercept) Sepal.Length Sepal.Width Petal.Length Petal.Width
1           1          5.1         3.5          1.4         0.2
2           1          4.9         3.0          1.4         0.2
3           1          4.7         3.2          1.3         0.2
4           1          4.6         3.1          1.5         0.2
5           1          5.0         3.6          1.4         0.2
6           1          5.4         3.9          1.7         0.4

实际的资料

有 \(10^{9+}\) 笔资料

有 \(10^{3+}\) 笔广告

每种类别变量可能到 \(10^{3}\) 类别

model.matrix的后果：

至少需要 \(10^9 \times (10^3...)\) 个位元

也就是 \(116.415\) GB的记忆体

开始抱怨了!

R 不能处理大量的数据

R 会吃很多记忆体

使用R 跑不动，使用其他工具就跑得动

请使用和其他工具一样的资料结构:

这种状况，应该使用稀疏矩阵

在我手上的资料上

大概可以省下 \(10^2 \sim 10^3\) 倍记忆体

而且可以大幅度加快运算效能!

如果m1, m2是 \(10^4 \times 10^4\) 的矩阵:

      test replications elapsed relative user.self sys.self user.child sys.child
1 m1 %*% r          100  21.690      868    47.727    0.217          0         0
2 m2 %*% r          100   0.025        1     0.021    0.003          0         0

可以利用Rcpp将C的实作暴露到R中

可以利用Rcpp做记忆体的重复使用

                test replications elapsed relative user.self sys.self user.child sys.child
1           m2 %*% r          100   0.023     7.67     0.021    0.002          0         0
2 XTv(m2, r, retval)          100   0.003     1.00     0.002    0.000          0         0

在现代的Rcpp架构下

将C++函数放到R中变得很简单

我们只需要专注在算法上

#include <Rcpp.h>
using namespace Rcpp;
// [[Rcpp::export]]
SEXP XTv(S4 m, NumericVector v, NumericVector& retval) {
  //...
}

再透过pbdMPI开发分散式矩阵乘法

利用更多CPU和更多记忆体提升效能

\[\left(\begin{array}{c}X_1 \\ X_2\end{array}\right) v = \left(\begin{array}{c}X_1 v \\ X_2 v\end{array}\right)\]

\[\left(v_1 , v_2\right) \left(\begin{array}{c}X_1 \\ X_2\end{array}\right) = v_1 X_1 + v_2 X_2\]

pbdMPI是pbdR(Programming with Big Data in R)专案的套件之一

为了加强效能

并且能够更方便的更改模型

我们自己包LIBLINEAR到R中

class TRON
{
public:
  TRON(const function *fun_obj, double eps = 0.1, int max_iter = 1000);
  ~TRON();

  void tron(double *w);
    void set_print_string(void (*i_print) (const char *buf));

private:
    //...
};

• TRON是最佳化的核心算法的实作
• TRON没有牵涉到资料，甚至没有牵涉到Loss Function
• function提供了一个界面

结合pbdMPI和Rcpp Modules

让TRON呼叫分散式的运算系统

SPMD架构，无master，一次资料交换

objective_function <- function(w) {
  logger(sum(w))
  regularization <- sum((w - prior)^2) / 2
  lik <- sum(C * log(1 + exp(- y.value * Xv(X, w))))
  lik.all <- allreduce(x = lik, x.buffer = buffer.0, op = "sum")
  return(regularization + lik.all[1])
}

hs <- new(HsTrust, objective_function, ...)

SPMD架构

objective_function非常易于修改

所以我们能将注意力专注于模型上

objective_function <- function(w) {
  logger(sum(w))
  regularization <- sum((w - prior)^2) / 2
  lik <- sum(C * log(1 + exp(- y.value * Xv(X, w))))
  lik.all <- allreduce(x = lik, x.buffer = buffer.0, op = "sum")
  return(regularization + lik.all[1])
}

终于跨过资料量的门槛了...

该看看资料了！

因子的组合

实验结果

分析

感谢R 强大的分析功能

平均来说FeatureSet B 好 \(0.5\%\)

成果

R Packages + Git + Jenkins:

开发后自动测试、部署和版本控制

利用Spark做Data Cleaning

R + rjson + awscli

自动利用AWS建立云端实验用Cluster

ec2_request_spot_instances <- function(spot_price, instance_count, launch_specification = list()) {
  write(toJSON(launch_specification), file=(json.path <- tempfile()))
  cmd <- sprintf("aws ec2 request-spot-instances --spot-price %f --instance-count %d --launch-specification %s", spot_price, instance_count, sprintf("file://%s", json.path))
  system_collapse(cmd)
}

R 是可以对大量数据进行处理：

使用Matrix套件的稀疏矩阵

Rcpp高效能的使用记忆体

Rcpp整合第三方的库

pbdMPI建立分散式平行运算丛集

关于今天分享的工作

感谢两位同学Y.-C. Juan, Y. Zhuang

和我在Bridgewell Inc.的合作

Q&A