Presentation

MCMC初步

# MCMC初步

高磊
2013/12/21

### 从一座城市说起

摩纳哥 蒙特卡洛（Monte Carlo）

### Monte Carlo 与随机模拟

John von Neumann，
Stanislaw Ulam
Nicholas Metropolis
Fat man

### Monte Carlo 模拟

### 求圆周率\( \pi \)

### 用Monte Carlo 模拟求圆周率

$$\frac{S_{1}}{S_{0}}=\frac{\pi^2}{4}\approx\frac{N_1}{N_0}\Rightarrow \pi \approx \sqrt{\frac{4N_1}{N_0}}$$

### 求复杂分布函数的统计特征

\(E(X)? Var(X)?\ldots\ldots \)

\(x_1,x_2,x_3,\ldots,x_N \)

\(E(X)\approx \bar{x} = \frac{\sum x_i}{N},Var(X)\approx \frac{\sum(x_i-\bar{x})}{N-1}\)

### 常用的蒙特卡罗随机模拟方法

反函数法 拒绝抽样 重要度抽样

### 马尔科夫链蒙特卡罗随机模拟方法(MCMC)

### 狼的真面目(马氏链)

$$P=\begin{array}{@{}r@{}c@{}c@{}c@{}c@{}c@{}c@{}} & A & B & C & D & E & F \\ \left.\begin{array} {c} A \\B \\C \\D \\E \\F \end{array}\right( & \begin{array}{c} 1/2 \\ 3/10 \\ 0\\ 0 \\ 0 \\0 \end{array} & \begin{array}{c} 1/2 \\ 1/5 \\ 5/12\\ 0 \\ 0 \\0 \end{array} & \begin{array}{c} 0 \\ 1/2 \\ 1/12\\ 3/7 \\ 0 \\0 \end{array} & \begin{array}{c} 0 \\ 0 \\ 1/2\\ 1/7 \\ 1/2 \\0 \end{array} & \begin{array}{c} 0 \\ 0 \\ 0\\ 0 \\ 1/6 \\1/2 \end{array} & \left.\begin{array}{c} 0 \\ 0 \\ 0\\ 0 \\ 1/3 \\1/2 \end{array}\right) \end{array}$$

### “狼”奔跑轨迹：马氏链跳跃

### 有章可循：平稳分布

### 马氏链\(\Longleftrightarrow\)平稳分布

$$\Uparrow$$

### MCMC(Wiki)

### 以模拟二元正态分布随机数为例

\(f(x,y)=\frac{1}{(2\pi)|\sum|^{1/2}}exp\{-\frac{1}{2}(x-\mu)'\sum^{-1}(x-u)\}\)

### 等高线图

### 以模拟二元正态分布随机数为例

\(f(x,y)=\frac{1}{(2\pi)|\sum|^{1/2}}exp\{-\frac{1}{2}(x-\mu)'\sum^{-1}(x-u)\}\)

### "MH算法":建议与判断

### 运行马氏链

### 条条大路通“罗马”

### MCMC与贝叶斯

### 参考资料

- Visual demonstration of MCMC sampling methods
- Markov chain Monte Carlo(Wiki)
- Monte Carlo method(Wiki)
- 谁来讲讲bayesian和MCMC的关系？
- Pattern Recognition and Machine Learning. Chapter11,Sampling Methods.
- Bayesian Computation With R. Chapter5,Intorduction to Bayesian Computation.

### Thank you!