前言

本文是本人自学清华大学出版社《随机过程及其在金融领域中的应用》时的同步笔记。

第 3 章 随机过程

随机过程的基本概念

随机过程 $\{X(\omega, t): \omega\in\Omega,t\in T\}$ 是关于时间参数 $t$ 和样本点 $\omega$ 的二元函数。它的自变量类型是两个数值（离散的或连续的），它的函数值类型是一个随机变量集合。简单理解，随机过程将 二维平面上的某点 映射到 某个随机变量集合 。有时可以简单表示成 $\{X_t(\omega)\}, \{X_t\}$ 或 $\{X(t)\}$ 。

下面的伪代码可以帮助理解随机过程的定义。

import RandomVariable

class RandomProcess:
    def __init__(omega: double, t:double) -> list:
        random_variables = []
        ...
        v = do_something(omega, t)
        random_variables.append(RandomVariable(v))
        ...
        return random_variables

• 对于确定的时间 $t_0$ ， $X(w, t_0)$ 是概率空间上的一维随机变量。

• 对于确定的样本点 $\omega_0$ ， $X(w, t_0)$ 是定义在 $T$ 上的实函数，称为对应于 $\omega_0$ 的一个样本函数（或样本轨道、实现）。

对于每一时刻 $t_1\in T$ ， $X_{t_1}$ 是一维随机变量，其一维分布函数为

$$F_{t_1} = P(X_{t_1}\le x_1)$$

类似地，对于任意两个时刻 $t_1,t_2\in T$ ，随机过程的取值有 $X_{t_1},X_{t_2}$ 两个，其二维分布函数为

$$F_{t_1,t_2}(x_1,x_2) = P(X_{t_1}\le x_1, X_{t_2}\le x_2)$$

拓展到 $n$ 维，可得 $n$ 维联合分布函数

$$F(x_1,\cdots,x_n; t_1,\cdots,t_n) = P(X_{t_1}\le x_1,\cdots,X_{t_n}\le x_n)$$

$n$ 维联合密度函数为

$$f(x_1,\cdots,x_n; t_1,\cdots,t_n)$$

可见，分布函数和密度函数的维度数等于时间点的个数。如果时间集 $T$ 是有限集，那么分布函数的全体

$$\{F(x_1,\cdots,x_n; t_1,\cdots,t_n): n\ge1, t_1,\cdots,t_n\in T\}$$

称为随机过程 $\{X_t\}$ 的有穷维分布函数。

随机过程的数字特征

由于随机过程本质上就是二维随机变量，其数字特征与二维随机变量的数字特征完全一致，没有特别之处。

对于任一时间 $t\in T$ ，随机过程 $\{X_t\}$ 的数学期望定义为

$$\mu_{X_t} = E(X_t) = \int_{-\infty}^{+\infty}{x} \mathrm{d} {F_t(x)} = \int_{-\infty}^{+\infty}{xf_t(x)} \mathrm{d} x$$

方差定义为

$$\sigma_{X_t}^2 = V(X_t) = E[(X_t-E(X_t))^2]$$

二阶中心矩定义为

$$E(X_t^2) = \int_{-\infty}^{+\infty}{x^2} \mathrm{d} {F_t(x)} = \int_{-\infty}^{+\infty}{x^2f_t(x)} \mathrm{d} x$$

对于任意 $t_1,t_2\in T$ ，其协方差函数定义为

$$c_X(t_1,t_2) = \sigma_{X_{t_1},X_{t_2}} = E((X_{t_1}-E(X_{t_1}))(X_{t_2}-E(X_{t_2})))$$

相关函数定义为

$$R(t_1,t_2) = E(X_{t_1}X_{t_2})$$

如果 $\forall t\in T$ 都有 $E(X_t^2) < +\infty$ ，称 $\{X_t, t\in T\}$ 为实二阶矩过程。

正态随机过程

如果随机过程 $\{X_t\}$ 的任意 $n$ 维分布都是正态分布，则称为正态随机过程或高斯随机过程。其概率密度为

$$\begin{aligned} f(x_1,\cdots,x_n; t_1,\cdots,t_n) & = \frac{1}{(2\pi)^{n/2}(\det \bm{\Sigma})^{1/2}} \exp \left\{-\frac{1}{2}(\bm x-\bm\mu)\bm \Sigma^{-1}(\bm x-\bm\mu)^T\right\} \\ & = \frac{1}{(2\pi)^{n/2}\sigma_{X_1}\cdots\sigma_{X_n}} \exp \left\{-\frac{1}{2}\sum_{i=1}^n \frac{(x_i-\mu_{X_i})^2}{\sigma_{X_i}^2}\right\} \\ & = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma_{X_i}} \exp \left\{-\frac{(x_i-\mu_{X_i})^2}{2\sigma_{X_i}^2}\right\} \\ & = f(x_1;t_1) \cdots f(x_n;t_n) \end{aligned}$$

也就是说，正态过程在 $n$ 个不同时刻 $t_1,\cdots,t_n$ 采样，得到的一族随机变量两两互不相关，相互独立。对于正态过程，不相关与独立是等价的。

泊松过程

设 $\{N_t\}$ 是一个泊松过程，其中 $N_t$ 表示从 $0$ 时刻到 $t$ 时刻事件发生的次数。其参数为 $\lambda$ ，表示单位时间内事件发生的期望次数，称为此过程的速率或强度。泊松过程是一个平稳增长的计数过程，是齐次的独立增量过程。

$$P(N_t=k) = \frac{(\lambda t)^k}{k!} \mathrm{e}^{-\lambda t}$$

这个式子是以 $0$ 时刻为起始时刻的。如果起始时刻 $s\ne0$ ，那么泊松分布满足

$$P(N_t-N_s=k) = \frac{[\lambda (t-s)]^k}{k!} \mathrm{e}^{-\lambda(t-s)}$$

泊松过程的数字特征与泊松分布完全一致。

• 均值： $E(N_t) = \lambda t$
• 方差： $V(N_t) = \lambda t$
• 矩： $E(N_t^2) = \lambda t + (\lambda t)^2$
• 自相关函数： $R(t_1,t_2) = E(N_{t_1}N_{t_2}) = \lambda t_1 + \lambda^2 t_1t_2$
• 自协方差： $c_X(t_1,t_2) = \sigma_{N_{t_1},N_{t_2}} = \lambda t_1$
• 特征函数：略

其中 $t_1<t_2$ 。

验证一个过程是泊松过程，需要同时满足下面四个条件：

1. $N_0=0$
2. 过程具有平稳的独立增量
3. $P\{N_h=1\} = \lambda h + o(h), h>0$
4. $P\{N_h\ge2\} = o(h), h>0$

其中 $h$ 是一个很小的数。

直观地理解条件 3 ，其实就意味着，在一段很短的时间内，事件发生一次的概率其实和时间的长度正相关，而系数就是单位时间内发生的次数 $\lambda$ 。直观地理解条件 4 ，其实就意味着，在一段很短的时间内，事件连续发生两次的概率非常非常小，远小于发生一次的概率；如果时间段长度变短，那么这个概率将会以更快的速度趋于 $0$ 。

平稳随机过程

实随机过程 $\{X_t, t\in T\}$ 是严平稳随机过程，当且仅当对于任意 $\tau$ ，同时满足以下两个条件：

$$F(x_1,\cdots,x_n; t_1,\cdots,t_n) = F(x_1,\cdots,x_n; t_1+\tau,\cdots,t_n+\tau)$$

$$f(x_1,\cdots,x_n; t_1,\cdots,t_n) = f(x_1,\cdots,x_n; t_1+\tau,\cdots,t_n+\tau)$$

如果时间段长度为定值，那么时间段什么时候开始并不影响概率分布，简单平移时间向量不改变概率分布特征。这有些类似于指数分布的无记忆性。

上一节提到的泊松过程是一种特殊的平稳随机过程，它是离散的，只能用于计数过程。而我们在这里讨论的就是推广到一般情况的平稳随机过程。

严平稳随机过程的性质：

1. 其均值、方差和矩都是与时间无关的常数
2. 其分布函数与概率密度与时间间隔大小有关，与开始时间无关
3. 其自相关函数、协方差都是单变量 $\tau$ 的函数，与 $t_1,t_2$ 的具体数值无关

$$R(t,t+\tau) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} {x_1x_2f(x_1,x_2;t,t+\tau)} \mathrm{d} {x_1} \mathrm{d} {x_2} \triangleq r(\tau)$$

$$c_X(t,t+\tau) = r(\tau) - \mu^2 \triangleq C(\tau)$$

若将 $\tau=0$ 代入上式，即可得到方差。

严平稳随机过程的条件是非常苛刻的，许多过程其实达不到，但是我们可以放宽一些标准。

实随机过程 $\{X_t, t\in T\}$ 是宽平稳随机过程，当且仅当对于任意 $t \in T$ ，同时满足以下三个条件：

1. $E(X_t) = \mu$ 为定值
2. $R(t,t+\tau) = E(X_tX_{t+\tau}) = r(\tau)$
3. $E(X_t^2) < +\infty$

如果某个正态随机过程的数学期望是与时间 $t$ 无关的常数，其相关函数只取决于时间差值 $\tau$ ，则称之为宽平稳正态过程。

又由于正态过程的概率密度完全由均值和协方差所确定，所以，如果正态随机过程是宽平稳的，那么它一定也是严平稳的。

数学期望和自相关函数是随机过程的两个基本特征。因为正态过程的数学期望是常数，中心化之后变为 $0$ ，因此研究的时候格外关注自相关函数 $r(\tau)$ 。

平稳过程自相关函数的性质：

1. 原点非负性： $r(0) \ge 0$
2. 偶函数： $r(\tau) = r(-\tau)$
3. 最大值在 $0$ 处取到： $r(0) \ge |r(\tau)|$
4. 如果平稳过程具有周期性即 $X_t = X_{t+T}$ ，那么 $r(\tau)$ 也具有周期性，且周期等于 $T$
5. 如果平稳过程含有一个周期分量，那么 $r(\tau)$ 也含有一个相同的周期分量
6. 非负定性： $\forall t_1,\cdots,t_n\in T, a_1,\cdots,a_n\in R$ 都有 $\displaystyle \sum_{i=1}^n \sum_{j=1}^n R(t_i,t_j)a_ia_j \ge 0$
7. $r(\tau)$ 在 $\mathbb{R}$ 上连续 $\Leftrightarrow$ $r(\tau)$ 在 $0$ 处连续

为了表现两个时刻随机变量的关联程度，同时排除随机变量变化强度的影响，需要对相关函数做归一化。类似于概率论中，我们定义

$$\rho = \frac{C(\tau)}{C(0)} = \frac{r(\tau)-\mu^2}{\sigma^2}$$

为随机过程 $\{X_t\}$ 的自相关系数，简称相关系数。

第 4 章 泊松过程

两个重要衍生序列的分布特征

到达时间间隔序列

对于齐次泊松过程 $\{N_t,t\ge0\}$ ，设 $\{X_n,n\ge1\}$ 表示第 $n-1$ 个事件到第 $n$ 个事件之间的时间间隔，称为到达时间间隔序列。

结论： $\{X_n,n\ge1\}$ 是独立同分布的序列，每一时刻都服从均值为 $\displaystyle \frac{1}{\lambda}$ 的指数分布，与 $n$ 无关。

$$P(X_1>t) = \mathrm{e}^{-\lambda t} \\$$

$$P(X_2>t | X_1=s) = \mathrm{e}^{-\lambda t} \\$$

$$\cdots$$

等待时间序列

设第 $n$ 个事件到来的时间为 $S_n$ ，称为等待时间，显然有

$$S_n = \sum_{i=1}^n X_i$$

结论：等待时间 $S_n$ 服从参数为 $n,\lambda$ 的 $\Gamma$ 分布，密度函数为

$$f(t) = \lambda \mathrm{e}^{-\lambda t} \frac{(\lambda t)^{n-1}}{(n-1)!}$$

分布函数用这个积分即可得出。

其他规律

定理 4-3 ：条件随机变量 $(X_1|N_t=1) \sim \mathrm U(0, t)$ ，即在 $[0,t]$ 内均匀分布。

$$P(X_1\le s | N_t=1) = \frac{s}{t}$$

直观理解：如果事件在 $[0,t]$ 时间内恰好发生了一次，那么具体发生在什么时候是完全随机的，发生在任何时刻都是等可能的。

定理 4-4 ：已知 $N_t=n$ 的条件下， $S_1,\cdots,S_n$ 的联合密度函数与 $n$ 个独立的 $[0,t]$ 上均匀分布随机变量的顺序统计量的联合密度相同，即条件随机向量 $(S_1,\cdots,S_n | N_t=n)$ 具有联合密度函数

$$f(t_1,\cdots,t_n) = \frac{n!}{t^n}$$

直观理解：如果 $[0,t]$ 内发生了 $n$ 次事件，那么各个事件发生的时刻 $S_1,\cdots,S_n$ 可以看做不排序的随机变量，他们相互独立且具有相同的分布 $\mathrm U(0,t)$ ，因此综合在一起就是 $\displaystyle \frac{1}{t}$ 的 $n$ 次方再乘上 $n!$ 。

为什么要多乘一个阶乘？因为如果我们先排序，假设 $t_1\le t_2\le\cdots\le t_n$ ，得到的概率密度会很好算，就是 $\displaystyle \frac{1}{t^n}$ 。但是 $t_1\le t_2\le\cdots\le t_n$ 不一定成立。尽管如此，改变这些时刻的顺序并不会影响各自的概率分布。然而，所有 $n!$ 种可能的顺序，每个都贡献了 $\displaystyle \frac{1}{t^n}$ 的概率，加总在一起就是 $\displaystyle n!\cdot \frac{1}{t^n}$ 。

对于例 4-1 后半部分一种不太严谨但很直观的解释

既然我们已经求出 $\displaystyle E=\frac{nt_0}{2}$ ，那么只需要消去 $n$ 即可。根据泊松分布，单位时间内期望有 $\lambda$ 个乘客到达车站，因此火车启程之前我们期望有 $n = \lambda t_0$ 个乘客到达车站。代入上式即可得到 $\displaystyle E = \frac{1}{2}\lambda t_0^2$ 。

泊松过程的分解

之前讨论的泊松过程都只观察事件发生多少次，而不关心事件具体是什么、不同事件之间是不是一样的。

但在实际问题中，事件可能是这样的或者那样的，不同时刻发生的事件并不同质。比如在 $t$ 时刻，股票的价格发生变化就是一个事件。价格可能变化，也可能不变（事件可能发生也可能不发生）。但即使我们以价格确实变化了作为前提条件，股票的价格依然可能上涨也可能下跌，而且上涨下跌的概率很多时候是不一样的。

因此，在某一时刻发生的事件，我们希望将其细化，按照不同的类型进行讨论。

先讨论最简单的一种情况：事件只分为两类。

假设在时刻 $s$ ，事件以概率 $P(s)$ 被归为 1 型，以 $1-P(s)$ 被归为 2 型。用 $N_1(t)$ 表示 $[0,t]$ 时间内 1 型事件的发生次数，用 $N_2(t)$ 表示 $[0,t]$ 时间内 2 型事件的发生次数。

（形象化地，假设在时刻 $s$ 股票的价格真的发生了变化，那么有 $P(s)$ 的概率上涨，有 $1-P(s)$ 的概率下跌， $N_{1/2}(t)$ 就表示 $[0,t]$ 时间内股票上涨/下跌的次数。）

结论： $N_1(t)$ 和 $N_2(t)$ 相互独立，且 $N_1(t)$ 服从于均值为 $\lambda tp$ 的泊松分布， $N_2(t)$ 服从于均值为 $\lambda t(1-p)$ 的泊松分布，其中

$$p = \frac{1}{t}\int_{0}^{t}{P(s)} \mathrm{d} {s}$$

直观理解： $p$ 就是 $[0,t]$ 范围内 $P(s)$ 图像与 $x$ 轴围成的面积的平均值，可以认为是“平均概率”。 对于原始的泊松过程 $\{N_t\}$ ，它服从的是均值为 $\lambda$ 的泊松分布， $\lambda$ 是单位时间内事件发生的次数，乘上时长 $t$ 得 $\lambda t$ 就是 $[0,t]$ 内事件发生的次数，再乘上“平均概率” $p$ 得到 $\lambda tp$ 就是这一段时间内股票价格上涨的次数了。

非齐次泊松过程和复合泊松过程

非齐次泊松过程