上一章我们讲的泊松过程和维纳都是说随机过程一族随机变量之间是没有关系的，比如统计一个路口某个时段通过的人数，各个时段通过的人数只与时间段长度有关（泊松过程）。但如果过程之间的是有关系的呢？比如炒股票的时候今天的决策与昨天的行情是有关系的，怎么来描述呢？这就用到了另外一类随机过程，马尔可夫链。它的意思是，今天的事情与昨天是有关系的而且只和昨天有关系，和前天没有关系，有这类特性的随机过程我们就可以用马尔可夫链来刻画。（人的一生是马尔可夫过程么？我们的未来取决于过去的积累，所以不是马尔可夫的，更像卷积，哈哈哈！）接上节的概念，初始状态为0的独立增量过程是马尔可夫过程。（大家可翻看以前的文章）所以从定义上看，泊松过程是时间和状态都不连续的马尔可夫过程，而维纳过程是事件和状态都连续的马尔可夫过程！因为他们都是独立增量过程，且与初始状态都为0。（定义）
所以马尔可夫链用一个状态转移矩阵来描述（状态转移矩阵就是行列由状态表示，元素为状态之间转移的概率），用几何表示出来就是一个图。图中的节点就是不同的状态，而连接图的有向边代表状态转移的概率。从某一个状态出发到达另一个状态的概率为1（不就是一个有向连通图嘛），这里和线性代数就挂上钩了。（后续会把线性代数内容的梳理写过来）如果确定了开始和结束状态，以及确定了到达时间后，概率就确定了，那么转移概率就具有平稳性。比如我要去昆明旅行而且需要3小时，我就只能坐飞机、其他的交通工具就肯定不考虑了。明确了目标和资源限制，方案选择的概率是确定的，只与目标与约束有关，我们就称为过程是平稳的。
一步概率转移矩阵：就是只发生一次状态转移，没有中间状态的概率矩阵。很好理解吧，就是没有中间商赚差价的点对点直接交易的价格。为什么要单独列出来呢，因为根据马尔可夫性随机过程中的随机变量之间只有一步联系，直观的马氏链是由其初始分布（0时刻分布）与其一步转移矩阵决定的。
n步转移概率之C-K方程：切普曼-科尔莫戈罗夫方程，通过这个方程可以计算n步转移概率。从某个状态a出发经过了u,v两个时段到达了另外一状态c，这个事情可以分解为从a出发经过u先到到b,再从b出发经过v时间到c。像古代行军打仗，从A到B会兵分n路，因为A-B得路不止一条，然后再B点汇合。从C-K方程出发，推导出了齐次马氏链的n步转移概率矩阵为一步转移矩阵的n次方。这有啥用呢？假如一个级联系统可以用齐次马氏链来描述，输入经过n级以后得到输出，如知道一步转移概率，那么在知道输入的情况下可以求得输出，同样知道输出的情况下也可以知道输入。
本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:dandanxi6@qq.com