随机过程(1)

随机过程是一系列参数相关的随机变量集合，参数可以是离散或连续的，状态空间为随机变量取值的集合。Markov链是一种常见的随机现象，其特点是一步状态决定仅依赖于前一状态。离散随机过程如果满足Markov条件，则称为Markov链。转移概率是关键要素，表示一步转移概率。时间齐次的Markov链的转移矩阵具有概率性质，且满足特定条件。Chapman-Kolmogorov方程描述了多步转移概率的分拆。生成函数帮助分析状态的分类，常返状态满足特定条件，瞬时状态则不满足。首次访问时间、平均返回时间以及周期状态等概念有助于理解Markov链的性质。分解定理将状态空间分解为瞬时状态集合、闭的、常返的和不可约的集合。有限状态空间存在至少一个常返状态，且均为非零常返状态。分解定理与生成函数等工具提供了更深入的分析框架。