吉布斯采样
算法
(重定向自吉布斯取样法)
吉布斯采样(英語:Gibbs sampling)是统计学中用于马尔科夫蒙特卡洛(MCMC)的一种算法,用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分(如某一变量的期望值)。某些变量可能为已知变量,故对这些变量并不需要采样。
吉布斯采样常用于统计推断(尤其是贝叶斯推断)之中。这是一种随机化算法,与最大期望算法等统计推断中的确定性算法相区别。与其他MCMC算法一样,吉布斯采样从马尔科夫链中抽取样本,可以看作是Metropolis–Hastings算法的特例。
该算法的名称源于约西亚·威拉德·吉布斯,由斯图尔特·杰曼与唐纳德·杰曼兄弟于1984年提出。[1]
演算法编辑
吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。假设我们需要从联合分布 中抽取 的 个样本。记第 个样本为 。吉布斯采样的过程则为:
- 确定初始值 。
- 假设已得到样本 ,记下一个样本为 。于是可将其看作一个向量,对其中某一分量 ,可通过在其他分量已知的条件下该分量的概率分布来抽取该分量。对于此条件概率,我们使用样本 中已得到的分量 到 以及上一样本 中的分量 到 ,即 。
- 重复上述过程 次。
在采样完成后,我们可以用这些样本来近似所有变量的联合分布。如果仅考虑其中部分变量,则可以得到这些变量的边缘分布。此外,我们还可以对所有样本求某一变量的平均值来估计该变量的期望。
参见编辑
参考文献编辑
- ^ Geman, S.; Geman, D. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1984, 6 (6): 721–741. doi:10.1109/TPAMI.1984.4767596.
- Bishop, Christopher M., Pattern Recognition and Machine Learning, Springer, 2006, ISBN 0-387-31073-8
- Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley ISBN 978-0-470-04609-8
- Casella, G.; George, E. I. Explaining the Gibbs Sampler. The American Statistician. 1992, 46 (3): 167. JSTOR 2685208. doi:10.2307/2685208.
- Gelfand, Alan E.; Smith, Adrian F. M., Sampling-Based Approaches to Calculating Marginal Densities, Journal of the American Statistical Association, 1990, 85 (410): 398–409, JSTOR 2289776, MR 1141740, doi:10.2307/2289776
- Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
- Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
- Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.
🔥 Top keywords: Baike: 首页Special:搜索胖猫跳江事件背着善宰跑九龍城寨之圍城逆天奇案2璩静淚之女王歌手2024Energy (組合)新生 (网络剧)习近平匈牙利邊佑錫劉俊謙 (香港)金智媛神耆小子塞尔维亚金秀賢 (男演員)母亲节猩球崛起:王國誕生九龍寨城馴鹿寶貝家族榮耀之繼承者Seventeen (組合)六四事件不夠善良的我們张维为楊佩潔TripleS支配物种庆余年郭葦昀洪若潭命案金惠奫2024年英雄联盟季中邀请赛春色寄情人BABYMONSTER笑看風雲乘風2024排球少年!!角色列表破墓徐巧芯中华人民共和国中華民國打天下2WIND BREAKER—防風少年—习明泽排球少年!!彭丽媛磁暴ILLIT贾斯汀·比伯逆天奇案BOYNEXTDOOR猿人爭霸戰:猩凶革命張書偉我的婆婆怎麼那麼可愛我獨自升級怪獸8號謝坤達IVE (組合)與鳳行關於我轉生變成史萊姆這檔事角色列表黃道十二宮福建號航空母艦虽然不是英雄葉乃文五月天張員瑛草榴社区張文傑2024年花蓮地震极光香緹·摩爾迷宮飯呂家愷搜查班長1958日本劉德華海莉·鮑德溫蕭景鴻越位 (足球)葬送的芙莉蓮周處除三害 (電影)毛泽东願榮光歸香港林峯周雨彤伍允龍羅毓儀香港Baike: 分類索引沒有秘密猩球崛起:終極決戰角質層唐振剛柯佳嬿文化大革命