和非参数模型一样具有更为广阔的使用空间,和非参数模型一样拥有更为普遍的应用空间

Dirichlet分布(Dirichelt Distribution)和Dirichlet过程 (Dirichlet
Process)广泛应用于音信搜索、自然语言处理等世界,是了解大旨模型的最首要一步。而且它看作一种非参数模型(non-paramatric
model),和非参数模型一样拥有进一步宽广的利用空间。

姓名:王怀帅  学号:16040410035

数学期望

  • 平均值:平均值一般是指算数平均值
  • 希望可以知道为加权平均值,权数是函数的密度.对于离散函数,E(x)=∑f(xi)xi
  • 此地指一维连续随机变量(多维连续变量也仿佛)
    • 自由数据的概率密度函数:表示一下幅值落在某指定范围内的概率,由此是幅值的函数。它随所取范围的幅值而变更。
    • 在数学中,连续型随机变量的概率密度函数(在不至于混淆时可以简称为密度函数)是一个讲述这一个随机变量的输出值,在某个确定的取值点隔壁的可能(不严酷的说就是概率)的函数。probability
      density function,简称PDF
  • 均差:求每一个数与这么些样本数列的数学平均值之间的差,称均差;
  • 方差:统计每一个差的平方,称方差;
  • 均方差:求它们的总数,再除以这多少个样本数列的项数得到均方差;
  • 业内方差:再开根号得到专业方差!

文本提供了一种对Dirichlet
过程的精通。本文适合了然高斯过程,对Dirichlet过程有早晚了然,但又微微迷惑的校友。希望读完这篇小说能更加升级对Dirichlet的领悟。

转载自:http://www.jianshu.com/p/096a8a7ca173c=有修改

笛Carl积

  • 设A,B为会聚,用A中元素为第一要素,B中元素为第二元素结合有序对,所有这样的稳步对组合的集纳叫做A与B的笛卡尔(Carl)积,记作AxB.笛Carl积的记号化为:A×B={(x,y)|x∈A∧y∈B}
  • 例如,A={a,b}, B={0,1,2},则
    A×B={(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)}
    B×A={(0, a), (0, b), (1, a), (1, b), (2, a), (2, b)}

随意过程

粗略地说,随机过程是概率分布的扩张。我们一般讲概率分布,是有限维的随机变量的概率分布,而任意过程所探讨的靶子是无限维的。因而,也把自由过程所探讨的对象称作轻易函数

随机变量之于概率分布,就像随机函数之于随机过程

机械学习世界广泛的轻易过程有:Gaussian Process, Dirichlet Process, Beta
Process, Gamma Process等等。

【嵌牛导读】:Dirichlet分布(Dirichelt Distribution)和Dirichlet过程
(Dirichlet
Process)广泛应用于消息寻找、自然语言处理等领域,是领悟大旨模型的机要一步。而且它当做一种非参数模型(non-paramatric
model),和非参数模型一样享有进一步宽广的利用空间。

样本空间

  • 随意事件E的具备主旨结果组成的成团为E的样本空间。样本空间的要素称为样本点或骨干事件。
  • 比如说:设随意试验E为“抛一颗骰子,观察出现的罗列”。那么E的样本空间
    S:{1,2,3,4,5,6,}。
  • 些微实验有多少个或五个可能的样本空间。例如,从52张扑克牌中随机抽出一张,一个或者的样本空间是数字(A到K),另外一个恐怕的样本空间是序列(黑桃,红桃,梅花,方块)。假如要完好地描述一张牌,就需要同时提交数字和项目,这时的样本空间可以经过构建上述多少个样本空间的笛卡儿乘积来博取。
    • 样本空间
    • 样本点(基本事件)

高斯过程

掌握Dirichlet过程,可以类比高斯经过。高斯过程(GP)是概念在函数上的概率分布

这里的f(x)被称作随便函数,每一个x对应的f(x)都是一个随机变量,能够将以此自由函数看做是多维随机变量的扩大。由于我们一般考虑的函数的定义域都蕴含无限个自变量(如定义域为实数域),不可能显式地写出其同台概率密度函数,因日常的多维随机变量的概念不能够代表高斯过程的概念。

故而,一般的自由过程包括高斯过程,都是经过一个边缘概率密度函数(f(x1),
f(x2), …, f(xn))来定义的。

这一定于我们不可以两遍放完一个无比的东西,所以想了个办法,对它的片段照相。对于此外部分(x1,
x2, …, xn),我们都有一个相片(f(x1), f(x2), …,
f(xn))。这里,均值m和协方差c唯一地决定一个GP。

【嵌牛鼻子】:随机过程、高斯过程、Dirichlet分布、Dirichlet过程

[随机变量](./第二章 随机变量及其分布.pdf)(网络链接)

Dirichlet分布

Dirichlet分布是概念在K维概率单纯形(K-dimentional probability
simplex)上的遍布

K维概率单纯形,说的接近很复杂,其实就是和为1,因而得以将pi看作是一个概率分布。

Dirichlet分布的概率密度函数是

Dirichlet有许多赏心悦目的特性,比如将这里的随机变量的因素拆分或者合并,结果依然坚守Dirichelt分布。如下

【嵌牛提问】:如何了然Dirichlet分布在拍卖随机过程与高斯过程中的性质?

高斯函数

  • 一维高斯函数
  • 二维高斯函数

Dirichlet过程

Dirichlet过程(DP)是概念在概率揣测上的遍布

概率估算也就是概率,它是概念在样本空间sigam域上的函数,满足早晚的性能。样本空间就是大家要探讨的空间
,比如大旨模型中持有的词结合的上空就是大家的样本空间。sigma域也很简短,就是该空间的有所的子集构成的空中。对于有n个因素的样本空间
,它的sigma域有2^n个要素。这里的“满意一定的属性”,紧要指可列可加性。通俗地说,即一些不相交集合的并的几率等于对各样集合的票房价值作和。

和GP类似,我们鞭长莫及显式地定义DP。这只好对DP的一对“照相”。咋样拍摄吗?

设G是一个随意概率猜度,对样本空间做一个私分(A1, A2, …,
Ak),(G(A1), G(A2), …, G(Ak))就足以当作一张相片。这里的 G(A1),
G(A2), …, G(Ak)也是一个多维随机变量,和高斯过程中的f(x1), f(x2), …,
f(xn)分外。而且由于G是概率推测,大家仍是可以得出G(A1)+G(A2)+…+G(Ak)=1,即一个区划和一个概率臆想唯一地决定了一个概率分布。

倘诺对样本空间的随机一个细分(A1, A2, …, Ak),都有(G(A1), G(A2),
…, G(Ak))满意Dirichlet分布。那么我们称G是一个Dirichlet过程。

记为

H是一个基分布(base
distribution),可以看做G的梦想;alpha是全面,可以看做G的方差的“最后几个”。

【嵌牛正文】:

概率分布(百度宏观)

  • 事件的概率表示了五回考试某一个结果暴发的可能大小。若要全面理解试验,则必须掌握试验的一体可能结果及各样可能结果爆发的概率,即必须通晓随机试验的概率分布(probability
    distribution)

    • 离散型随机变量概率分布
      • 分布列
    • 连续型随机变量概率分布
      • 概率分布密度曲线
      • 概率分布密度函数

参考文献

https://www.stats.ox.ac.uk/~teh/teaching/npbayes/mlss2007.pdf

轻易过程

粗略地说,随机过程是概率分布的恢宏。大家一般讲概率分布,是有限维的随机变量的概率分布,而随意过程所探讨的靶子是无限维的。因而,也把自由过程所研究的对象称作擅自函数

随机变量之于概率分布,就像随机函数之于随机过程

机械学习世界大规模的自由过程有:Gaussian Process, Dirichlet Process, Beta
Process, Gamma Process等等。

正太分布

  • 正态分布(诺玛l
    distribution),也称“常态分布”,又名高斯分布(Gaussian
    distribution)
  • 正态分布是一种很要紧的连续型随机变量的概率分布。
  • 正态曲线呈钟型,多头低,中间高,左右对称因其曲线呈钟形,因这个人们又每每称之为钟形曲线。若随机变量X遵守一个数学期望为μ、方差为σ2的正态分布,记为N(μ,σ2)

高斯过程

领悟Dirichlet过程,能够类比高斯过程。高斯过程(GP)是概念在函数上的概率分布

图片 1

这里的f(x)被称作肆意函数,每一个x相应的f(x)都是一个随机变量,可以将以此自由函数看做是多维随机变量的恢宏。由于大家一般考虑的函数的定义域都带有无限个自变量(如定义域为实数域),无法显式地写出其一头概率密度函数,因平常的多维随机变量的概念无法代表高斯过程的定义。

故此,一般的自由过程包括高斯过程,都是通过一个边缘概率密度函数(f(x1),
f(x2), …, f(xn))来定义的。

图片 2

这一定于我们不能五次放完一个极端的东西,所以想了个办法,对它的一对照相。对于任何部分(x1,
x2, …, xn),我们都有一个相片(f(x1), f(x2), …,
f(xn))。那里,均值m和协方差c唯一地决定一个GP。

Dirichlet分布

Dirichlet分布是概念在K维概率单纯形(K-dimentional probability
simplex)上的遍布

K维概率单纯形,说的切近很复杂,其实就是和为1,因而能够将pi看作是一个概率分布。

图片 3

Dirichlet分布的概率密度函数是

图片 4

Dirichlet有众多绝色的习性,比如将这里的随机变量的元素拆分或者联合,结果要么服从Dirichelt分布。如下

图片 5

图片 6

Dirichlet过程

Dirichlet过程(DP)是概念在概率猜想上的分布

概率推断也就是概率,它是概念在样本空间sigam域上的函数,满足早晚的性质。样本空间就是我们要探讨的空间
,比如主旨模型中负有的词结缘的长空就是大家的样本空间。sigma域也很简短,就是该空间的所有的子集构成的空中。对于有n个因素的样本空间
,它的sigma域有2^n个要素。这里的“满足一定的属性”,紧要指可列可加性。通俗地说,即一些不相交集合的并的概率等于对各样集合的几率作和。

和GP类似,我们无能为力显式地定义DP。这只好对DP的局部“照相”。怎么着拍摄吗?

设G是一个随便概率猜度,对样本空间做一个分叉(A1, A2, …,
Ak),(G(A1), G(A2), …, G(Ak))就可以用作一张照片。这里的 G(A1),
G(A2), …, G(Ak)也是一个多维随机变量,和高斯过程中的f(x1), f(x2), …,
f(xn)出色。而且由于G是概率揣测,我们还可以得出G(A1)+G(A2)+…+G(Ak)=1,即一个分叉和一个概率揣度唯一地操纵了一个概率分布。

图片 7

假如对样本空间的擅自一个瓜分(A1, A2, …, Ak),都有(G(A1), G(A2),
…, G(Ak))满意Dirichlet分布。那么我们称G是一个Dirichlet过程。

记为

图片 8

H是一个基分布(base
distribution),可以看做G的期望;alpha是周密,可以看做G的方差的“倒数”。

图片 9

相关文章