wasserstein 距离

wasserstein 距离注明 直观理解而已 正儿八经的严谨证明看最下面的参考 EarthMover sDistance 推土机距离的例子 有一堆土的分布是 PrPrP r 其随机变量是 xxx 现在要求把这堆土挪动成为分布 PgPgP g 其随机变量是 yyy 图上是 P P P theta 这样做的方法很多 那么做最小功的挪动该是什么 这是一个优化问题对应着的最优解是 这里 Pr Pg

注明:直观理解而已,正儿八经的严谨证明看最下面的参考。

Earth Mover’s Distance

wasserstein 距离

wasserstein 距离

推土机距离的例子:有一堆土的分布是 P r P_r Pr, 其随机变量是 x x x,现在要求把这堆土挪动成为分布 P g P_g Pg ,其随机变量是 y y y(图上是 P θ P_\theta Pθ),这样做的方法很多,那么做最小功的挪动该是什么?这是一个优化问题对应着的最优解是:

这里写图片描述

这里 Π ( P r , P g ) \Pi(P_r, P_g) Π(Pr,Pg) 表示的是边缘分布是 P r P_r Pr P g P_g Pg 的联合分布 ( P r , P g ) (P_r, P_g) (Pr,Pg) 集合,即 ∑ x γ ( x , y ) = P r ( y ) \sum_x \gamma(x,y) = P_r(y) xγ(x,y)=Pr(y) ∑ y γ ( x , y ) = P θ ( x ) \sum_y \gamma(x,y) = P_\theta(x) yγ(x,y)=Pθ(x).

γ ∈ Π ( P r , P θ ) \gamma \in \Pi(P_r, P_\theta) γΠ(Pr,Pθ), 求解 ( x , y ) (x,y) (x,y)服从联合分布 γ \gamma γ 时,关于 ∣ ∣ x − y ∣ ∣ ||x-y|| xy的期望,所有的解中最小的期望便是推土机距离。

直观的测度论

测度论提供了一些集合的特征,用来描述适用于 R n \mathbb R^n Rn空间的大多数点。
零测度:零测度集合在我们的度量空间中不占有任何的体积。比如二维空间中的一条直线的测度是0。

高维空间的低维子空间

高维空间中的很多点是多余的,真实数据蜷缩在低维子空间的流形上(即高维曲面),因为维度低,所占空间体积几乎为0,所以原始的GANs存在的问题是生成器的生成数据广泛分布在高维空间中,侦测不到真实数据,KL距离始终是log2,所以对生成器的梯度始终是0,怎么训练也没用。

Wasserstein距离的对偶式

这里写图片描述

1

相当于找到一个函数 f f f 求(3)的最大目标函数。这个函数满足 ∥ f ∥ L ≤ 1 \lVert f \lVert_{L \leq 1} fL1, 1-Lipschitz 函数。

补充:2019年4月16日08:11:36

:我在简书里补充了一些资料和定义,需要的可以去看看:https://www.jianshu.com/p/b03de


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/216666.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月18日 上午11:21
下一篇 2026年3月18日 上午11:21


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号