炼数成金 门户 科学探索 数学 查看内容

一图搞懂梯度、散度、旋度、Jacobian、Hessian、Laplacian之间的关系

2020-7-3 09:29| 发布者: 炼数成金_小数| 查看: 26597| 评论: 0|原作者: 王赟 Maigo|来自: 知乎

摘要: Laplacian 是一个作用于标量的二阶微分运算,其结果也是标量。但我们也可以把它作用于一个向量的每一个元素,得到一个向量;这种运算称为向量 Laplacian。向量 Laplacian 的结果,恰好等于「散度的梯度」与「旋度的 ...
来自 | 知乎   作者 | 王赟 Maigo
链接 | https://zhuanlan.zhihu.com/p/35323714
编辑 | 深度学习这件小事公众号
本文仅作学术交流,如有侵权,请联系小编删除

一、入门

图中的细实线箭头表示了四种一阶微分运算,包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型,终点表示了相应运算的因变量的类型,例如梯度运算是作用在标量上的,结果是向量。图中的「向量」默认为列向量。

图中的粗实线箭头表示了两种二阶微分运算,它们可以由两个一阶微分运算组合而成,即:
梯度的散度就是 Laplacian;
梯度的 Jacobian 就是 Hessian。
图中的虚线箭头表示了一种不涉及微分的运算(迹)。在微分运算之后接上「迹」运算,可能得到另一种微分运算,如:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian。

二、入迷


图中的四种一阶微分运算两两搭配,一共可以得到 7 种二阶微分运算。第一节的图中画出了两种,本节的图中画出了另外五种(浅蓝色与灰色)。这五种二阶微分运算并没有特别的名字,但其中有两种是恒等于 0 的:
梯度的旋度恒为零向量;
旋度的散度恒为 0。
其中,「梯度无旋」可以用下面的图形象说明(图片来自@得分的):

如果梯度有旋会怎么样?

三、入魔


Laplacian 是一个作用于标量的二阶微分运算,其结果也是标量。但我们也可以把它作用于一个向量的每一个元素,得到一个向量;这种运算称为向量 Laplacian。


向量 Laplacian 的结果,恰好等于「散度的梯度」与「旋度的旋度」之差。为了体现出这种关系,我把「从向量到向量」的三种二阶微分运算改用橙红色箭头表示。

四、入土

既然引入了「逐行散度」这个一阶微分运算,那就索性把它能组合出来的二阶微分运算也全都放到图里去吧!这样就得到了一个完美对称的图,它包含了 11 种二阶微分运算,其中:
有两种比较常见:Laplacian 和 Hessian;
有两种恒等于零:「梯度的旋度」和「旋度的散度」;
有三种满足减法关系:向量 Laplacian = 散度的梯度 - 旋度的旋度;
剩下的四种没有专门的名字,也很罕见。
其中任何一种微分运算后面接上「迹」,都可以得到另一种同阶微分运算:
Jacobian 的迹就是散度;
Hessian 的迹就是 Laplacian;
旋度的 Jacobian 的迹就是旋度的散度,恒等于 0;
矩阵逐行散度的 Jacobian 的迹,就是它的逐行散度的散度。
但需要注意只能在运算之后接上「迹」,在运算之前接「迹」是不行的,比如矩阵的迹的梯度不等于它的逐行散度。
如果有读者知道图中几种没有名字的运算叫什么名字、有什么用途,或者在图中内容之外还有什么值得包括进来的微分运算,欢迎补充。

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!

欢迎加入本站公开兴趣群
高性能计算群
兴趣范围包括:并行计算,GPU计算,CUDA,MPI,OpenMP等各种流行计算框架,超级计算机,超级计算在气象,军事,航空,汽车设计,科学探索,生物,医药等各个领域里的应用
QQ群:326600878
1

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (1 人)

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

     

    GMT+8, 2021-3-8 17:24 , Processed in 0.110539 second(s), 24 queries .