计算机科学技术导论开发者必读:计算机科学中的线性代数

走近科学 2019-06-12191未知admin

  矩阵计算在计算机科学中占有举足轻重的地位,是每个开发者都需要掌握的数学知识。近日,来自普渡大学的 Petros Drineas 与 UC Berkeley 的 Michael Mahoney 提交了一篇概述论文《Lectures on Randomized Numerical Linear Algebra》可以作为线性代数知识的参考资料,本文将对其中的部分内容(主要为第二章:线性代数)进行简单介绍。

  矩阵在计算机科学、统计学和应用数学中占有独一无二的地位。一个 m×n 矩阵可以对 m 个对象(每个对象由 n 个特征描述)在有限单元网格中的离散微分算子信息进行描述;一个 n×n 正定矩阵可以编码所有 n 对象配对之间的相关性,或者网络中所有 n 节点对之间的边连通性等等。受科学和计算机技术发展的影响,近年来我们见证了矩阵算法理论和实践上令人兴奋的发展。其中最值得注意的是随机化的使用——通常假设由于生成机制的原因,输入数据存在噪声——它可以作为算法或计算资源用于开发和提升基础矩阵问题如矩阵乘法、最小二乘(LS)近似、低阶矩阵近似等算法。

  随机数值线性代数(RandNLA)是一个跨学科的研究领域,利用随机化作为计算资源来开发用于大规模线性代数问题的提升算法。从基础的角度来看,RandNLA 源自理论计算机科学(TCS),并与数学有着很深的联系(凸面分析、概率论、度量嵌入理论),也与应用数学相关(科学计算、信号处理、数值线性代数)。从应用层面来看,RandNLA 是机器学习、统计和数据分析的重要新工具。很多精心设计的实现已经在大量问题上超越了高度优化的软件库,如最小二乘回归,同时也具有相当的扩展性、平行计算和分布能力。此外,RandNLA 为现代大规模数据分析提供了良好的算法和统计基础。

  这一章将作为对三种基本 RandNLA 算法的独立的入门介绍,分别是随机矩阵乘法(randomized matrix multiplication)、随机最小二乘解算器(randomized least-squares solvers),以及用一个随机算法计算矩阵的低秩近似。因此,这一章和很多应用数学的领域有非常强的联系,特别是它和这一卷的其它许多章节都有很强的联系。最重要的是,其中分别包含了 G. Martinsson 的工作,他利用这些方法开发了改进的低秩矩阵近似解算器 [2];R. Vershynin 的工作,他开发了概率论工具用于分析 RandNLA 算法 [3]; J. Duchi 的工作,他以互补的方式利用随机方法求解更通用的优化问题 [4];以及 M. Maggioni 的工作,他以这些方法作为更复杂的多尺度方法的基础模块 [5]。

  本论文将在第二节中概述基本的线性代数知识;在第三节概述离散概率的基本知识;在第四节介绍矩阵乘法的随机算法;在第五节介绍最小二乘回归问题的随机算法;在第六节介绍低秩近似的随机算法。最后我们还介绍了两个其它关于 RandNLA 的导论资源 [6,7],供感兴趣的读者参考。

  在这一节,我们将简要概述基本的线性代数属性和在这一章中将用到的数学符号。我们假定读者具备线性代数的基础(例如,向量的内积和叉积,基本矩阵运算如加法、标量乘法、转置、上/下三角矩阵,矩阵-向量乘法,矩阵乘法,矩阵的迹等)。

  我们将完全聚焦于线性空间中的矩阵和向量。我们使用符号 x ∈ R^n 表示 n 维向量,注意向量都是以粗体小写字母书写。这里假定所有的向量都是列向量,除非特别说明。所有元素为零的向量用 0 表示,所有元素为 1 的向量用 1 表示(类似 Broadcasting);维度会隐含在上下文中或显式地用下标表示。

  我们将使用粗体大写字母表示矩阵,例如 A ∈ R^mxn 表示一个 mxn 阶的矩阵;用 A_i* 表示 A 的第 i 行的行向量,用 A_*i 表示 A 的第 i 列的列向量。单位矩阵表示为 I_n,其中 n 是矩阵的行数和列数。最后,我们用 e_i 表示 I_n 的第 i 列,即第 i 个规范基。

  逆矩阵:如果存在一个逆矩阵 A^-1 ∈ R^mxn 满足以下条件,那么矩阵 A ∈ R^mxn 被称为非奇异的或可逆的:

  如果 A 的所有列向量(或行向量)线性无关,那么 A 是可逆的。换句话说,不存在一个非零向量 x ∈ R^n 使得 Ax=0。可逆矩阵的标准性质有: (A^−1 )^⊤ = (A^⊤)^−1 = A^−⊤(A 逆的转置等于 A 转置的逆)和 (AB)^−1 = B^−1* A^−1(A 左乘 B 的逆等于 B 逆左乘 A 逆。注:微信表达式展示不便,准确表达式请查看原材料)。

  正交矩阵:如果矩阵 A ∈ R^n×n 满足 A^⊤=A^−1,则称 A 为正交矩阵。等价地说,对所有 i , j 属于 [1,n],正交矩阵满足:

  对于 A 的行向量,上述性质同样满足。即 A 的所有列(或行)向量都是两两正交或互成法向量。

  QR 分解:任意的矩阵 A ∈ R^n×n 都可以分解成一个正交矩阵和一个上三角矩阵的乘积:A=QR

  其中 Q ∈ R^n×n 是正交矩阵,R ∈ R^n×n 是上三角矩阵。QR 分解在求解线性方程组的时候很有用,它的计算复杂度为 O(n^3),并且是数值稳定的。为了用 QR 分解求解线性方程组 Ax=b,我们首先对等式两边同时左乘一个 Q^⊤,即 Q^⊤QRx = Rx = Q^⊤b。然后,我们用反向代入求解 Rx = Q^⊤b。

  范数(Norms)被用于度量矩阵的大小,或者相应地,度量向量的长度。范数是一个函数,它将 R^mxn(或 R^n)映射到 R。计算机科学技术导论形式地说:

  定义 1:任何函数满足 · : R^m×n → R 和下列性质,则称为一个范数:

  若给定 n 维向量 x 和一个整数 p 1,我们可以定义向量 p-范数为:

  一般来说,该不等式给定了两个向量的欧几里德范数可以作为它们内积的上确界,Holder 不等式表明:

  以下向量 p-范数的不等式性质可以轻易的证明:

  给定一个 m×n 阶矩阵 A,和一个 p 1 整数,我们定义矩阵的 p-范数为:

  此外,矩阵 p-范数对于矩阵的初等变换是不变的,即PAQp = Ap,其中 P 和 Q 为对应维度的初等变换矩阵。同样,如果我们考虑矩阵分割:

  那么子矩阵的范数就和全部矩阵的范数相关:即Bp = Ap。矩阵 p-范数间的以下关系可以相对简单地证明。若给定一个 m×n 阶矩阵,

  我们知道方阵可以分解为特征值与特征向量,但非方阵的矩阵并没不能实现特征值分解。因此奇异值分解(SVD)是每个矩阵中最重要的矩阵分解方式,因为不是所有的矩阵都能进行特征分解,但是所有的矩阵都能进行奇异值分解。

  定义 6. 给定一个矩阵 A ∈ R^m×n,我们定义全 SVD 为:

  其中 U ∈ R^m×m 和 V ∈ R^n×n 分别是包含 A 的左、右奇异向量的正交矩阵,Σ ∈ R^m×n 是对角矩阵,其中 A 的奇异值在主对角线上递减。

  A 的奇异值是非负的,其数目等于 min{m, n}。A 的非零奇异值个数等于 A 的秩。由于正交不变性,我们得到:

  其中 P 和 Q 是对应维度上的正交矩阵(P^TP = I 且 Q^TQ = I)。或者说,PAQ 的奇异值与 A 的奇异值相同。

  其中σ_1(A) = A_2。我们经常对于仅保持非零奇异值和相应的(矩阵 A 的)左、右奇异向量感兴趣。给定矩阵 A ∈ R^m×n 和 rank(A)=ρ,我们可以定义它的稀疏 SVD。

  其中 U ∈ R^m×ρ和 V ∈ R^n×ρ是包含对应于非零奇异值的左、右奇异向量的两两正交列(即 U^TU = I 且 V^TV = I)的矩阵;Σ ∈ R^ρ×ρ是 A 的非零奇异值在对角线上递减的对角矩阵。

  如果 A 是非奇异矩阵,我们可以使用 SVD 计算它的逆:

  (如果 A 是非奇异的,计算机科学技术导论那么它是方形和满秩的,在这种情况下,稀疏 SVD 和全 SVD 是一样的)众所周知,SVD 非常重要,任何矩阵的最佳 k 秩近似都可以通过 SVD 来计算。

  换句话说,上述定理指出,计算机科学技术导论如果我们寻找一个矩阵 A 的 k 秩近似,使得「误差」矩阵的 2-范数或 Frobenius 范数最小化(即 A 和它的近似之间的差异最小化),随后我们需要保留 A 的最前 k 个奇异值和相应的左、右奇异向量。

  我们会经常使用这些符号:让 U_k ∈ R^m×k(或 V_k ∈ R^n×k)表示矩阵 A 的最前 k 个左(或右)奇异向量的矩阵;让 Σ_k ∈ R^k×k 表示包含 A 的最前 k 个奇异值的对角矩阵。同样的,让 U_k,⊥ ∈ R^m×(ρ−k)(或 V_k,⊥ ∈ R^n×(ρ−k))表示 A 的底部ρ-k 个非零左(或右)奇异向量的矩阵;然后令Σ_k,⊥ ∈ R^(ρ−k)×(ρ−k) 表示包含 A 的底部ρ-k 个奇异值的对角矩阵。然后,

  对于非方矩阵而言,其逆矩阵是没有定义的。而一种非常出名的推广型矩阵求逆方法 Moore-Penrose 伪逆在这类问题上取得了一定的进展。形式上来说,若给定 m×n 阶矩阵 A,那么如果矩阵 A† 满足以下属性,它就是矩阵 A 的 Moore-Penrose 伪逆:

  给定一个秩为ρ的 m×n 阶矩阵 A,它的稀疏奇异值分解可以表示为:

  如果 A 为 n×n 阶满秩矩阵,那么 A† 就等于矩阵 A 的逆。如果 A 为 m×n 阶列满秩矩阵,那么 A†A 就等于 n 阶单位矩阵,AA†为矩阵 A 列上的投影矩阵。如果 A 为满行秩矩阵,那么 AA†就为 m 阶单位矩阵,A†A 为矩阵 A 行上的投影矩阵。

  (我们强调秩相等的条件是非常重要的:因为两个矩阵相乘的逆总是等价于矩阵逆的相乘,但这个推断对于一般的 Moore-Penrose 伪逆 [9] 是不满足的)此外,Moore-Penrose 伪逆的基空间和所有实际的矩阵都有联系。给定一个矩阵 A 和 A 的 Moore-Penrose 伪逆 A†,A†的列空间可以定义为:

  A†的列空间和零空间(null space)正交,A†的零空间可以定义为:

  重庆坠江公交车上或有一家4口 失联者亲属采血样

  “跟大陆作战不会赢…为何要把时间浪费在军中?”

  男子酒驾遇查 叫嚣:我为东莞贡献几百万P!

  播放量1.7亿,网络评分9.4分!《风味人间》你看了吗

  女子得病为报复交往千名男子 结局惊呆众人

  薛之谦被曝勾搭李雨桐闺蜜,还和某女星睡过?

  68岁张艺谋携小29岁娇妻亮相 陈婷淡妆太美(图)

  70岁王刚的50岁妻子近照曝光 温婉大方气质优雅

  奚梦瑶的一个无意举动,暴露和她的塑料友情?

  49岁王菲上演飞机换装秀 毫无遮掩纯素颜出镜

  黄晓明赵薇街头狂奔被拍 网友:减肥的人跑步上班

  朱亚文二胎再得女儿!晒“妹妹”脚印喜气洋洋

  娱乐圈水有多深? 看完成龙这段话你就知道了

  你的肾虚有多严重,老大夫看了脸上4处就知道!

  水里加一物可以保肝?常喝5种水保你肝脏健康不生病

  月表惊现黑色大铁钩物体,科学家称绝非人类登月遗留

  地球迎来彗星“骷髅头”,世界天文界绷紧了神经

  四颗光球袭击莫斯科, 这并非科幻小说, 科学家认为与

  把地球上的远古建筑连起来竟得到神秘地图!外星人真

  人死后的世界是什么样子,真有阴曹地府吗?

  65年蒋介石为何令“再来一次克什米尔公主号事件”

  最能打5名将领:评其一“不如”

  哪位民国陆军上将门徒遍天下 连蒋介石都是他弟子

  中共哪支部队在统帅部挂上号 高度评价

  他是被鲁迅骂的最厉害的人 14字把他气得哑口无言

  揭秘战争狂魔希特勒死因,真相让人难以置信

  前苏联登山者集体离奇死亡真相解密 太惊人!

  专家挖明十三陵竟发生一诡异事件 至今无解

  北京故宫的龙椅为何不能坐?原因竟然是这样

  各国领导人年薪都是多少钱?最后一个惊呆了!

  皇帝妃子众多还受限制 临幸嫔妃竟不能超过...

  全新iPad Pro又爆料 iPad首次使用Type-C接口

  拆解美团战略逻辑:为什么说美团和BAT“不一样”

  就凭这几点 华为Mate 20 Pro碾压果XS稳了

  支持苹果iPhone快充芯片有哪些?看完秒懂

  清华总裁班34位同学众筹开的餐厅,破产了

  巨头鲸搁浅海南海滩 民众整夜守护救助(图)

Copyright © 2002-2013 中华科学网 版权所有  

联系QQ:1352848661