数学是电脑技术的基本功,矩阵中某个元素的一个很小的更动

图片 1

– 几个特殊矩阵

  • 可对角化矩阵
![](https://upload-images.jianshu.io/upload_images/1652713-04947d49a7c697b2.png)

image.png
  • 正定矩阵
    对此n阶方阵A,若任意n阶向量x,都有xTAx>0,则称矩阵A为正 定矩阵
  • 正交矩阵
    若n阶方阵A满意ATA=E,则称A为正交矩阵,简称正交阵(复数域
    上称之为酉矩阵)
    A是正交阵的充要条件:A的列(行)向量都是单位向量,且两两正交
  • QR 分解(正交三角分解)

对于m*n的列满秩矩阵A,必有:

图片 2

image.png

用到施密特正交化

图片 3

image.png

子空间Y的正交补:是如此一个成团,集合中每个向量都和Y正交

随着k的增大,B(k)中各元素bi(k)的相对值均趋于不断变小,它们相对于科学值bi的差错也更为大。k趋于无穷大时,B(k)趋于0。b(k)随k的改变而变化的轨道,就叫做岭迹。实际计算中可选非凡多的k值,做出一个岭迹图,看看这么些图在取哪个值的时候变稳定了,那就确定k值了。

– 向量的导数

A为mn的矩阵,x为n1的列向量,则Ax为m*1的列向量

图片 4

image.png

  • 向量的偏导公式
![](https://upload-images.jianshu.io/upload_images/1652713-41d12aa08c5e77c6.png)

image.png



![](https://upload-images.jianshu.io/upload_images/1652713-791f0a9f92ed1a22.png)

image.png
  • 标量对方阵的导数

    图片 5

    image.png

后记:  
*才疏学浅,慢慢学习,慢慢更新,与诸君共勉*

您可能胃疼的稿子:
本身的机器学习numpy篇
本人的机器学习matplotlib篇
自家的机器学习微积分篇

最终的统计

图片 6

– 矩阵的初等变换

矩阵的初等列变换与初等行变换统称为初等 变换.

图片 7

image.png

  • 行阶梯形矩阵 最简矩阵 标准行
    前者来求变量之间的关系,后者总括矩阵的秩
    定理(1)评释 ,即A 经一多级初等行变换 变为B,则 有可逆矩阵P,使
    如何求P?
![](https://upload-images.jianshu.io/upload_images/1652713-6beb569c1f2dc080.png)

image.png
  • 矩阵的秩
    K阶子式是个行列式
![](https://upload-images.jianshu.io/upload_images/1652713-0db98733c8cefdbd.png)

image.png

相对误差:x’-x

回归分析中常用的纤维二乘法是一种无偏推断。

– 行列式

常见采取的行列式是一个数
行列式是数学的一个函数,可以视作在几何空间中,一个线性变换
对“面积”或“体积”的熏陶。

  • 方阵行列式
    n阶方阵A的方阵行列式表示为|A|或者det(A)
  • 代数余子式
    :Aij=(-1)(i+j)Mij
![](https://upload-images.jianshu.io/upload_images/1652713-04cbbc8a849887bd.png)

image.png
  • 伴随矩阵
    为了求矩阵的逆
![](https://upload-images.jianshu.io/upload_images/1652713-2fc6e377d3affe1a.png)

image.png
  • 方阵的逆
    AB=BA=E,那么称B为A的逆矩阵,而A被叫做可逆矩阵或非奇异矩阵。
    假若A不设有逆矩阵,那么A称为奇异矩阵。A的逆矩阵记作:A-1

    图片 8

    image.png

Ax=b的小不点儿二乘解为x=R-1QTb,其中QR为因式分解矩阵,解x可用回代法求解Rx=QTb得到

数值统计办法的“稳定性”是指在盘算进度中舍入误差是足以操纵的。

– 观点

基本难题是求多元方程组的解,大旨知识:内积、秩、矩阵求逆,应用:求解线性回归、最小二乘法用QR分解,奇异值分解SVD,主成分分析(PCA)运用可对角化矩阵

即使A有些许n个线性无关的特征向量,则称A为落后的(defective),退化矩阵不可对角化

X不满意列满秩,换句话就是说样本向量之间有着惊人的相关性(即便每一列是一个向量的话)。碰到列向量相关的场所,岭回归是一种处理情势,也足以用主成分分析PCA来拓展降维。

– 特征值和特征向量

A为n阶矩阵,若数λ和n维非0列向量x满意Ax=λx,那么数λ称为A
的特色值,x称为A的应和于特征值λ的特征向量

  • 特征值的属性
    (1)n阶方阵A=(aij)的有所特征根λ1、λ2…..λn,则有
![](https://upload-images.jianshu.io/upload_images/1652713-f174400880bd237a.png)

image.png



(2)若λ是可逆矩阵A的一个特征根,x为对应的特征向量:
则1/λ是矩阵A-1的一个特征根,x仍为对应的特征向量。
则λm次方是矩阵Am次方的一个特征根,x仍为对应的特征向量。  
(3)设λ1、λ2.....λn是方阵A的互不相同的特征值,xi是λi的特征向量,则
x1,x2...xn线性无关,即不相同特征值的特征向量线性无关

线性变换:L(av1+bv2)=aL(v1)+bL(v2)

对于有些矩阵,矩阵中某个元素的一个很小的变更,会唤起最终计算结果误差很大,那种矩阵称为“病态矩阵”。有些时候不得法的测算形式也会使一个例行的矩阵在运算中显现出病态。对于高斯消去法来说,倘诺主元(即对角线上的要素)上的要素很小,在测算时就会显示出病态的特色。

– 奇异值解释

可以看作是对称方阵在随机矩阵上的加大。

图片 9

image.png

与风味值、特征向量的概念相对应,则:
Σ对角线上的因素称为矩阵A的奇异值
U和V称为A的左/右奇异向量矩阵

  • 矩阵的对等标准型
![](https://upload-images.jianshu.io/upload_images/1652713-097789aaee0bc39f.png)

image.png
  • 步骤
    求特征值和特征向量
    特征向量构成V1,求出U1
![](https://upload-images.jianshu.io/upload_images/1652713-02bd3466bd377abc.png)

image.png

m*n矩阵行空间维数等于列空间的维数

图片 10
(I是单位矩阵)

– 向量

  • 基础
    向量:是指具备n个互相独立的性质(维度)的靶子的代表,向量常
    使用假名+箭头的方式举办表示,也得以应用几何坐标来代表向量。
    单位向量:向量的模、模为一的向量为单位向量
    内积又叫数量积、点积:为一个数
![](https://upload-images.jianshu.io/upload_images/1652713-e97490dffd96be00.png)

image.png



正交向量:内积为零
  • 应用
    向量组特征向量

  • 矩阵

概念:描述线性代数中线性关系的参数,即矩阵是一个线性变换,
能够将部分向量转换为另一对向量。
Y=AX代表的是向量X和Y的一种炫耀关系,其中A是 描述那种关系的参数。
Y=AX其一在向量组线型相关中不时看到
直观表示:

图片 11

image.png

  • 矩阵和向量
    当m=1或者n=1的时候,称A为行向量或者列向量
  • 方阵 负矩阵,上下三角矩阵 对角矩阵 单位矩阵
    行列式变换会用到三角矩阵
    区分单位向量
  • 矩阵的转置

ATAx = ATb叫做正规方程组,它有唯一解x =
(ATA)-1ATb,那就是不大二乘解,投影向量p=A(ATA)-1ATb为R(A)中的元素

当X列满秩时,有

– 线性方程组

定理 1:
n 元齐次线性方程组 Ax = 0 有非零 解的充要条件是 R(A) < n
想见 当 m < n 时,齐次线性方程组 一定有非零解
定理 2:
n 元线性方程组 Ax = b
(i) 无解的充要条件是 R(A) < R(A,b) ;
(ii) 有唯一解的充要条件是
R(A) = R(A,b) = n ;
(iii) 有无穷多解的充要条件是
R(A) = R(A,b) < n

  • 解得结构
![](https://upload-images.jianshu.io/upload_images/1652713-0cd0607e72aebca9.png)

image.png



![](https://upload-images.jianshu.io/upload_images/1652713-e3c1cb0675192e0f.png)

image.png

若果A可以仅使用行运算化简为严厉上三角形,则A有一LU分解,L是单位下三角矩阵,矩阵值就是更换使得的周到,那叫LU分解

岭回归是对小小二乘回归的一种补偿,它损失了无偏性,来换取高的数值稳定性,从而赢得较高的测算精度。

– 向量组

向量组:有限个一律维数的行向量或列向量组合成的一个相会就 叫做向量组

图片 12

image.png

  • 向量的线性表示
![](https://upload-images.jianshu.io/upload_images/1652713-5430b9cfa8849a4c.png)

image.png



转化为方程组为:



![](https://upload-images.jianshu.io/upload_images/1652713-6457e26c2b4de836.png)

image.png


同理:如果向量组B 可由向量组A表示则  

![](https://upload-images.jianshu.io/upload_images/1652713-2b9228a454ffcd12.png)

image.png



AX=B 有解
  • 线性相关和线性无关
![](https://upload-images.jianshu.io/upload_images/1652713-9cd6e9438592efaf.png)

image.png



用秩来判断是否相关



![](https://upload-images.jianshu.io/upload_images/1652713-bf381226fc52bf09.png)

image.png

行最简形:行阶梯形,每行第三个非零元是该列唯一的非零元

当XTX的行列式接近于0时,大家将其主对角元素都抬高一个数k,可以使矩阵为惊叹的高风险大下落。于是:

前言:
线代知识点多,有点抽象,写的时候尽量把这么些知识点串起来,要是这些,那就两串。其富含的几大目的为:向量,行列式,矩阵,方程组。

对称矩阵的特性:转置等于他协调

Ridge Regression岭回归

矩阵B有特色值2,特征向量有八个x=(2,1,0)和e3,看成几何重数(geometric
multiplicity)是2

X+意味着X的广义逆(或叫伪逆)。

周密矩阵加一列右端项的矩阵叫增广矩阵,英文叫做augmented
matrix,记作:(A|B),地理学家们无论想个东西起个名字就让大家抱着书籍啃,我把A前边放多少个B,叫做“增广矩阵二”行啊

当X不是列满秩,或者某些列之间的线性相关性相比较大时,XTX的行列式接近于0,即XTX接近于惊奇,计算(XTX)-1时误差会很大。此时观念的小小二乘法缺少稳定与可信性。

三个向量的标量积为零,则称他们正交(orthogonal)

矩阵Q是正交矩阵紧要尺度是QTQ=I,即Q-1=QT

整个向量空间的象L(V)成为L的值域

一个更换矩阵为A的马尔可夫进度,若A的某幂次的元素全为正的,则称其为正则的(regular)

span(e1,e2)为R3的一个子空中,从几何上象征为保有x1x2平面内3维空间的向量

柯西-施瓦茨不等式:|| <= ||u|| ||v||

一个有关x、y的二次方程可以写为xTAx+Bx+f=0,其中A为2*2对称,B为1*2矩阵,假如A是非奇异的,利用旋转和平移坐标轴,则可化简为λ1(x’)2+λ2(y’)2+f’=0,其中λ1和λ2为A的特征值。假使A是感叹的,且只有一个特征值为零,则化简为λ1(x’)2+e’y’+f’=0或λ2(x’)2+d’x’+f’=0

“导数”、“可导”还记得吗?不亮堂“导”是怎么意思的有木有?英文derivative(含义是派生的、衍生的),看起来不是疏通的意趣,而是音译过来的

B为L相应于[u1,u2]的意味矩阵,A为L相应于[e1,e2]的象征矩阵,U为从[u1,u2]到[e1,e2]的更换矩阵,则B=U-1AU

马尔可夫进程:可能的出口集合或气象是少数的;下一步输出仅依靠前一步输出,几率相对于时间是常数

格拉姆-施密特QR分解:m*n矩阵A要是秩为n,则A可以分解为QR,Q为列向量正交的矩阵,R为上三角矩阵,而且对角元素都为正,具体算法:

图的邻接矩阵(相连为1否则为0)是对称的

乘以一个正交矩阵,仍保持向量长度,即||Qx||=||x||

高斯-若尔当消元法:将矩阵化为最简形的点子

拉格朗日插值公式:P(x)=sigma f(xi) Li(x)

微小张集的判定格局是:这几个向量线性组合=0唯有0解,那种情状也就是那几个向量是线性无关的,如若有非零解那么就视为线性相关的

向量构成矩阵的行列式det(A)=0,则线性相关,否则线性无关

矩阵与方程组

矩阵分块后知足矩阵乘法规则

adj A:矩阵的陪同(adjoint),将元素用余子式替换并转置

r11=||a1||,其中r11是对角矩阵第一列第三个因素,a1是A的列向量,

多项式系列p0(x),p1(x),…下标就是最高次数,如若=0,则{pn(x)}成为正交多项式系列,假设=1,则叫规范正交多项式系列

一个对称矩阵是正定的,当且仅当其具有特征值均为正的

小小二乘解为p=Ax最接近b的向量,向量p为b在R(A)上的黑影

向量积可用于定义副法线方向

在几何上看二位向量线性相关等价于平行,三维向量线性相关等价于在同一个平面内

由此将FN乘以向量z来测算离散傅里叶周详d的主意称为DFT算法(离散傅里叶变换)

设方向向量u=(1/||x||)x,v=(1/||y||)y,则cos
θ=uTv,即夹角余弦等于单位向量的标量积

R(AT)的正交空间是零空间N(A),也就是说A的列空间和A的零空间正交

A的行空间的维数成为A的秩(rank),求A的秩方法:把A化为行阶梯形,非零行个数就是秩

平凡解,就是零解(0,0,0,…..0),能不可能别这样平庸的叫….

线性变换

相似矩阵具有同样的表征多项式,和同等的特征值

n*n的矩阵叫方阵,傻子都知道了

超定方程组:方程个数比未知量个数多

行列式

标量内积是Rn中的标准内积,加权求和也是一种内积

(AB)T=BTAT

一个非负矩阵A,若可将下标集{1,2,…,n}划分为非空不交集合I1和I2,使得当i属于I1而j属于I2中时,aij=0,则成其为可约的,否则为不可约的

行列式算法:展开某一行,每个数乘以他的余子式并加和

若是A是一个对称正定矩阵,则A可诠释为LLT,其中L为下三角的,其对角线元素均为正

xT(x*y)=yT(x*y)=0,表明向量积与向量夹角为0

除外{0}和向量空间本身外,其余子空间叫做真子空间,类似于真子集的定义,{0}叫做零子空间

细微二乘(least squares)用来拟合平面上的点集

内积也叫标量积:行向量和列向量乘积,得出一个数

如果B=S-1AS,则称B相似于A

非零子空间S中向量b到S的影子p=UUTb,其中U为S的一组正式正交基,其中UUT为到S上的投影矩阵

动用多项式进行数量拟合以及逼近两次三番函数可经过甄选逼近函数的一组正交基举行简化

矩阵A的例外特征值的性状向量线性非亲非故

矩阵没有乘法逆元,那么叫做奇异的(singlular)

正交补一定也是一个子空间

R2或R3中的向量x和y之间的偏离是:||x-y||

对角矩阵:对角线以外的因素都是0

span(e1,e2,e3)=R3

A的奇异值等于特征向量的开方

det(AB)=det(A)det(B)

f(x)w(x)在a到b的积分可以简化为sigma Li(x)w(x)在a到b的积分 f(xi)

相似地,范数给出了一种办法来度量五个向量的离开

如若A和B为同一线性算子L的意味矩阵,则A和B是一般的

数值线性代数

行阶梯型矩阵,那回有点难度了,它就是如此的:非零一行比一行少,第四个元素是1,数字靠右

乘以一个正交矩阵,内积保持不变,即=

对称矩阵如下结论等价:A是正定的;前主人矩阵均为正定的;A可仅使用行运算化为上三角的,且主元全为正;A有一个楚列斯基分解LLT(其中L为下三角矩阵,其对角元素为正的);A可以分解为一个乘积BTB,其中B为某非奇异矩阵

U为向量组成的矩阵,C=UTU对应每一行向量的标量积值,这么些矩阵表示相关程度,即相关矩阵(correlation
matrix),值为正就是正相关,值为负就是负连带,值为0就是不相干

协方差矩阵S=1/(n-1)
XTX,矩阵的对角线元素为五个战表集合的方差,非对角线元素为协方差

倘若1为转移矩阵A的住特征值,则马尔可夫链将化为乌有到稳态向量

假若A是一个对称正定矩阵,则A可说明为LDLT,其中L为下三角的,对角线上元素为1,D为对角矩阵,其对角元素均为正的

音讯寻找中去掉小奇异值得到的类似矩阵可以大大升高检索功效,减小误差

一旦AB=BA=I,则称A是可逆的,或A是非奇异的(nonsingular),B叫做A的逆元,记作A-1

子空间:向量空间S的子集本身也是个向量空间,那个子集叫做子空间

求特征值方法:QR算法。将A分解为乘积Q1R1,其中Q1为正交的,R1为上三角的,A2=Q1TAQ1=R1Q1,将A2表明为Q2R2,定义A3=Q2TA2Q2=R2Q2,继续那样,得到相似矩阵系列Ak=QkRk,最终将荡然无存到类似上三角矩阵,对角上是1*1或2*2的对角块,对角块的特征值就是A的特征值

一个概念了内积的向量空间改为内积空间

求主特征值的办法:幂法。

三角形形矩阵的行列式等于对角元素乘积

各类方形矩阵可以和她的行列式对应,行列式数值表达方阵是还是不是是奇异的

存在非零的x使得Ax=λx,则称λ为特色值,x为属于λ的特征向量。特征值就是一个缩放因子,表示线性变换那个算子的当然频率

ker(L)为V的一个子空中,L(S)为W的一个子空间,其中L是V到W的线性变换,S是V的子空间

线性微分方程解法可以用特征值特征向量,形如Y’=AY,
Y(0)=Y0的解是ae(λt)x,其中x是向量,那样的标题称为初值难点,假使有多少个特色值,则解可以是多少个ae(λt)x的线性组合

换成矩阵两行,行列式变成原来的负数,即det(EA)=-det(A)

奇异值分解解题进程:先算ATA的风味值,从而算出奇异值,同时算出特征向量,由特征向量得出正交矩阵V,求N(AT)的一组基并化成规范正交基,组成U,最后得出A=UΣVT

PageRank算法可以当做浏览网页是马尔可夫进程,求稳态向量就取得每个网页的pagerank值

||x||=sigma|xi|为一个范数

数学是电脑技术的根基,线性代数是机械学习和深度学习的根底,驾驭多少知识最好的艺术本身觉着是精通概念,数学不只是上学时用来试验的,也是做事中必不可少的基础知识,实际上有诸多好玩的数学门类在母校里学不到,有不少拓展类的数量能让我们发散思维,但控制最基本的数学知识是前提,本文就以线性代数的各类词条来做一下预热,不懂的记得百度时而。

还记得n*n方程组是怎么求解的吧?那些术语叫“回代法”,即转成三角形方程组再逐一代入求解

如果A有n个线性无关的特征向量,则A可对角化

高斯消元法:把增广矩阵化为行阶梯型矩阵

某取值范围内线性函数的子空间,内积模式是取值范围内对四个函数乘积做积分

v1,v2,…,vn假如相互之间=0,则{v1,v2,…,vn}成为向量的正交集

非平凡解:零解以外的解

正交性

向量空间:这些集合中满意加法和标量乘法运算,标量常常指实数

线性非亲非故向量唯一地线性组合来表示任意向量

小小的张集是说里面没有剩余的向量

子空间N(A-λI)称为对应特征值λ的特色空间

初等矩阵:乘到方程两端得到行阶梯形,初等矩阵是非奇异的,即有逆

向量空间

范数(norm):定义与向量相关联的实数||v||,满意||v||>=0; ||av||=|a|
||v||; ||v+w|| <= ||v|| + ||w||

||v|| = ()^-1为一个范数

An=XDnX-1,所以按A=XDX-1因式分解后,不难总结幂次

信息加密方法:找到行列式为正负1的整数矩阵A,A-1=+-adj
A易求,乘A加密,乘A-1解密,A的构造方法:单位矩阵做初等转移

相似矩阵:B=S-1AS

det(A)可代表为A的其它行或列的余子式展开

xTy=||x|| ||y|| cos θ,即cos θ=xTy / (||x|| ||y||)

向量投影:p=(xTy/||y||)y=(xTy/yTy)y

(AB)-1=B-1A-1

舍入误差(round off error):四舍五入后的浮点数x’和原始数x之间的差

经文正交多项式:勒让德多项式、切比雪夫多项式、雅克比多项式、艾尔米特多项式、拉盖尔多项式

sigma λi= sigma aii,所有特征值的和格外矩阵对角线元素之和

拉格朗日函数Li(x)=(x-xj)连乘积 / (xi-xj)连乘积

若A=(1),则An=(2n-1)

矩阵的弗罗贝尼乌斯范数记作||·||F,求其独具因素平方和的平方根

正式正交的向量集合是单位向量的正交集,规范正交集中=1,里面的向量叫做规范正交基

奇异值为一个矩阵接近奇异程度的气量,矩阵越接近奇异就越病态

柯西-施瓦茨不等式:|xTy| <= ||x|| 
||y||,当且仅当有0向量或成倍数关系时等号创制

齐次方程组(homogeneous):右端项全为零。齐次方程组总是有解的

透过矩阵变换后向量保持不变,稳定后的向量叫做该进度的稳态向量

线性变换L的核记为ker(L),表示线性变换后的向量空间中的0向量

正交子空间:向量空间的七个子空间各取出一个向量都正交,则子空间正交。比如z轴子空间和xy平面子空间是正交的

矩阵就是矩形的数字阵列,那再简单不过了

从以E为有序基的向量空间V到以F为有序基的向量空间W的线性变换的矩阵A叫做表示矩阵

改换矩阵:把坐标从一组基到另一组基的变换矩阵

对角化矩阵X的列向量就是A的特征向量,D的对角元素就是A的特性值,X和D都不是唯一的,乘以个标量,或重新排列,都是一个新的

ax2+2bxy+cy2+dx+ey+f=0图形是一个圆锥曲线,即使没解则称为虚圆锥曲线,借使仅有一个点、直线、两条直线,则号称退化的圆锥曲线,非退化的圆锥曲线为圆、椭圆、抛物线、双曲线

外积展开:七个矩阵分别用向量格局表示,其乘积可以象征为外积展开

万一A的列向量构成规范正交集,则很小二乘难点解为x=ATb

FFT(神速傅里叶变换),利用矩阵分块,比离散傅里叶变换快8w多倍

c2=a2+b2叫毕达哥拉斯定理,其实就是勾股弦定理

矩阵范数可用来臆想线性方程组对周到矩阵的一线转移的敏感性

r阶前主子矩阵:将n-r行和列删去赢得的矩阵

矩阵的零空间的维数成为矩阵的零度,一般秩和零度之和十分矩阵的列数

数值秩是在有限位精度统计中的秩,不是标准的秩,一般假使一个很小的epsilon值,假如奇异值小于它则以为是0,那样来测算数值秩

正交矩阵:列向量构成规范正交基

随意高阶微分方程都得以转化成一阶微分方程,一阶微分方程可以用特征值特征向量求解

线性算子:一个向量空间到其自己的线性变换

杰出线性算子距离:ax(伸长或压缩a倍),x1e1(到x1轴的影子),(x1,-x2)T(关于x1轴作对称),(-x2,x1)T逆时针旋转90度

正交集中的向量都是线性毫不相关的

当x和y正交时, ||x+y||2= ||x||2+ ||y||2,叫毕达哥拉斯定律

||x||=max|xi|为一个范数

特征值

二次型f(x)=xTAx对于所有x都是一个标志,则称之为定的(definite),若符号为正,则叫正定的(positive
definite),相对应叫负定的(negative
definite),若是符号有例外则叫不定的(indefinite),假使可能=0,则叫半正定的(positive
semidefinite),和半负定的(negative semidefinite)

主特征值是指最大的特征值

A的秩等于非零奇异值的个数

二次型:每一个二次方程关联的向量函数f(x)=xTAx,即二次方程中ax2+2bxy+cy2部分

判定是否线性变换,就看看那种转移能无法转化成一个m*n矩阵

余弦应用于判断一般程度

非负矩阵:所有因素均大于等于0

假诺span(v1,v2,v3)=R3,那么说向量v1,v2,v3张成R3,{v1,v2,v3}是V的一个张集

克拉黙法则:Ax=b的唯一解是xi=det(Ai)/det(A),那是线性方程组用行列式求解的惠及措施

切比雪夫多项式:在内积=-1到1的积分p(x)q(x)(1-x2)-1/2dx意义下正交,T1(x)=xT0(x),
T(n+1)(x)=2xTn(x)-T(n-1)(x)

只要行列式非0,则方形矩阵为非奇异

设若A与I行等价,那么Ax=0只有平凡解0,而且A有逆矩阵A-1,也就是A是非奇异的,此时Ax=b有唯一解

残差:r(x) = b – Ax

席卷一下,特征值分解只告诉我们在特征向量的百般样子上,矩阵的线性变化效果相当于是不难的缩放,其余方向上则不晓得,所以我说它只象征矩阵的一对特性。而奇异值分解则将原本隐含在矩阵中的旋转、缩放、投影三种意义清楚地剖析出来,表示出来了,它是对矩阵的一个完全特征剖析。

换成矩阵:将单位矩阵的各列重新排列

特征值分解实在只描述了矩阵的部分意义。特征值,特征向量由Ax=x得到,它代表只要一个向量v处于A的特征向量方向,那么Av对v的线性变换成效只是一个缩放。也就是说,求特征向量和特征值的长河,大家找到了这般局地势头,在这么些动向上矩阵A对向量的旋转、缩放转换(由于特征值只针对方阵,所以并未投影更换)在自然水准上抵消了,变成了存粹的缩放(那些缩放比例和奇异值分解中的缩放比例可能不等同)。

若果存在X使得X-1AX=D,D是对角矩阵,则说A是可对角化的,称X将A对角化,X叫做对角化矩阵

A的奇异值(singlular
value)分解:把A分解为一个乘积UΣVT,其中U、V都是正交矩阵,Σ矩阵的对角线下具有因素为0,对角线元素逐个裁减,对角线上的值叫奇异值

求逆的点子:对增广矩阵A|I做行列变换,把A变成I,则I变成了A-1

求逆方法:A-1=(1/det(A)) adj A,推导:A(adj A)=det(A)I所以A(((1/det(A))
adj A) = I

小小张集构成向量空间的基,{e1,e2…en}叫做标准基,基向量数目就是向量空间的维数

向量空间V中两个向量的线性组合构成的聚集成为那几个向量的张成(span),记作span(v1,v2,…,vn)

若A的奇异值分解A=UΣVT,则||A||2=σ1(最大的奇异值)

轻易进程:一个测验连串,每一步输出都在于概率

参考文献

det(A-λI)=0称为矩阵A的特征方程,求解特征方程能够算出λ

将x’代回原方程组观望b’=Ax’和b的切近天津来检验精度,r=b-b’=b-Ax’叫做残差(residual),||r||/||b||叫做相对残差

如果二次型正定则称A为正定的

子空间S的象记为L(S),表示子空间S上向量做L变换的值

协方差:x1和x2为四个汇聚相对平均值的差错向量,协方差cov(X1,X2)=(x1Tx2)/(n-1)

削减方式的奇异值分解:U1=(u1,u2,…,ur), V1=(v1,v2,…,vr),A=U1Σ1V1T

周详矩阵,英文名叫coefficient
matrix,怪不得读开源代码里面常常遇上变量名叫做coe,原来是从那来的

假诺B=多个初等矩阵连乘A,那么说A与B是行等价的

矩阵某行乘以a,行列式变成原来的a倍,即det(EA)=adet(A)

内积表示为,内积需满意: >= 0; =; =a+b

小小二乘解x的残差r(x)一定属于R(A)的正交空间

即使某作为另一行的倍数,则矩阵行列式为零

奇异值分解幸而对那种线性变换的一个析构,A=,和是两组正交单位向量,是对角阵,表示奇异值,它表示A矩阵的作用是将一个向量从那组正交基向量的空中旋转到那组正交基向量空间,并对各种方向拓展了一定的缩放,缩放因子就是各种奇异值。如若维度比大,则表示还进行了投影。能够说奇异值分解描述了一个矩阵完整的功能/特性。

向量积也是一个向量

即使x和y是行向量,则x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k,其中i,j,k是单位矩阵的行向量

S为Rn的一个子上空,则S的正交空间的正交空间是她本身

格拉姆-施密特正交化进程:u1=(1/||x1||)x1, u2=(1/||x2-p1||) (x2-p1),
…..直接求出一组正式正交基

微积分中x看做行向量,线性代数中x看做列向量

用来储存图像的矩阵做奇异值分解后去掉较小的奇异值得到更小秩的矩阵,达成收缩存储

相对误差:(x’-x)/x,平时用符号δ表示,|δ|可以用一个正常化数ε限制,称为机器精度(machine
epsilon)

一阶偏导存在且为0的点称为驻点,驻点是极小值点如故巨大值点如故鞍点取决于A是正定负定仍旧不定

行列式:两条竖线间包蕴的阵列

高斯消元法涉及最少的算术运算,因此被认为是最连忙的估量方法

求解Ax=b步骤:将A乘以n个初等矩阵获得上三角矩阵U,把初等矩阵求逆相乘得到L,那么A=LU,其中L为下三角矩阵,一旦A化简为三角方式,LU分解就规定了,那么解方程如下:LUx=b,令y=Ux,则Ly=b,所以可以由此求下三角方程求得y,y求得后再求解Ux=y,即可求得x

线性代数(原书第9版),Steven J.利昂 (Steven J.Leon)(作者)

外积:列向量和行向量乘积,得出一个矩阵

标量投影:向量投影的长度,α=xTy/||y||

A的列空间R(A)就是A的值域,即Rn中的x向量,列空间中的b=Ax

Ax=0的解空间N(A)称为A的零空间,也就是说Ax=0线性方程组的解空间构成一个向量空间

x下面加水平箭头表示水平数组(行向量),不加则意味着列向量,不等同的书里记法不太雷同,姑且这么记吧

A的对角线元素的和称为A的迹(trace),记为tr(A)

House霍尔德变换(householder
transformation)矩阵H可由向量v和标量β求得,因而存储v和β更省空间

S为Rn的一个子空中,则S的维数+S正交空间的维数=n

应用不领先n次的多项式对连日函数举行逼近,可以用很小二乘逼近。

p=(/) v为u到v的向量投影

勒让德多项式:在内积=-1到1的积分p(x)q(x)dx意义下正交,(n+1)P(n+1)(x)=(2n+1)xPn(x)-nP(n-1)(x)

特征值和特征向量的几何领会:矩阵A有风味值2,特征空间由e3张成,看成几何重数(geometric
multiplicity)是1

直接不掌握“代数”那一个“代”是哪些看头,现在好不不难知道了,代,英文是substitution,含义是代表,从初中到现行径直以为“代数”就是“代入”

若A=UΣVT,那么地点ATuj=σjvj,上面ATuj=0,其中vj叫做A的右奇异向量,uj叫做左奇异向量

λ1λ2…λn=det(A),即怀有特征值的连乘积等于矩阵A的行列式的值

矩阵某行乘以a加到另一行,行列式不变

a=/||v||为u到v的标量投影

对R3:||x*y|| = ||x|| ||y|| sinθ

rkk=||ak-p(k-1)||, rik=qiTak, a1=r11q1

由A的行向量张成的R1*n子空间改为A的行空间,由A的列向量张成的Rm子空间改为A的列空间

插值多项式:不当先n次的多项式通过平面上n+1个点

相关文章