武汉大学《现代控制理论》数学知识回顾 第五章 矩阵微扰问题

2023年12月31日发(作者：小升初数学试卷山东)

现代控制理论讲义

第五章

矩阵扰动

5.1 引言

下面这个问题经常出现在矩阵理论中：最小多大的可能扰动可以使一个矩阵的秩改变。范数下的扰动。这给矩阵接下来我们讨论两种情况，2-范数下的扰动，随后讨论和向量都存在不确定性的最小二乘估计问题提供了新公式。这就是完全最小二乘。

5.2 加性扰动

定理 5.1 假设是列满秩阵。那么

证明： 设的秩。那么就存在使得

因此，

，同时

由归纳范数的性质（见3.1节），我们可以得到：

由方程（24.3）以及的事实，我们得到：

为了完成证明，我们必须证明从方程得的秩且可以求得下限。所以，我们必须构造一个；这样的话，这个就是最小解。在此，我们选

使

其中分别是同的最小奇异向量值相关的左、右奇异向量。注意到。通过这个选择，可以得到：

也就是

的秩。证毕。

5.3积性扰动

定理 5.2 （小增益）给定，

证明： 设是奇异的。那么，存在满足

所以

由归纳范数的性质（见第4讲的注释），

在方程中代换得，

式子两边同时除以，得

这意味着

取等为了完成证明，我们还必须证明该下限值可以取得。这样的话，构造一个使方程为奇异。为此，我们选择

号时的，同时使得

注意该下限值（方程（5.6））使得等号成立，也就是那么有：

。现在，我们取。

证毕。

刚证完的这个定理叫最小增益定理。之所以取这样的名字，是因为假如以下条件成立的是非奇异的，

话，它保证

该条件经常写成

即，增益的乘积小于1。

注释：事实上，我们可以通过积性扰动的方法来获得加性扰动的结果。设个矩阵，且满足与的和是奇异的。既然：

且是非奇异的，那么相关的使该奇异值满足

一定是奇异的。由积性扰动的知识，我们知道和最小可逆，是一

5.4 范数的扰动

对于积性扰动和加性扰动，我们使归纳2-范数最小化，现在来论证我们也可以使范数最小化。

令且。

因此

该不等式很有用。

在我们前面考虑的两种扰动问题中，对于我们找到了标量解：

当时，该解使得。对于形如式的二元矩阵，范数和归纳2-范数是等价的。所以，使归纳2-范数取得最小值的也容易证明范数最小，且我们已经验证过加性扰动和积性扰动的情况了。但是，一般情况使范数也是最小的（反之亦然。）

下，一个矩阵归纳2-范数的最小化并不意味着例 5.1 该例主要用来说明奇异值分解和们有矩阵复数，，要找出距离范数在最短距离问题中的应用。假设我最近的矩阵，该矩阵具有的形式，其中是是一个单位矩阵。距离将通过范数来度量。该问题用公式表述为：

其中。我们可以写出

注意。因此，我们有

通过取

式右侧将被最小化。所以我们有

现在我们必须使式子右边相对于最小化，这等价于最大化目的，我们把进行奇异值分解，分解为，这时我们得到

。为了达到这个

矩阵满足

因此，

这也就意味着

为了完成这个例子，我们证明对于特定的等式

，式的下限可以取到。观察下面这个

同时令，我们得到

和

将所有这些式子结合到一起，我们有

且最小化单位矩阵由下式给定：

很明显，为了将一个矩阵表示为一个单位矩阵的复数倍，那么它所有的奇异值都要相等。

5.5 完全最小二乘

前面我们验证了求解形如的最小二乘问题。我们当时的做法是，给尽可能小的扰动——就最小二乘来说——来使结果方程相容。那么很自然有人会问，如果在扰动的同时也给扰动会发生什么呢？这种情况就是说，模型中的不确定度以及测量中的噪声既不能完全归咎于，也不能完全归咎于。在这种最小二乘问题当中，最简单的一个就是下列形式的扰动模型

所谓的完全最小二乘估计问题，现在就描述为：

其中

也可以得出引入权值后的形式，不过在此我们忽略这些通用形式。

注意，在上面的问题中对没有任何限制，这使完全最小二乘公式在实际中的直接使用受到影响。在实际中，加在上的期望或允许扰动经常是有一定结构的；但在这种结构约束下，完全最小二乘问题的求解过程却要比我们下面讲的无约束问题的求解难的多。不过，完全最小二乘公式可以提供给我们一个基准。（常规的最小二乘公式当然也可以这么说：虽然不是我们常用的标准，但是对比其它标准来说，它的简易性却是不可忽略的。）

如果我们定义

那么式中的扰动模型就可以写成

该方程把我们所求的变成了满足式异的最小。

且具有最小范数的——即使奇的，且行数多于列数（这符合实际情况，因为在最小二乘估计我们假设是列满秩中，测量值的数目通常比待估计的参数要多）。另外，设的秩为，这也符合实际。根据我们在加性扰动中所学到的知识，我们知道满足式的最小（在范数意义上）是

其中设我们已知了和和并选取从的中导出（即，重新选择是我们就有

的最小奇异值，等等）。假

该式给出了完全最小二乘解

。这个解是由和导出的（参见）。

5.6 矩阵可逆条件

我们现在要着手解决第四讲中例1所讨论的问题，关于逆和解。首先考虑可逆的情况，考察动的灵敏度（那一讲中讨论的是中的）义方程求微分得

对中扰的灵敏度。对定

当然，该式中各项的阶数很重要。（我们不讨论微分式，等价地我们讨论形式的扰动，）重新整理前面的表达式，我们会发现

等等，其中是极小值，但它不可以被忽略。

两边取范数，结果为

或等价为

这对任意子乘范数都成立。乘积条件数），并记为：

当我们想细分具体用到哪种范数时，可以给果表明

加下角标。例如，前面我们在中的结称为关于它的逆的条件数（或简单的说，的

该2-范数的条件数告诉我们，的椭圆体是多么的小——见图5.1。在下面的讨论中，我们只关注2-范数的条件数（除非特殊，否则将一律忽略角标）。

2-范数的条件数具有的一些性质（这些性质都很容易证明，有些还可以扩展到别的范数的条件数中）列举如下：

的重要性在于通过适当的选取扰动和矩阵范数，它的界限可以确定下来，所以系统情况可能会随着界限所允许的情况而变坏：在逆中极小的变化可以导致它本身倍大的变化。在2-范数情况下，满足边界值的扰动可以由定理的导出，只要将中的换成一个扰动的微分即可：

图5.1： （实的矩阵）对单位圆的映射图解。椭圆的主轴对应最大奇异值，辅轴对应最小奇异值。

我们已经确定，大的条件数是和以下情况相符的，即一个矩阵它的逆对它自身中相对较小的扰动非常敏感。这类矩阵我们称为病态矩阵或对逆条件贫乏矩阵。好的矩阵是指那些条件数尽可能取最小值（即1）的矩阵。

大的条件数也表明该矩阵可能是秩减少了，也就是以下这个意思：小的范数值（为）相对于有一个扰动，使得的秩比的低。这是根据定理中加性扰动的结果得出的。该结论不要求必须是方阵。即使不是方阵，我们也把中的那个比率称为的条件数，并认为它可以表示秩减少多少的近似值。

至于线性方程组的解的灵敏度问题，我们可以采取类似的步骤。对解两边取微分，得

再取范数，得

两边同除以，结合的事实，我们得到

例如，如果是的与对应的值中的元素，而恰好和的列近似共线，且又有适当的扰动发生的话，我们可以更进一步缩小该边界值。我们再次得到在逆中极小的变化可倍的变化的结论。

以导致它本身例 5.2 在第四讲例1中给定的矩阵的是

的条件数是2001，我们在那个例子中给出的扰动会使的逆矩阵的误差扩大1000倍。使奇异的扰动中，具有最小范数的扰动是

它的范数值为。把中各项相乘后，得到结果如下

其中，我们发现解对中的扰动十分敏感。注意和，它和中的第二列确实是几乎共线的。另一方面，如果我们真的有中的第一列之间有更大的联系，那么解几乎不会受到中的扰动的影响——该证明留给读者去完成。

因此，就是或中的微小变化和我们的解中微小变化之间放大因子的限度。

最小二乘估计的条件化

我们研究最小二乘误差估计问题的目标曾经是在取得最小值的的估计值列满秩的假定条件下，找到使得。这种情况的详细分析超过了我们的研究范围（见以上引用的一书，这里有详细的讲解）。我们在这里要做的是，研究结果残差远小于1的情况，即：

在实际中，像这种残差很小的情况我们当然很感兴趣，假设我们已经利用数据很好的拟合出了一个模型。在这种情况下，可以证明解中微小的变化接近与变化总和的倍。其中。根据我们先前对可逆矩阵的研究，这个结果是我们意料之中的。

有了这个结果，就很容易解释为什么解方程组

时，要确定是数值不敏感的（在残差很小的情况下）。定的，即的条件数的平方：

。

你应该用的验证它。在直接解这个等式的过程中将引入误差，但这本质上不是最小的条件数决定的。幸运的是，有的数字逆是由的条件数决二乘误差问题，因为根据上面的结果，这个问题是由其他算法来计算，通过的条件数而不是它的平方来决定（在Matlab中，我们可以调用最小二乘解的命令来使用这种算法，来计算）。

习题

习题 5.1 设证明

并求出一个，使结果不等式中的等号成立。

和，对两个等式两边维复数矩阵受到扰动成为。

（提示：要证明不等式，写出都取2-范数，再利用三角不等式。）

的所有奇异值都成立，而不仅仅针对最大奇异值。下面的其实中的结果对和部分就是关于最小奇异值的。

设不是列满秩的，即但着眼于，但是，而不是是列满秩的。证明（类似于的范数，等等。）

也求出一个，使结果不等式中的等号成立。

的步骤—— [的结果以及它的扩展，引发了对某些潜在的矩阵，估计它的秩的过程（经常采和：计算的，然后确定的“数字秩”就用），这里仅已知矩阵的奇异值中极限比大的奇异值的个数。已知信息和是一致的。]

是在MATLAB中，用自己的例子验证上面的结果。你可能发现这是很有趣的，当大时，矩阵的范数值接近于很—矩阵的元素是不相关的、零均值、高斯分布的，且具有标准差。所以，如果受到该类扰动，当确定的数字秩时，可以用这个数作为一个合理的极限值。

习题 5.2 令和为维矩阵。证明

是线性无关的向量，那为了证明该式，注意的秩约束可以表示为：如果可以表示成这些向量的线性组合。具体过程如下：

么存在属于的零空间的非零向量从的选取满足证明中选取。

。

。

的候选元素。这也就意味着构造满足上面要求的。

习题 5.3 考虑实数方阵的系统方程组，其中和是正交矩阵，其中

本题中的所有范数都是指2-范数。

精确解的范数是多少？

设受到扰动成为，那么（a）中的解也随之变为求扰动，使得

其中，是的条件数。

，解也随之变为（此处的假设没有受到扰动，而受到扰动成为与中的不一定相同）。求扰动，使得

其中

习题 5.4 正定矩阵

如果对于所有的都有密共轭半正定矩阵的平方根。证明

习题 5.5 令和维数一致。证明：

，则是半正定的。如果总是存在的，而且可以由的，我们说是厄构造出来。

。

如果对所有的都有

那么存在为简化问题，设

习题 5.6 假设

的矩阵，使得

是满秩的。

证明存在的矩阵，满足

设

证明存在的矩阵，使得下式成立：

习题 5.7 矩阵扩张

上面的问题可以帮助我们证明下面这个重要结论：

这就是矩阵扩张定理。注意，不论取何值，式子左边总是大于或等于右边。下面我们给出证明该下限是紧密的所需的必要步骤。矩阵扩张在系统理论，尤其是模型化简中占有重要地位。

令定义为

证明：

利用前面习题的结果，证明存在范数小于或等于1的矩阵和

定义待定解为。直接代入下式，证明

满足

证明

该式意味着。

习题 5.8 证明或反驳（通过举反例）下面的奇异值不等式：

，、任意。

，只要如果，那么

列秩为0，且为任意矩阵。