线性代数的本质

• 线性代数的本质
  • 1、向量究竟是什么
  • 2、线性组合、张成的空间、基
  • 3、矩阵与线性变换
  • 4、矩阵乘法与线性变换复合
  • 5、三维空间中的线性变换
  • 6、行列式
  • 7、逆矩阵、列空间与零空间
  • 8、非方阵
  • 9、点积和对偶性
  • 10、叉积
  • 11、基变换
  • 12、特征向量与特征值
  • 13、抽象向量空间
  • 克莱姆法则

视频：https://www.bilibili.com/video/BV1ys411472E

1、向量究竟是什么

物理解释：向量是空间中的箭头（长度、方向）

计算机解释：向量是有序的数字列表

点point (2, 3)

向量vector $\begin{bmatrix}2 \ 3\end{bmatrix}$

线性代数围绕两种基本的运算：

向量加法与向量数乘

加法：位移结果

数轴Number line 加法
$$
\begin{align}
&0 \rightarrow 2 + 0 \rightarrow 3 = 0 \rightarrow 5
\
&=>
\
&2 + 3 = 5
\end{align}
$$

向量加法
$$
\begin{bmatrix}
x_1 \
y_2
\end{bmatrix}
+
\begin{bmatrix}
x_2 \
y_2
\end{bmatrix}
=
\begin{bmatrix}
x_1 + x_2 \
y_1 + y_2
\end{bmatrix}
$$

缩放：标量scalar * 向量
$$
2 * \begin{bmatrix}
x \
y
\end{bmatrix}
=
\begin{bmatrix}
2x \
2y
\end{bmatrix}
$$

2、线性组合、张成的空间、基

单位向量（基向量）

$\overrightarrow{i}$=(1,0), $\overrightarrow{j}$=(0,1)
$$
\begin{bmatrix}
1 & 0\
0 & 1
\end{bmatrix}
$$

缩放向量并且相加

$(3, 2)$ (i, j) -> $3i + 2j$

当使用数字描述向量时，都依赖于我们正在使用的基

线性组合：两个数乘向量的和被称为这两个向量的线性组合
$$
a\overrightarrow{v} + b\overrightarrow{w}
$$

$\overrightarrow{v}$ 与 $\overrightarrow{w}$ 全部线性组合构成的向量合称为“张成的空间”

单个向量看做箭头，多个向量看做点

线性相关 Linearly dependent：多个向量，移除其中一个不减小张成的空间

线性无关 Linearly independent：如果所有的向量都给张成的空间增加了新的维度

严格定义：

向量空间的一组基是张成该空间的一个线性无关向量集

3、矩阵与线性变换

变换 <=> 函数

矩阵看做是空间的变换

线性的条件：

1. 直线在变换后仍然保持为直线，不能有所弯曲

2. 原点必须保持固定

两个点 (a, c)、(b, d)，矩阵的乘法

$$
\begin{bmatrix}
a & b \
c & d
\end{bmatrix}

\begin{bmatrix}
x \
y
\end{bmatrix}
=
x\begin{bmatrix}
a \
c
\end{bmatrix}
+
y\begin{bmatrix}
b \
d
\end{bmatrix}
=
\begin{bmatrix}
ax + by \
cx + dy
\end{bmatrix}
$$

1、逆时针旋转90度

i=(1, 0), j=(0, 1) => (0, 1), (-1, 0)

A (2, 2) => (-2, 2)
$$
\begin{bmatrix}
0 & -1 \
1 & 0
\end{bmatrix}
\begin{bmatrix}
2 \
2
\end{bmatrix}
=
\begin{bmatrix}
-2 \
2
\end{bmatrix}
$$

2、剪切基向量对角线剪开

i=(1, 0), j=(0, 1) => (0, 1), (1, 1)

A (2, 2) => (2, 4)
$$
\begin{bmatrix}
0 & 1 \
1 & 1
\end{bmatrix}
\begin{bmatrix}
2 \
2
\end{bmatrix}
=
\begin{bmatrix}
2 \
4
\end{bmatrix}
$$

4、矩阵乘法与线性变换复合

复合变换

旋转矩阵 + 剪切矩阵 => 复合矩阵
$$
\begin{bmatrix}
1 & 1 \
0 & 1
\end{bmatrix}
(
\begin{bmatrix}
0 & -1 \
1 & 0
\end{bmatrix}
\begin{bmatrix}
x \
y
\end{bmatrix}
)
=
\begin{bmatrix}
1 & -1 \
1 & 0
\end{bmatrix}
\begin{bmatrix}
x \
y
\end{bmatrix}
$$

矩阵乘法
$$
\begin{bmatrix}
a & b \
c & d
\end{bmatrix}
\begin{bmatrix}
e & f \
g & h
\end{bmatrix}
=
\begin{bmatrix}
ae + bg & af + bh \
ce + dg & cf + dh
\end{bmatrix}
\

\begin{bmatrix}
a & b \
c & d
\end{bmatrix}
\begin{bmatrix}
e \
g
\end{bmatrix}
=
\begin{bmatrix}
a \
c
\end{bmatrix}
e
+
\begin{bmatrix}
b \
d
\end{bmatrix}
g
=
\begin{bmatrix}
ae + bg \
ce + dg
\end{bmatrix}
\

\begin{bmatrix}
a & b \
c & d
\end{bmatrix}
\begin{bmatrix}
f \
h
\end{bmatrix}
=
\begin{bmatrix}
a \
c
\end{bmatrix}
f
+
\begin{bmatrix}
b \
d
\end{bmatrix}
h
=
\begin{bmatrix}
af + bh \
cf + dh
\end{bmatrix}
$$
不满足交换律 $NM \neq MN $

满足结合律 $A(BC) = (AB)C$

5、三维空间中的线性变换

三维空间中坐标x,y,z 对应基向量$(\overrightarrow{i}, \overrightarrow{j}, \overrightarrow{k})$
$$
\begin{bmatrix}
a & b & c \
d & e & f \
g & h & i
\end{bmatrix}
\begin{bmatrix}
x\
y\
z
\end{bmatrix}
=
\begin{bmatrix}
a \
d\
g
\end{bmatrix}
x
+
\begin{bmatrix}
b \
e \
h
\end{bmatrix}
y
+
\begin{bmatrix}
c \
f \
i
\end{bmatrix}
z
=
\begin{bmatrix}
ax & by & cz \
dx & ey & fz \
gx & hy & iz
\end{bmatrix}
$$

6、行列式

缩放比例，线性变换改变面积的比例被称为这个变换的行列式

行列式为正

行列式为0 变换减少了空间的维度

行列式为负 变换改变了空间的定向
$$
det(
\begin{bmatrix}
1 & 2\
1 & -1
\end{bmatrix}
)
=
-3
$$
右手定则

右手食指指向i-hat方向

右手中指指向j-hat方向

大拇指竖起来，指向k-hat方向

计算行列式
$$
det(
\begin{bmatrix}
a & b \
c & d
\end{bmatrix}
)
=
(a+b)(c+d) -ac - bd - 2bc
=
ad - bc
$$

三阶行列式 （体积）
$$
det(\begin{bmatrix}
a & b & c \
d & e & f \
g & h & i
\end{bmatrix})
=a * det(\begin{bmatrix}
e & f \
h & i
\end{bmatrix})
+
b * det(\begin{bmatrix}
d & f \
g & i
\end{bmatrix}
+
c * det(\begin{bmatrix}
e & f \
h & i
\end{bmatrix})
$$

性质
$$
det(M_1M_2) = det(M_1)det(M_2)
$$

7、逆矩阵、列空间与零空间

线性方程组$A\overrightarrow{x}=\overrightarrow{v}$
$$
\begin{cases}
2x + 5y + 3z = -3 \
4x + 0y + 8z = 0 \
1x + 3y + 0z = 2
\end{cases}
=>
\begin{bmatrix}
2 & 5 & 3 \
4 & 0 & 8 \
1 & 3 & 0
\end{bmatrix}
\begin{bmatrix}
x \
y \
z
\end{bmatrix}
=
\begin{bmatrix}
-3 \
0 \
2
\end{bmatrix}
$$
逆变换： $A^{-1}$ 称为 A 的逆

恒等变换，什么都不做
$$
A^{-1}A
$$
逆矩阵Inverse matrices 存在时，可以用来求解方程组
$$
\begin{aligned}
&A\overrightarrow{x}=\overrightarrow{v}\
&A^{-1}A\overrightarrow{x}=A^{-1}\overrightarrow{v}\
&\overrightarrow{x}=A^{-1}\overrightarrow{v}
\end{aligned}
$$

秩 Rank ：变换后空间的维数

列空间 Column space：所有可能的变换结果集合

变换后基向量张成的空间，就是所有可能的结果

换句话说，列空间就是矩阵的列所张成的空间

秩是列空间的维数

满秩Full rank：秩与列数相等

列空间与方程组解的个数有关

矩阵的零空间 null space 变换后落在原点的向量的集合

8、非方阵

$A_{2\times3}$ 2维到3维变换
$$
\begin{bmatrix}
1 & 2 & 1\
1 & 0 & 2\
\end{bmatrix}
\begin{bmatrix}
2\
1\
0
\end{bmatrix}
=
\begin{bmatrix}
4\
2
\end{bmatrix}
$$

$A_{3\times2}$ 3维到2维变换
$$
\begin{bmatrix}
1 & 2\
1 & 0\
-1 & 1
\end{bmatrix}
\begin{bmatrix}
2\
1\
\end{bmatrix}
=
\begin{bmatrix}
4\
2\
-1
\end{bmatrix}
$$

9、点积和对偶性

两个向量点积（数量积/投影）$\overrightarrow{v} \cdot \overrightarrow{w}$

$$
\begin{bmatrix}
4\
1
\end{bmatrix}
\cdot
\begin{bmatrix}
2\
-1
\end{bmatrix}
=4 \times 2 + 1 \times (-1) = 7
$$

$$
\begin{bmatrix}
4\
1
\end{bmatrix}^T
\begin{bmatrix}
2\
-1
\end{bmatrix}
=
\begin{bmatrix}
4 & 1
\end{bmatrix}
\begin{bmatrix}
2\
-1
\end{bmatrix}
=7
$$

10、叉积

平行边行的面积 $\overrightarrow{v} \times \overrightarrow{w} = - \overrightarrow{w} \times \overrightarrow{v}$
$$
\begin{bmatrix}
3\
1
\end{bmatrix}
\times
\begin{bmatrix}
2\
-1
\end{bmatrix}
=det(
\begin{bmatrix}
3 & 2\
1 & -1
\end{bmatrix}
)
$$

$3\overrightarrow{v} \times \overrightarrow{w} = 3(\overrightarrow{v} \times \overrightarrow{w})$

右手定则

食指 $\overrightarrow{v}$

中指 $ \overrightarrow{w}$

拇指 $ \overrightarrow{v} \times \overrightarrow{w}$
$$
\begin{bmatrix}
v_1\
v_2 \
v_3
\end{bmatrix}
\times
\begin{bmatrix}
w_1\
w_2\
w_3
\end{bmatrix}
=det(
\begin{bmatrix}
i & v_1 & w_1\
j & v_2 & w_2\
k & v_3 & w_3
\end{bmatrix}
)
\
i(v_2w_3 - v_3w_2) + j(v_3w_1 - v_1w_3) + k(v_1w_2 - v_2w_1)
$$

11、基变换

$$
A
\begin{bmatrix}
x_i\
y_i
\end{bmatrix}
=
\begin{bmatrix}
x_o\
y_o
\end{bmatrix}
\

\begin{bmatrix}
x_i\
y_i
\end{bmatrix}
=
A^{-1}
\begin{bmatrix}
x_o\
y_o
\end{bmatrix}
$$

12、特征向量与特征值

能够被A拉伸且保持方向不变的向量就是A的特征向量，拉伸的倍数就是特征值

特征值：每个特征向量都有一个所属的值，衡量特征向量在变换中拉伸或压缩比例的因子
$$
A\overrightarrow{v} = \lambda \overrightarrow{v}
$$
特征向量 $\overrightarrow{v}$

特征值 $\lambda$

左边是用矩阵A将向量$\overrightarrow{v}$做了一个转换，右边是将向量拉伸了$\lambda$ 倍。
$$
A\overrightarrow{v} = \lambda \overrightarrow{v} \
A\overrightarrow{v} - \lambda \overrightarrow{v} = 0 \
(A - \lambda I)\overrightarrow{v} = 0 \
det(A - \lambda I) = 0
$$
对角矩阵

一组基向量（同样是特征向量）构成的集合被称为一组“特征基”

示例：求矩阵特征值,特征向量
$$
\begin{aligned}
& A =
\begin{bmatrix}
-1 & 1 & 0 \
-4 & 3 & 0 \
1 & 0 & 2 \
\end{bmatrix}
\
\
&求解：\
&|A - \lambda E| =
\begin{vmatrix}
-1-\lambda & 1 & 0 \
-4 & 3-\lambda & 0 \
1 & 0 & 2 -\lambda\
\end{vmatrix}
=(2 -\lambda)
\begin{vmatrix}
-1-\lambda & 1 \
-4 & 3-\lambda \
\end{vmatrix}
\
&=(2 - \lambda){(3 - \lambda)(-1 - \lambda) - (-4)}
\
&=(2 - \lambda)(-3-3 \lambda+\lambda + \lambda^2 + 4)\
&=(2 - \lambda)(\lambda^2 -2\lambda + 1)\
&=(2 - \lambda)(\lambda - 1)^2 \
\
&特征值 \lambda = 2, 1
\
\
& 当 \lambda = 2 \
& (A - 2 E)= 0 \
&\begin{bmatrix}
-3 & 1 & 0 \
-4 & 1 & 0 \
1 & 0 & 0\
\end{bmatrix}x
=0 \
&\begin{cases}
-3x_1 + x_2 = 0\
-4x_1 + x_2 = 0 \
x_1= 0
&\end{cases}
\
&\begin{cases}
x_2 = 0\
x_1= 0
&\end{cases}
\
&P_1 =\begin{bmatrix}
0 \
0 \
1 \
\end{bmatrix}
\
\
& 当 \lambda = 1 \
& (A - E)= 0 \
&\begin{bmatrix}
-2 & 1 & 0 \
-4 & 2 & 0 \
1 & 0 & 1\
\end{bmatrix}x
=0 \
&\begin{cases}
-2x_1 + x_2 = 0\
-4x_1 + 2x_2 = 0 \
x_1 + x_3 = 0
&\end{cases}
\
&\begin{cases}
x_2 = 2x_1\
x_3 = -x_1
&\end{cases}
\
&P_2 =\begin{bmatrix}
-1 \
-2 \
1 \
\end{bmatrix}
\end{aligned}
$$

13、抽象向量空间

函数 f(x)
$$
f(x) + g(x)\

af(x)
$$
满足以下两条的变换是线性的

1、可加性 Additivity
$$
L(\overrightarrow{v} + \overrightarrow{w}) = L(\overrightarrow{v}) + L(\overrightarrow{w})
$$

2、成比例 scaling
$$
L(c\overrightarrow{v}) = cL(\overrightarrow{v}))
$$

线性代数	函数
线性变换	线性算子
点积	内积
特征向量	特征函数

向量加法和数乘
$$
\overrightarrow{u} + (\overrightarrow{v} + \overrightarrow{w}) = (\overrightarrow{u} + \overrightarrow{v}) + \overrightarrow{w}
\
\overrightarrow{v} + \overrightarrow{w} = \overrightarrow{w} + \overrightarrow{v}
\
0 + \overrightarrow{v} = \overrightarrow{v}
\
\overrightarrow{v} + (-\overrightarrow{v}) = 0
\
\
a(b\overrightarrow{v}) = (ab)\overrightarrow{v}
\
1\overrightarrow{v} = \overrightarrow{v}
\
a(\overrightarrow{v} + \overrightarrow{w}) = a\overrightarrow{v} + a\overrightarrow{w}
\
(a + b) \overrightarrow{v} = a\overrightarrow{v} + b\overrightarrow{v}

$$

克莱姆法则

$$
\begin{cases}
2x - 1y = 4 \
0x + 1y = 2
\end{cases}
\
\begin{bmatrix}
2 & -1\
0 & 1
\end{bmatrix}
\begin{bmatrix}
x\
y
\end{bmatrix}
=
\begin{bmatrix}
4\
2
\end{bmatrix}
\
x = \frac{Area}{det(A)} =
\frac{
det(
\begin{bmatrix}
4 & -1\
2 & 1
\end{bmatrix}
)
}
{
det(
\begin{bmatrix}
2 & -1\
0 & 1
\end{bmatrix}
)
}=\frac{4+2}{2}
=\frac{6}{2}
=3
\
y = \frac{Area}{det(A)} =
\frac{
det(
\begin{bmatrix}
2 & 4\
0 & 2
\end{bmatrix}
)
}
{
det(
\begin{bmatrix}
2 & -1\
0 & 1
\end{bmatrix}
)
}=\frac{4}{2}
=2
$$