Борьба с избыточностью

Шаг 1

Мы знаем, что вектора можно складывать и умножать на числа, при этом, будут получатся новые вектора

Получается, что вектора можно выражать через другие вектора с помощью этих двух операций

Но как найти тот самый минимальный набор векторов, которого хватит, чтобы выразить все остальные?

Возьмём какой-то набор из n векторов

Если какой-то из них выражается через другие (сложением и умножением на числа), то перекинув через равно можно получить линейную комбинацию равную нулю (линейная комбинация это просто сумма с коэффициентами)

Например:

\begin{aligned} v_1 = (0, 1, 0) \\ v_2 = (1, 2, 0) \\ v_3 = (1, 1, 0) \\ -v_1 + v_2 - v_3 = 0 \\ \Rightarrow v_3 = -v_1 + v_2 \end{aligned}

Получается, что для выражения всех векторов в системе хватает $v_1$ и $v_2$

Или в более общем виде:

\begin{aligned} v_1 = \sum_{i = 2}^{n}{\mu_iv_i} \\ \Rightarrow \sum_{i = 1}^{n}{\lambda_iv_i} = 0 \end{aligned}

*Нужно, чтобы все коэффициенты одновременно не были равны нулю

Назовём такой набор векторов линейно зависимыми

Шаг 2

Складывая вектора из какого-то набора всеми способами (со всеми возможными коэффициентами) можно получить подпространство

Это называется линейной оболочкой( $\operatorname{span}\langle v_i \rangle$ )

Например, в случае:

\begin{aligned} v_1 = (0, 1, 0) \\ v_2 = (1, 2, 0) \\ v_3 = (1, 1, 0) \end{aligned}

$\operatorname{span}\langle v_1, v_2, v_3 \rangle = \operatorname{span}\langle v_1, v_2 \rangle$

Так как третий вектор выражается через первые два, то линейная оболочка представляет собой плоскость

Минимальный набором векторов, линейная оболочка которых совпадает с линейной оболочкой изначального набора векторов называют базисомподпространства (само пространство можно тоже рассматривать как подпространство)

Очевидно, что базис линейно независим

Количество векторов в базисе - размерность пространства

Так же, размерность линейной оболочки векторов называют рангом множества векторов

Пример 1:

\begin{aligned} v_1 = (0, 1, 0) \\ v_2 = (1, 2, 0) \\ v_3 = (1, 1, 0) \end{aligned}

Мы уже пришли к выводу, что всё подпространство выражается через $v_1 \space и \space v_2$ , поэтому $v_1 \space и \space v_2$ - базис $\operatorname{span}\langle v_1v_2v_3 \rangle$

*Важно понять, что базисом здесь является так же и набор $v_1, v_3$ и набор $v_2, v_3$

Так как для описания этой системы хватает двух векторов, но не хватает одного, то ранг системы равен двум

Пример 2:

Стандартный базис n-мерного пространства:

\begin{aligned} e_1 = (1, 0, 0, ... 0) \\ e_2 = (0, 1, 0, ... 0) \\ \vdots \\ e_n = (0, 0, 0, ... 1) \end{aligned}

Координаты вектора, которые мы обычно пишем как раз и являются коэффициентами, с помощью которых мы получаем вектора через базис:

\begin{aligned} v = (0, 2, 3) \\ v = 0*e_1 + 2 * e_2 + 3 * e_3 \end{aligned}

Шаг 3

Линейную оболочку можно воспринимать как количество информации, которую дают вектора

Если мы даже рассматриваем 10-мерное пространство, и в нём 100 векторов

Но при этом, если размерность линейной оболочки этих векторов равна трём, то хранить все 10 измерений просто не рационально

Можно взять базис этого подпространства и рассматривать координаты векторов уже относительно него

Это хорошо позволяет сжимать данные, так ещё и может раскрыть, какие признаки действительно имеют смысл, а какие являются комбинацией других

На следующем видео показана наглядная визуализация того, о чём я сейчас говорил

Шаг 4

Шаг 5

Какой ранг этой системы векторов?

\begin{aligned} \mathbf{v}_1 = (2, -1, 3) \\ \mathbf{v}_2 = (-4, 5, 1) \\ \mathbf{v}_3 = (-2, 7, 11) \end{aligned}

Шаг 6

Какой ранг этой системы векторов?

\begin{aligned} v_1 = (0, 1, 2, 3) \\ v_2 = (1, 1, 2, 3) \\ v_3 = (1, 0, 0, 1) \\ v_4 = (0, 0, 0, 1) \end{aligned}

Шаг 7

Представьте три вектора в трехмерном пространстве, которые лежат в одной плоскости. Каким будет ранг этой системы векторов?