一、向量

具有大小和方向的量。
$$\overrightarrow{a}=(x,y)$$

二、线性变换

线性变换通常用一个矩阵表示。

设 T 是一个从向量空间 V 到向量空间 W 的线性变换，对于 V 中的每个向量 x，存在一个矩阵 A，使得 T(x) = Ax，其中 A 是一个固定的矩阵。

• 加法保持性质

对于任意两个向量 x 和 y，线性变换 T 满足 T(x + y) = T(x) + T(y)。

• 标量乘法保持性质

对于任意标量 c 和向量 x，线性变换 T 满足 T(cx) = cT(x)。

三、矩阵

1、概念

矩阵是一个由数字排列成的矩形阵列，其中包含 m 行 n 列的数学对象。
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mn}\end{array}\right]$$

$$其中a_{ij}表示矩阵中第i行第j列的元素$$

2、加减法

矩阵的加法和减法按元素进行，即对应位置上的元素相加或相减。

两个相同维度的矩阵（两个矩阵的列数和行数一致）才能相加或相减。
$$C=A+B\Rightarrow c_{ij}=a_{ij}+b_{ij}$$

$$A=\left[\begin{array}{cc}3& 1\\ 2& 4\end{array}\right]，B=\left[\begin{array}{cc}5& 2\\ 1& 6\end{array}\right]，C=A+B=\left[\begin{array}{cc}3+5& 1+2\\ 2+1& 4+6\end{array}\right]=\left[\begin{array}{cc}8& 3\\ 3& 10\end{array}\right]$$

$$X=\left[\begin{array}{cc}7& 4\\ 3& 9\end{array}\right]，Y=\left[\begin{array}{cc}2& 1\\ 5& 2\end{array}\right]，Z=X-Y=\left[\begin{array}{cc}7-2& 4-1\\ 3-5& 9-2\end{array}\right]=\left[\begin{array}{cc}5& 3\\ -2& 7\end{array}\right]$$

3、乘法

矩阵的乘法不同于加法，是按行和列进行的。

如果矩阵 A 的列数等于矩阵 B 的行数，则它们可以相乘。
$$C=AB\Rightarrow c_{ij}=\sum _{k=1}^n{a}_{ik}\cdot b_{kj}$$

$$A=\left[\begin{array}{cc}2& 3\\ 4& 1\end{array}\right]，B=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]$$
$$C=A\times B=\left[\begin{array}{cc}2\times 5+3\times 7& 2\times 6+3\times 8\\ 4\times 5+1\times 7& 4\times 6+1\times 8\end{array}\right]=\left[\begin{array}{cc}31& 34\\ 27& 28\end{array}\right]$$

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]，B=\left[\begin{array}{ccc}9& 8& 7\\ 6& 5& 4\\ 3& 2& 1\end{array}\right]$$
$$C=A\times B=\left[\begin{array}{ccc}1\times 9+2\times 6+3\times 3& 1\times 8+2\times 5+3\times 2& 1\times 7+2\times 4+3\times 1\\ 4\times 9+5\times 6+6\times 3& 4\times 8+5\times 5+6\times 2& 4\times 7+5\times 4+6\times 1\\ 7\times 9+8\times 6+9\times 3& 7\times 8+8\times 5+9\times 2& 7\times 7+8\times 4+9\times 1\end{array}\right]=\left[\begin{array}{ccc}30& 26& 22\\ 84& 71& 58\\ 138& 116& 94\end{array}\right]$$

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]，B=\left[\begin{array}{cc}7& 8\\ 9& 10\\ 11& 12\end{array}\right]$$

$$A\times B=\left[\begin{array}{cc}1\times 7+2\times 9+3\times 11& 1\times 8+2\times 10+3\times 12\\ 4\times 7+5\times 9+6\times 11& 4\times 8+5\times 10+6\times 12\end{array}\right]=\left[\begin{array}{cc}58& 64\\ 139& 154\end{array}\right]$$

$$B\times A=\left[\begin{array}{ccc}7\times 1+8\times 4& 7\times 2+8\times 5& 7\times 3+8\times 6\\ 9\times 1+10\times 4& 9\times 2+10\times 5& 9\times 3+10\times 6\\ 11\times 1+12\times 4& 11\times 2+12\times 5& 11\times 3+12\times 6\end{array}\right]=\left[\begin{array}{ccc}39& 54& 69\\ 49& 68& 87\\ 59& 82& 105\end{array}\right]$$

4、单位矩阵

单位矩阵是一个特殊的方阵，主对角线上的元素全为1，其余元素为0。
$$表示为I或I_n，其中n是矩阵的阶数$$

$$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

$$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

$$I=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$

$$I=\left[\begin{array}{cccc}1& 0& \dots & 0\\ 0& 1& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & 1\end{array}\right]$$

如果 A 是 n×n 矩阵，I 是单位矩阵，则 AI= A，IA = A
$$\left[\begin{array}{cc}3& 1\\ 2& 4\end{array}\right]\times \left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}1\times 3+0\times 2& 1\times 1+0\times 4\\ 0\times 3+1\times 2& 0\times 1+1\times 4\end{array}\right]=\left[\begin{array}{cc}3& 1\\ 2& 4\end{array}\right]$$

$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\times \left[\begin{array}{cc}5& 2\\ 1& 6\end{array}\right]=\left[\begin{array}{cc}5\times 1+2\times 0& 5\times 0+2\times 1\\ 1\times 1+6\times 0& 1\times 0+6\times 1\end{array}\right]=\left[\begin{array}{cc}5& 2\\ 1& 6\end{array}\right]$$

单位矩阵在矩阵乘法中的作用相当于数字1。

5、逆矩阵

$$若矩阵A存在逆矩阵，记为A^{-1}，满足A\cdot A^{-1}=A^{-1}\cdot A=I，I是单位矩阵。$$

$$A=\left[\begin{array}{cc}2& 3\\ 4& 5\end{array}\right]，A^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]，A^{-1}=\frac{1}{-2}\left[\begin{array}{cc}5& -3\\ -4& 2\end{array}\right]=\left[\begin{array}{cc}-\frac{5}{2}& \frac{3}{2}\\ 2& -1\end{array}\right]$$

$$A=\left[\begin{array}{cc}3& -4\\ 2& -5\end{array}\right]，A^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]，A^{-1}=\frac{1}{-7}\left[\begin{array}{cc}-5& 4\\ -2& 3\end{array}\right]=\left[\begin{array}{cc}\frac{5}{7}& -\frac{4}{7}\\ \frac{2}{7}& -\frac{3}{7}\end{array}\right]$$

6、奇异矩阵

当一个矩阵没有逆矩阵的时候，称该矩阵为奇异矩阵。

当且仅当一个矩阵的行列式为零时，该矩阵是奇异矩阵。
$$A=\left[\begin{array}{cc}2& 4\\ 1& 2\end{array}\right]，\text{Determinant}(A)=(2\times 2)-(4\times 1)=0$$

7、矩阵的转置

矩阵的转置是将其行和列互换得到的新矩阵。

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]，A^T=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]$$
转置运算特性

• 对称矩阵的转置

$$A^T=A$$

• 转置的转置

$$(A^T{)}^T=A$$

• 矩阵加法的转置

$$(A+B{)}^T=A^T+B^T$$

• 矩阵乘法的转置

$$(AB{)}^T=B^T{A}^T$$

• 标量乘法的转置

$$(cA{)}^T=c{A}^T$$

8、对称矩阵

如果一个矩阵转置后等于原矩阵，那么这个矩阵称为对称矩阵。

一个矩阵转置和这个矩阵的乘积就是一个对称矩阵。
$$A^T=A$$

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 2& 4& 5\\ 3& 5& 6\end{array}\right]，A^T=\left[\begin{array}{ccc}1& 2& 3\\ 2& 4& 5\\ 3& 5& 6\end{array}\right]=A$$

$$(A^T\times A{)}^T=A^T\times (A^T{)}^T=A^{T}A$$

$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]$$
$$(A^T\times A{)}^T={\left(\left[\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right]\times \left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\right)}^T=A^T\times (A^T{)}^T=\left[\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right]\times \left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]=A^T\times A=\left[\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right]\times \left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]$$

9、欧氏变换

两部分组成：旋转和平移。
$$a^{\prime }=Ra+t$$

10、齐次坐标

就是用 N+1 维来代表 N 维坐标。

两个矩阵运算时，大小不一样，可以使用齐次坐标补齐成行列大小一致后运算。

可以在一个二维坐标末尾加上一个额外的变量 w 来形成二维齐次坐标。

因此，一个点 (X,Y) 在齐次坐标里面变成了（x,y,w），并且有 X = x/w，Y = y/w。

例如：(1,2) 的齐次坐标可以表示为 (1,2,1)。

如果点 (1,2) 移动到无限远处，在笛卡尔坐标下它变为 (∞,∞)，然后它的齐次坐标表示为 (1,2,0) ，因为 (1/0, 2/0) = (∞,∞)，就可以不用 “∞” 来表示一个无穷远处的点了，这样方便做运算。

四、导数&偏导数

导数（微分）：

是代表函数（曲线）的斜率，是描述函数（曲线）变化快慢的量，同时曲线的极大值点也可以使用导数来判断，即极大值点的导数为0，此时斜率为0。

偏导数：

是指在多元函数的情况下，对其每个变量进行求导，求导时，把其它变量看做常量进行处理，物理意义就是查看这一个变量在其它情况不变的情况下对函数的影响程度。
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

五、梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模） 。

简而言之，对多元函数的各个自变量求偏导数，并把求得的这些偏导数写成向量形式，就是梯度。
$$\nabla f(x_0,y_0)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$$
梯度下降法

是一种寻找函数极小值的方法。

该方法最普通的做法是：在已知参数当前值的情况下，按当前点对应的梯度向量的反方向，并按事先给定好的步长大小，对参数进行调整。 按如上方法对参数做出多次调整之后，函数就会逼近一个极小值。

存在的问题

参数调整缓慢，收敛于局部最小值。

六、概率学基础

1、事件与关系运算

2、事件运算定律

• 交换律

并集的交换律
$$A\cup B=B\cup A$$
交集的交换律
$$A\cap B=B\cap A$$

• 结合律

并集的结合律
$$(A\cup B)\cup C=A\cup (B\cup C)$$
交集的结合律
$$(A\cap B)\cap C=A\cap (B\cap C)$$

• 分配律

并集对交集的分配律
$$A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$$
交集对并集的分配律
$$A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$$

3、概率

1、概念

事件发生的可能性大小的度量。

概率 P(g) 为定义在事件集合上的满足下面2个条件的函数：

对任何事件A，P(A) >= 0

对必然事件B，P(B) = 1

2、基本性质

$$\begin{gathered} P(A)=1-P(A^{\prime }) \\ {A}^{\prime }表示事件A的对立事件 \end{gathered}$$

3、公式

古典型概率：实验的所有结果只有有限个，且每个结果发生的可能性相同。
$$P(A)=\frac{事件A发生的基本事件数}{基本事件总数}$$

4、独立性

设 A，B 为随机事件，若同时发生的概率等于各自发生的概率的乘积，则 A，B 相互独立。
$$P(AB)=P(A)P(B)$$

5、离散

离散就是不连续。

6、数学期望、方差、标准差

• 数学期望（均值）：表示一件事平均发生的概率，记为 E(x)。

$$E(x)={\int }_{-\infty }^{\infty }xf(x)dx$$

• 方差：用来刻画随机变量 x 和数学期望 E(x) 之间的偏离程度，记做D(x)。

  （表示离散程度，越大离均值越远。）

$$D(x)={\int }_{-\infty }^{\infty }[x_k-E(x){]}^{2}f(x)dx$$

样本方差
$$s^2=\frac{1}{n}\left[(x_1-\bar{x}{)}^2+(x_2-\bar{x}{)}^2+\dots +(x_n-\bar{x}{)}^2\right]$$

• 标准差（均方差）：是方差的算术平方根。标准差能反映一个数据集的离散程度。

7、正态分布（高斯分布）

若随机变量 X 服从一个数学期望为 μ、方差为 σ^2 的正态分布，记为 N(μ，σ^2)。

μ 决定了其位置（中心线），其标准差 σ 决定了分布的幅度（胖瘦）。

标准正态分布：当 μ = 0，σ = 1 时的正态分布是标准正态分布。
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

七、熵

物理学上，是“混乱” 程度的量度。

系统越有序，熵值越低；系统越混乱或者分散，熵值越高。

信息理论：

1、当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。

这是从信息的完整性上进行的描述。

2、当数据量一致时，系统越有序，熵值越低，系统越混乱或者分散，熵值越高。

这是从信息的有序性上进行的描述。

若不确定性越大，则信息量越大，熵越大，

若不确定性越小，则信息量越小，熵越小。

假如事件 A 的分类划分是 (A1,A2,…,An)，每部分发生的概率是 (p1,p2,…,pn)，那信息熵定义为公式如下
$$Ent(A)=-\sum _{k=1}^n{p}_k{\log }_2{p}_k$$

记录学习过程，欢迎讨论交流，尊重原创，转载请注明出处~