Asphyxia's Blog

感知机 感知机模型 输入空间/特征空间：$\boldsymbol{x} \subseteq \boldsymbol{R}^n$ 输出空间：$y = {+1, -1}$ 感知机： $$f(x)=sign(w \cdot x + b)$$ $w$和$b$为感知机模型参数，$w$ 叫作权值，$b$ 叫作偏置 $sign$表示符号函数，即： $$sign(x)=\begin{cases}+1, \text{ } x \ge 0 \\ -1, \text{ } x < 0\end{cases}$$ 假设空间：定义在特征空间上的所有线性分类模型 ${f | f(x) = w \cdot x + b }$ 感知机的学习策略 从输入空间中任意一点到超平面的距离推导： $\cfrac{1}{|w|_2}|w \cdot x + b|$ 对误分类的点来说： $-y_i(w \cdot x_i + b) > 0$ 也即误分类的点到超平面的距离为： $-\cfrac{1}{|w|_2}y_i(w \cdot x + b)$ 总距离为： $-\cfrac{1}{ ...

数值计算 上溢和下溢 数值分析概念，运算时考虑其影响即可。一般调库时不需要考虑。 病态条件 数值分析概念，考虑函数$f(\boldsymbol{x})=\boldsymbol{A}^{-1}\boldsymbol{x}$，当$A \in \mathbb{R}^{n \times n}$具有分解特征值时，条件数为$\max _{i,j} \left | \cfrac{\lambda_i}{\lambda_j} \right |$，越大，矩阵求逆对误差越敏感。 基于梯度的优化方法 把要最小化或最大化的函数称为目标函数 要对其进行最小化时，称为 代价函数cost function 损失函数loss function 误差函数error function 导数 梯度下降 局部最小，局部最大，全局最小，全局最大 偏导数 梯度 记为$\boldsymbol{\triangledown_{x}}f(\boldsymbol{x})$ 多维情况下，临界点是梯度中所有元素都为0的点 在$\boldsymbol{u}$方向的方向导数是函数$f$在$\boldsymbol{u}$方向的斜 ...

概率论 样本空间 - *随机实验* 全部可能的结果组成的集合 随机变量 定义在样本空间上的实值函数 通常用无格式与手写体字母区分随机变量与随机变量的取值。例如x表示随机变量本身，$x_1, x_2$表示具体的取值 随机变量是对可能的状态的描述，必须要有对应的概率分布来指定每个状态（即随机变量取值）的可能性 概率分布 描述随机变量每个状态的可能性大小 概率质量函数：离散型随机变量的概率分布 概率质量函数$P$需满足条件： $P$的定义域是x所有可能状态的集合 $\forall x \in \text{x}, 0\le P(x) \le 1$ $\sum_{i=1}^{\infty}P(x_i)=1$ 概率质量函数本身就反映了变量x取某值的概率 概率密度函数：连续型随机变量的概率分布 概率密度函数$P$需满足条件： $P$的定义域是x所有可能状态的集合 $\forall x \in \text{x}, P(x) \ge 0$ $\int_{i=1}^{\infty}P(x_i)=1$ 需对概率密度函数求积分来获得变量取值在某范围的概率 累积分布函数：对任意给 ...

线性代数 标量、向量、矩阵和张量 标量：一个单独的数 向量：一列数 矩阵：二维数组 张量：维数超过二维的数组 转置：矩阵的行列互换 矩阵与向量相乘 单位矩阵和逆矩阵 单位矩阵：主对角线元素都是1 逆矩阵：$\boldsymbol{A}^{-1}\boldsymbol{A}=\boldsymbol{I}$ 线性相关与生成子空间 将 $\boldsymbol{A}$ 的列向量看作是从原点出发的向量，则 $\boldsymbol{A}\boldsymbol{x} = \sum_{i} x_{i}\boldsymbol{A}_{:,i}$（称为线性组合），一组向量的线性组合所能及的点的集合就是这组向量的生成子空间 线性相关：向量组某向量能用组内其他向量线性表示 线性无关：向量组的每个向量都是组内其他向量无法线性组合表示的 列向量线性相关的方阵被称为是 奇异的 范数 范数是满足下列性质的函数： $f(\boldsymbol{x})=0 \Rightarrow \boldsymbol{x = 0} $ $f(\boldsymbol{x+y}) \le f(\boldsymbol{x ...