L2正则化、归一化、范数
# L2范数
L2范数是指向量中元素的平方和的平方根,也称为欧几里得范数。对于一个包含
# L2正则化(Regularization)
L2正则化是指在损失函数中添加一个用于惩罚模型权重的项,以减少模型的复杂度,防止过拟合。
L2正则化通常用于神经网络和其他机器学习模型中,可以写成如下形式:
其中,
# L2范数与L2正则化之间的关系
L2正则化中的正则化项就是指的L2范数的平方,即
# L2归一化(Normalization)
L2归一化是一种常见的数据处理技术,通常用于对向量进行标准化或归一化操作。它的目的是将向量的每个元素除以该向量的L2范数,使得整个向量的长度为1。
假设有一个包含
计算向量
的L2范数:将向量
的每个元素除以L2范数,得到L2归一化后的向量 :经过L2归一化处理后,向量
的L2范数(长度)将等于1,即 ,因此它也被称为单位向量或规范化向量。补充:两个归一化后的向量相乘相当于是计算它们之间的余弦相似度
# 其他补充
# 向量点积与外积(叉积)
点积(内积):点积是指两个向量对应元素相乘后再求和的操作,得到的结果是一个标量(数量),而不是向量。假设有两个向量
和 ,它们的点积计算公式为:这个公式表示将
和 对应位置的元素相乘,然后将结果相加得到最终的标量值。当向量跟自身计算点积时相当于计算自身L2范数的平方。如有一个向量
,其对自身的点积计算公式为:外积(叉积):外积是指两个向量的叉乘操作,结果是一个新的向量,这个向量与原来的两个向量都垂直。外积通常用于三维空间中,对于两个三维向量
和 ,它们的外积计算公式为:这个公式表示按照特定顺序将
和 的对应元素进行计算得到新向量的每个分量值。
编辑 (opens new window)
上次更新: 2024/05/30, 07:49:34