游侠的博客 游侠的博客
首页
  • 论文笔记
  • 一些小知识点

    • pytorch、numpy、pandas函数简易解释
  • 《深度学习500问》
开发
技术
更多
关于
收藏
  • 分类
  • 标签
  • 归档
GitHub (opens new window)

Ranger

一名在校研究生
首页
  • 论文笔记
  • 一些小知识点

    • pytorch、numpy、pandas函数简易解释
  • 《深度学习500问》
开发
技术
更多
关于
收藏
  • 分类
  • 标签
  • 归档
GitHub (opens new window)
  • 论文笔记

  • 一些小知识点

    • pytorch、numpy、pandas函数简易解释【持续更新ing】
    • BatchNorm和LayerNorm的区别
    • 监督学习步骤
    • 分类算法的评价指标
    • 生成模型判别模型区别
    • 常见损失函数及说明
    • LDA与PCA降维方法
    • nn.Sequential作用
    • one-hot编码
    • python中的zip函数
    • 关于nn.CrossEntropyLoss的一些小说明
    • 关于使用全局平均池化需要注意的地方
    • L2正则化、归一化、范数
      • L2范数
      • L2正则化(Regularization)
      • L2范数与L2正则化之间的关系
      • L2归一化(Normalization)
      • 其他补充
        • 向量点积与外积(叉积)
  • 《深度学习500问》

  • pytorch知识点

  • 人工智能
  • 一些小知识点
yangzhixuan
2024-04-09
目录

L2正则化、归一化、范数

# L2范数

L2范数是指向量中元素的平方和的平方根,也称为欧几里得范数。对于一个包含个元素的向量,其L2范数可以表示为:

# L2正则化(Regularization)

L2正则化是指在损失函数中添加一个用于惩罚模型权重的项,以减少模型的复杂度,防止过拟合。

L2正则化通常用于神经网络和其他机器学习模型中,可以写成如下形式:

其中,是原始的损失函数,是正则化参数,是模型中的权重数量,是第个权重参数。

# L2范数与L2正则化之间的关系

L2正则化中的正则化项就是指的L2范数的平方,即。因此,L2正则化可以被视作对模型参数进行L2范数惩罚的一种形式。

# L2归一化(Normalization)

L2归一化是一种常见的数据处理技术,通常用于对向量进行标准化或归一化操作。它的目的是将向量的每个元素除以该向量的L2范数,使得整个向量的长度为1。

假设有一个包含个元素的向量,则L2归一化的过程如下:

  1. 计算向量的L2范数:

  2. 将向量的每个元素除以L2范数,得到L2归一化后的向量:

    经过L2归一化处理后,向量的L2范数(长度)将等于1,即,因此它也被称为单位向量或规范化向量。

    补充:两个归一化后的向量相乘相当于是计算它们之间的余弦相似度

# 其他补充

# 向量点积与外积(叉积)

  1. 点积(内积):点积是指两个向量对应元素相乘后再求和的操作,得到的结果是一个标量(数量),而不是向量。假设有两个向量和,它们的点积计算公式为:

    这个公式表示将和对应位置的元素相乘,然后将结果相加得到最终的标量值。

    当向量跟自身计算点积时相当于计算自身L2范数的平方。如有一个向量,其对自身的点积计算公式为:

  2. 外积(叉积):外积是指两个向量的叉乘操作,结果是一个新的向量,这个向量与原来的两个向量都垂直。外积通常用于三维空间中,对于两个三维向量和,它们的外积计算公式为:

    这个公式表示按照特定顺序将和的对应元素进行计算得到新向量的每个分量值。

编辑 (opens new window)
上次更新: 2024/05/30, 07:49:34
关于使用全局平均池化需要注意的地方
第一章_数学基础

← 关于使用全局平均池化需要注意的地方 第一章_数学基础→

最近更新
01
tensor比较大小函数
05-30
02
Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection
05-27
03
半监督学习经典方法 Π-model、Mean Teacher
04-10
更多文章>
Theme by Vdoing | Copyright © 2023-2024 Ranger | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式