负采样的理解[通俗易懂]

负采样的理解[通俗易懂]我对负采样理解来自于word2vec算法;比如说 love和me两个单词;使用特殊思维模式;假设整个词汇表只有100个单词;love表示成one-hot向量;me表示成one-hot向量;模型输入为love的one-hot向量;模型输出为me的one-hot向量;假设模型的神经网络结构为100*10*100;输出层100个;输出层中除了me对应位置的1外,其他全是0;称…

大家好,又见面了,我是你们的朋友全栈君。

我对负采样理解来自于word2vec算法;

比如说  love 和me两个单词;

使用特殊思维模式;假设整个词汇表只有100个单词;love 表示成one-hot向量; me表示成one-hot向量;

模型输入为love的one-hot向量;模型输出为me的one-hot向量;

假设模型的神经网络结构为100*10*100;输出层100个;

输出层中除了me对应位置的1外,其他全是0;称这为负样本;参数数量为10*100

采样就是从这样负样本中抽样;比如说抽取5个;那么在此次梯度更新中就只更新10*5;更新数量为原来的1/20

 

负采样的本质:每次让一个训练样本只更新部分权重,其他权重全部固定;减少计算量;(一定程度上还可以增加随机性)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/149160.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • [WinAPI] 获取窗口句柄的几种方法[通俗易懂]

    [WinAPI] 获取窗口句柄的几种方法[通俗易懂]转:http://www.cnblogs.com/zjutlitao/p/3889900.html1、使用FindWindow函数获取窗口句柄示例:使用FindWindow函数获取窗口句柄,然后获得窗口大小,并且移动窗口到指定位置。我们想获得酷我音乐盒的窗口句柄并移动它,该怎么办呢?首先打开VC或者VS里面tool中的SPY++点击查找窗口如下:PS:把那个靶心似的的东西…

    2022年7月21日
    42
  • STM32 的优先级NVIC配置

    STM32 的优先级NVIC配置1、NVIC优先级介绍2、NVIC优先级比较提条件1:组别优先顺序(第0组优先级最强,第4组优先级最弱):*强调内容***NVIC_PriorityGroup_0>NVIC_PriorityGroup_1>NVIC_PriorityGroup_2>NVIC_PriorityGroup_3>NVIC_PriorityGroup_4前提条件2:“组”优先级别>“抢”占优先级别>“副”优先级别前提

    2022年5月20日
    37
  • declare-styleable的详细用法

    declare-styleable的详细用法简述declare-styleable的定义使用规则,做好笔记方便自己后期使用也方便他人使用。

    2022年7月13日
    13
  • 浏览器扩展程序安装指南在哪_360浏览器扩展在哪里

    浏览器扩展程序安装指南在哪_360浏览器扩展在哪里小助手浏览器扩展程序安装指南

    2022年10月7日
    3
  • setdefault函数的用法及理解

    setdefault函数的用法及理解dict.setdefault(key,default=None)功能:如果键不存在于字典中,将会添加该键并将default的值设为该键的默认值,如果键存在于字典中,将读出该键原来对应的值,default的值不会覆盖原来已经存在的键的值。参数:key—-要查找的键default—–查找的键不存在时用于设置的默认值使用方法示例:(以下使用方法是我理解setdefault函…

    2025年7月13日
    6
  • linux node 安装_linux查看gcc是否安装

    linux node 安装_linux查看gcc是否安装官方下载:最新版下载地址:http://nodejs.cn/download/v14.3下载地址:https://nodejs.org/download/release/v14.3.0/安装

    2022年10月15日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号