news 2026/4/30 11:19:24

9、词嵌入、循环神经网络与序列到序列学习

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
9、词嵌入、循环神经网络与序列到序列学习

词嵌入、循环神经网络与序列到序列学习

1. 循环神经网络(RNN)输出处理

在处理RNN输出时,我们可以使用以下代码对输出进行形状调整:

output2 = tf.reshape(output,[batchSz*windowSz, rnnSz]) logits = matmul(output2,W)

这里的W是一个线性层(Wo),它将RNN的输出转换为图4.5中的对数概率(logits)。接着,我们可以将其传递给tf.nn.sparse_softmax_cross_entropy_with_logits,该函数会返回一个损失值的列向量,通过tf.reduce_mean可以将其缩减为一个单一的值。对这个最终值取指数,就能得到困惑度(perplexity)。

改变RNN输出的形状,一方面是为了便于教学,因为这样可以复用tf.matmul;另一方面是出于计算的考虑,它能使数据符合稀疏softmax所需的形状。不过,在其他情况下,下游计算可能需要原始形状,这时我们可以使用TensorFlow中处理多维张量的函数,例如:

tf.tensordot(outputs, W, [[2], [0]])

这段代码会在outputs的第二个分量(从0开始计数)和W </

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/19 22:24:47

15、无监督神经网络模型:VAE与GAN的深入剖析

无监督神经网络模型:VAE与GAN的深入剖析 1. 变分自编码器(VAE) 在处理图像数据时,我们希望尽可能缩小模型预测与实际图像之间的差异。如果能自由选择合适的均值()和标准差(σ),就能更精确地对特定图像进行建模,而图像损失会促使我们朝着这个方向优化。同时,我们也…

作者头像 李华
网站建设 2026/4/29 17:11:49

百度网盘秒传链接实战手册:高效转存与智能生成全攻略

还在为百度网盘大文件分享发愁吗&#xff1f;&#x1f914; 秒传链接技术让你彻底告别传统上传下载的烦恼&#xff01;今天我们就来深度解析这个神奇工具的完整使用流程&#xff0c;让你成为秒传达人&#xff01; 【免费下载链接】baidupan-rapidupload 百度网盘秒传链接转存/生…

作者头像 李华
网站建设 2026/5/1 6:50:21

X-AnyLabeling智能标注工具:从入门到精通的终极指南

X-AnyLabeling智能标注工具&#xff1a;从入门到精通的终极指南 【免费下载链接】X-AnyLabeling Effortless data labeling with AI support from Segment Anything and other awesome models. 项目地址: https://gitcode.com/gh_mirrors/xa/X-AnyLabeling 在计算机视觉…

作者头像 李华
网站建设 2026/4/18 8:34:28

DanmakuFactory:让弹幕转换变得轻松高效的专业工具

DanmakuFactory&#xff1a;让弹幕转换变得轻松高效的专业工具 【免费下载链接】DanmakuFactory 支持特殊弹幕的xml转ass格式转换工具 项目地址: https://gitcode.com/gh_mirrors/da/DanmakuFactory 在视频创作和直播互动日益流行的今天&#xff0c;弹幕已经成为观众表达…

作者头像 李华
网站建设 2026/5/1 6:12:36

Path of Building PoE2实战指南:7天从菜鸟到精通

Path of Building PoE2实战指南&#xff1a;7天从菜鸟到精通 【免费下载链接】PathOfBuilding-PoE2 项目地址: https://gitcode.com/GitHub_Trending/pa/PathOfBuilding-PoE2 Path of Building PoE2作为流放之路2社区最强大的离线构建规划工具&#xff0c;已经成为每个…

作者头像 李华
网站建设 2026/4/16 9:02:01

Bio_ClinicalBERT技术深度剖析:重塑医疗NLP的智能引擎

Bio_ClinicalBERT技术深度剖析&#xff1a;重塑医疗NLP的智能引擎 【免费下载链接】Bio_ClinicalBERT 项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Bio_ClinicalBERT 在医疗人工智能快速发展的今天&#xff0c;Bio_ClinicalBERT作为专为临床文本设计的预训…

作者头像 李华