news 2026/6/15 21:31:27

day39图像数据与显存

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
day39图像数据与显存

一、 图像数据的介绍

1.1 灰度图像

从这里开始我们进入到了图像数据相关的部分,也是默认你有之前复试班计算机视觉相关的知识,但是一些基础的概念我仍然会提。

昨天我们介绍了minist这个经典的手写数据集,作为图像数据,相较于结构化数据(表格数据)他的特点在于他每个样本的的形状并不是(特征数,),而是(宽,高,通道数)

上述是昨天的代码,我们介绍了图像数据的预处理,这是我们首次接触图像数据,他和之前的结构化数据有什么差异点呢?

结构化数据(如表格)的形状通常是 (样本数, 特征数),例如 (1000, 5) 表示 1000 个样本,每个样本有 5 个特征。图像数据的形状更复杂,需要保留空间信息(高度、宽度、通道),因此不能直接用一维向量表示。其中颜色信息往往是最开始输入数据的通道的含义,因为每个颜色可以用红绿蓝三原色表示,因此一般输入数据的通道数是 3。

1.2 彩色图像

在 PyTorch 中,图像数据的形状通常遵循 (通道数, 高度, 宽度) 的格式(即 Channel First 格式),这与常见的 (高度, 宽度, 通道数)(Channel Last,如 NumPy 数组)不同。---注意顺序关系,

注意点:

  1. 如果用matplotlib库来画图,需要转换下顺序,我们后续介绍
  2. 模型输入通常需要 批次维度(Batch Size),形状变为 (批次大小, 通道数, 高度, 宽度)。例如,批量输入 10 张 MNIST 图像时,形状为 (10, 1, 28, 28)。

    二、 图像相关的神经网络的定义

    考虑课程内容的推进,今日的内容只提定义,不涉及训练和测试过程

    2.1 黑白图像模型的定义

  3. 实际定义中,输入图像还存在batchsize这一维度

    在 PyTorch 中,模型定义和输入尺寸的指定不依赖于 batch_size,无论设置多大的 batch_size,模型结构和输入尺寸的写法都是不变的。

  4. 三、显存占用的主要组成部分

    昨天说到了在面对数据集过大的情况下,由于无法一次性将数据全部加入到显存中,所以采取了分批次加载这种方式。即一次只加载一部分数据,保证在显存的范围内。

    那么显存设置多少合适呢?如果设置的太小,那么每个batchsize的训练不足以发挥显卡的能力,浪费计算资源;如果设置的太大,会出现OOT(out of memory)

    显存一般被以下内容占用:

  5. 模型参数与梯度:模型的权重(Parameters)和对应的梯度(Gradients)会占用显存,尤其是深度神经网络(如 Transformer、ResNet 等),一个 1 亿参数的模型(如 BERT-base),单精度(float32)参数占用约 400MB(1e8×4Byte),加上梯度则翻倍至 800MB(每个权重参数都有其对应的梯度)。

  6. 部分优化器(如 Adam)会为每个参数存储动量(Momentum)和平方梯度(Square Gradient),进一步增加显存占用(通常为参数大小的 2-3 倍)

  7. 其他开销。@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/15 11:47:24

信创产业布局:与麒麟操作系统/达梦数据库完成适配

信创产业布局:与麒麟操作系统/达梦数据库完成适配 在政务、金融等关键行业加速推进信息技术自主可控的今天,一个看似简单的语音识别系统能否真正“落地”,早已不再只是看模型精度有多高、响应速度有多快。更核心的问题是:它能不能…

作者头像 李华
网站建设 2026/6/15 11:48:05

共情AI构建:让机器真正理解人类语言背后的含义

共情AI构建:让机器真正理解人类语言背后的含义 在客服对话中,用户说了一句“我等了快一个小时,还没人处理!”——如果系统只是机械地将其转写为文字,那它不过是个录音笔。但如果它能识别出这句话中的焦躁情绪&#xff…

作者头像 李华
网站建设 2026/6/15 11:47:37

AI配音进入精细化时代:时长比例调节(0.75x–1.25x)实战演示

AI配音进入精细化时代:时长比例调节(0.75x–1.25x)实战解析 在短视频、虚拟主播和动画制作日益繁荣的今天,一个常被忽视却极为关键的问题浮出水面:AI生成的语音总和画面“对不上嘴型”。你精心剪辑好的镜头&#xff0c…

作者头像 李华
网站建设 2026/6/15 11:45:41

基于GRL梯度反转层的技术革新:看IndexTTS 2.0如何分离音色与情感

基于GRL梯度反转层的技术革新:看IndexTTS 2.0如何分离音色与情感 在短视频、虚拟主播和AI配音日益普及的今天,用户不再满足于“机器能说话”,而是期待“像真人一样富有表现力地说话”。但现实是,大多数语音合成系统一旦克隆了某个…

作者头像 李华
网站建设 2026/6/15 11:48:15

舞蹈编排系统:动作节奏与背景音乐语音提示同步

舞蹈编排系统:动作节奏与背景音乐语音提示同步 在一场现代舞的排练现场,音乐正在播放,舞者们屏息等待。突然,教练的声音从背景音轨中响起:“准备——起!” 瞬间,所有人精准启动第一个八拍动作。…

作者头像 李华
网站建设 2026/6/15 11:44:16

图解说明Elasticsearch响应结果结构与解析技巧

拆解Elasticsearch响应结构:从一次搜索说起你有没有过这样的经历?明明DSL写得没问题,查询也返回了数据,但面对那一长串JSON却不知道从哪儿下手——hits里套着hits,聚合结果藏在aggregations深处,高亮内容又…

作者头像 李华