1. PyTorch张量基础：深度学习世界的基石
在深度学习领域，PyTorch张量就像建筑工地上的砖块，是构建一切复杂模型的基础材料。我刚开始接触PyTorch时，花了大量时间理解张量的本质，现在回头看，这段基础打牢后，后续学习各种模型架构都事半功倍。
张量(Tensor)本质上是一个多维数组，可以看作是NumPy数组的升级版，但关键区别在于它支持GPU加速和自动微分。从编程角度看，张量API是PyTorch最底层的接口，掌握它就等于拿到了打开深度学习大门的钥匙。
提示：虽然PyTorch提供了大量高级API，但真正遇到复杂问题时，往往需要回到张量操作层面解决。这也是为什么专业开发者都强调要"吃透"张量API。
2. 张量创建与初始化：从零开始的构建艺术
2.1 基础创建方法
创建张量有多种方式，每种都有其适用场景。最直接的是从Python列表转换：
import torch # 从列表创建 data = [[1, 2], [3, 4]] tensor = torch.tensor(data) print(tensor)但实际开发中，我们更常用的是以下几种专业初始化方式：
# 创建全零张量（常用于初始化） zeros_tensor = torch.zeros(2, 3) # 2行3列 # 创建全一张量 ones_tensor = torch.ones(2, 3) # 创建单位矩阵 eye_tensor = torch.eye(3) # 3x3单位矩阵 # 随机初始化（重要！） rand_tensor = torch.rand(2, 3) # 均匀分布 randn_tensor = torch.randn(2, 3) # 标准正态分布2.2 高级初始化技巧
在模型训练中，初始化方式直接影响收敛速度。Xavier初始化就是经典案例：
def xavier_init(size): in_dim, out_dim = size xavier_std = (2.0 / (in_dim + out_dim)) ** 0.5 return torch.randn(size) * xavier_std weight = xavier_init((100, 50))这种初始化考虑了输入输出维度，避免了梯度消失或爆炸问题。我在实际项目中测试过，使用合理初始化的模型收敛速度能提升30%以上。
3. 张量操作：深度学习的瑞士军刀
3.1 形状操作：改变张量的"外观"
tensor = torch.rand(4, 3, 2) # 改变形状（元素总数必须不变） reshaped = tensor.view(2, 3, 4) # 转置操作 transposed = tensor.transpose(1, 2) # 交换第1和第2维度 # 压缩/扩展维度 squeezed = tensor.squeeze() # 移除所有长度为1的维度 unsqueezed = tensor.unsqueeze(0) # 在第0维增加一个维度注意：view()和reshape()功能相似，但view要求内存连续，否则会报错。安全起见可以先用contiguous()确保连续性。
3.2 数学运算：构建计算图的核心
张量运算分为逐元素运算和矩阵运算两大类：
a = torch.tensor([1, 2, 3]) b = torch.tensor([4, 5, 6]) # 逐元素运算 add = a + b # 或 torch.add(a, b) mul = a * b exp = torch.exp(a) # 矩阵运算 mat_a = torch.randn(2, 3) mat_b = torch.randn(3, 4) matmul = torch.matmul(mat_a, mat_b) # 或使用 @ 运算符我在实现自定义层时，经常需要组合这些基础运算。比如实现一个简单的注意力机制：
def attention(query, key, value): scores = torch.matmul(query, key.transpose(-2, -1)) scores = scores / (key.size(-1) ** 0.5) attn_weights = torch.softmax(scores, dim=-1) return torch.matmul(attn_weights, value)4. 张量索引与切片：精准数据操控
PyTorch的索引语法与NumPy高度一致，但有些高级特性特别实用：
tensor = torch.rand(5, 3, 224, 224) # 假设是5张224x224的RGB图像 # 基础索引 first_image = tensor[0] # 获取第1张图像 red_channel = tensor[:, 0] # 所有图像的R通道 # 高级索引 selected = tensor[[0, 2, 4]] # 获取第1,3,5张图像 mask = tensor > 0.5 filtered = tensor[mask] # 布尔索引 # gather操作（非常有用！） indices = torch.tensor([[0, 1], [2, 0]]) gathered = torch.gather(tensor, 1, indices) # 沿维度1收集元素在数据增强环节，我经常使用这种索引技巧实现随机裁剪：
def random_crop(images, size=128): _, _, h, w = images.shape x = torch.randint(0, w - size, (1,)) y = torch.randint(0, h - size, (1,)) return images[:, :, y:y+size, x:x+size]5. 张量与自动微分：理解autograd机制
PyTorch的自动微分是其核心竞争力，而张量是这个系统的载体：
x = torch.tensor(2.0, requires_grad=True) y = x ** 2 + 3 * x + 1 y.backward() print(x.grad) # dy/dx = 2x + 3 = 7实际训练中，我们处理的是高维张量：
# 模拟一个简单的线性回归 weights = torch.randn(3, 1, requires_grad=True) data = torch.randn(100, 3) target = torch.randn(100, 1) for _ in range(100): pred = data @ weights loss = ((pred - target) ** 2).mean() loss.backward() # 手动更新权重（实际中会用optimizer） with torch.no_grad(): weights -= 0.01 * weights.grad weights.grad.zero_()重要提示：记得在更新参数时使用torch.no_grad()上下文，否则PyTorch会跟踪这些操作导致内存泄漏。这是我踩过的坑！
6. GPU加速：释放张量的真正威力
device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 将张量移动到GPU tensor = tensor.to(device) # 直接在GPU上创建张量 gpu_tensor = torch.rand(1000, 1000, device=device) # 跨设备运算会自动转换，但最好统一 cpu_tensor = torch.rand(1000, 1000) # 这会报错！ # result = gpu_tensor + cpu_tensor在大型模型训练中，我习惯使用这种模式：
def train(model, data_loader): model = model.to(device) for batch in data_loader: inputs, labels = batch inputs = inputs.to(device) labels = labels.to(device) # ...训练逻辑...7. 张量保存与加载：持久化你的工作
PyTorch提供了简单的序列化方法：
# 保存单个张量 torch.save(tensor, 'tensor.pt') # 保存字典（常见场景） state = { 'weights': model_weights, 'config': model_config } torch.save(state, 'model_state.pt') # 加载时 loaded = torch.load('tensor.pt') state = torch.load('model_state.pt', map_location='cpu') # 强制加载到CPU经验分享：跨设备加载时指定map_location可以避免意外。我有次在CPU机器上加载GPU保存的模型导致整个Jupyter内核崩溃。
8. 常见问题排查手册
8.1 形状不匹配问题
# 错误示例 a = torch.rand(3, 4) b = torch.rand(4, 5) c = a + b # 报错！ # 解决方案：广播机制或显式reshape a = a.unsqueeze(1) # 变成(3,1,4) b = b.unsqueeze(0) # 变成(1,4,5) c = a + b # 现在可以广播为(3,4,5)8.2 梯度计算异常
# 错误示例 x = torch.tensor([1.0, 2.0]) y = x * 2 y.sum().backward() # 报错！x的requires_grad=False # 正确做法 x = torch.tensor([1.0, 2.0], requires_grad=True) # 或 x = torch.tensor([1.0, 2.0]).requires_grad_()8.3 内存不足问题
当处理大型张量时：
- 使用torch.empty()预分配内存
- 及时释放不需要的张量：del tensor; torch.cuda.empty_cache()
- 使用原地操作：tensor.add_(1) 而不是 tensor = tensor + 1
9. 性能优化技巧
9.1 向量化操作
避免Python循环，尽量使用内置张量运算：
# 差 result = torch.zeros(1000) for i in range(1000): result[i] = a[i] + b[i] # 好 result = a + b9.2 使用torch.jit编译
对于固定计算流程：
@torch.jit.script def fast_function(x, y): return (x ** 2 + y ** 2).sqrt() # 首次调用会编译，后续调用更快9.3 选择合适的精度
# 默认是32位浮点 tensor = torch.rand(10) # torch.float32 # 可以降低精度节省内存 half_tensor = tensor.half() # torch.float16在图像处理中，我发现使用半精度浮点能减少近一半显存占用，而精度损失可以忽略。
10. 张量高级应用：自定义自动微分函数
PyTorch允许我们自定义自动微分规则：
class MyReLU(torch.autograd.Function): @staticmethod def forward(ctx, input): ctx.save_for_backward(input) return input.clamp(min=0) @staticmethod def backward(ctx, grad_output): input, = ctx.saved_tensors grad_input = grad_output.clone() grad_input[input < 0] = 0 return grad_input # 使用方式 x = torch.randn(5, requires_grad=True) y = MyReLU.apply(x) y.backward(torch.ones_like(y))这种技术在实现新颖的激活函数或损失函数时特别有用。我在一个研究项目中就用类似方法实现了一个自定义的稀疏约束。
