scipy2023-deeplearning深度学习入门:为什么深度学习比传统机器学习更强?小白必读
【免费下载链接】scipy2023-deeplearning项目地址: https://gitcode.com/gh_mirrors/sc/scipy2023-deeplearning
本文基于开源项目scipy2023-deeplearning讲清楚一件事:深度学习为什么比传统机器学习更强,并给出一条从环境搭建、PyTorch API 到多卡加速、大语言模型微调的完整深度学习入门路线,帮助零基础读者用最短时间建立起可落地的 PyTorch 深度学习项目。
一、为什么深度学习比传统机器学习更强?🤔
这门工作坊的第一章节(01_intro-to-deeplearning/)专门回答这个问题。核心结论可以归纳为三点:
1. 传统模型受限于"线性"表达能力
传统机器学习(如逻辑回归、SVM)往往只能拟合线性可分的边界。课程在02_pytorch-api/exercise/exercise-logreg.ipynb中用一个两分类小数据集让你亲手训练逻辑回归:数据在特征空间里呈"嵌套环"分布时,一条直线根本切不开两类样本,误差始终降不下去。
2. 深度学习的杀手锏:自动特征学习
深度神经网络通过多层非线性变换,自动把原始数据映射到更容易分离的高维空间,无需人工设计特征(手工特征工程)。层数越深、数据越多,模型能捕捉的抽象模式就越丰富——这正是图像识别、语音识别、大语言模型爆发式进步的根本原因。
3. 规模化能力:从单卡到多卡并行
课程第 4 章(04_accelerating-pytorch/)展示了 PyTorch 的现代训练范式:混合精度训练、FSDP 分布式分片、Lightning Fabric 多 GPU 训练。04_accelerating-pytorch/solution/目录下有 4 个递进式示例(从随机初始化的 ViT 到混合精度 + FSDP 的完整训练脚本)。模型和数据都能"放大",这是传统小模型无法比拟的工程优势。
二、8 章学习路线:一张完整的深度学习入门地图 🗺️
整个仓库按学习顺序组织,章节结构非常清晰:
| 章节 | 目录 | 内容 |
|---|---|---|
| 0 | 00-1_python-setup-guide/ | Python 环境安装(Miniforge + conda) |
| 1 | 00-2_python-libraries-for-workshop/ | 一键安装全部依赖库 |
| 2 | 02_pytorch-api/ | 手写逻辑回归,吃透 PyTorch 训练循环 |
| 3 | 03_multilayer-neural-nets/ | 训练多层神经网络与 CNN(CIFAR-10) |
| 4 | 04_accelerating-pytorch/ | 混合精度、多 GPU、FSDP 加速训练 |
| 5 | 05_organizing-pytorch-code/ | 组织代码:Trainer 模式与学习率调度器 |
| 6 | 06_more-tips-and-techniques/ | 更多实用技巧 |
| 7 | 07_finetuning-llms/ | 微调大语言模型(DistilBERT 情感分类) |
每个章节都按exercise(练习)/ solution(解答)双目录组织,比如02_pytorch-api/exercise/与02_pytorch-api/solution/内容一一对应,适合"先自己写、再对答案"的学习节奏。
三、快速搭建深度学习环境:3 步到位 ⚡
第 1 步:安装 Miniforge
按照00-1_python-setup-guide/的指南,下载 Miniforge 安装脚本并执行,终端会出现类似下面的安装界面,一路按回车直到提示是否运行conda init,输入yes即可:
第 2 步:创建并激活虚拟环境
用一条命令创建名为dl-workshop的 Python 3.9 虚拟环境,之后每次打开终端先激活它:
conda create -n dl-workshop python=3.9 conda activate dl-workshop第 3 步:一键安装全部依赖
进入00-2_python-libraries-for-workshop/目录,执行:
pip install -r requirements.txt所需库包括 numpy、scipy、pandas、matplotlib、scikit-learn、torch、torchvision、transformers、lightning 等(完整清单见 requirements.txt)。
装完后运行python_environment_check.py自检,全部显示[OK]就说明环境就绪:
⚠️常见坑:如果 JupyterLab 里检查出多个[FAIL]版本错误,通常是 Jupyter 连接了错误的 conda 环境。此时可以在 notebook 里启用 watermark 扩展确认当前环境:
四、动手练习:从逻辑回归到大语言模型微调 🚀
- PyTorch API 实战:
02_pytorch-api/exercise/exercise-logreg.ipynb让你亲手补全训练循环(前向传播 → 损失计算 → 反向传播 → 参数更新),这是理解所有深度学习框架的核心骨架。 - 卷积神经网络:
03_multilayer-neural-nets/提供从手写 CNN 到 torchvision 预训练 MobileNet 的完整示例(example.ipynb、simple-cnn.py)。 - 训练加速:
04_accelerating-pytorch/solution/下的02_fabric-vit.py、03_fabric-vit-mixed-precision.py、04_fabric-vit-mixed-fsdp.py三个脚本逐步演示如何用 Lightning Fabric 提速 ViT 训练。 - LLM 微调:
07_finetuning-llms/exercise/template_distilbert-finetune-last-layers.ipynb用 IMDb 影评情感数据集演示"只微调最后几层"的低成本大模型微调技巧,解答见同目录solution/solution-layerwise.ipynb。
五、如何获取本项目
建议提前下载完整仓库,离线学习更稳妥。clone 命令:
git clone https://gitcode.com/gh_mirrors/sc/scipy2023-deeplearning克隆后从00-1_python-setup-guide/开始按章节顺序推进即可。
小结:深度学习对传统机器学习的优势,本质是"自动特征学习 + 规模化训练"。本仓库提供了一条从零到 LLM 微调的完整路径:先搭好 PyTorch 环境,再用逻辑回归吃透训练循环,然后逐层深入到 CNN、多卡加速与代码工程化。跟着 8 个章节走一遍,你就能独立完成一个真正的深度学习项目 ✅
【免费下载链接】scipy2023-deeplearning项目地址: https://gitcode.com/gh_mirrors/sc/scipy2023-deeplearning
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考