“AI异构计算工程师”这个岗位，放在今天已经是各大厂的标配编制了，但在2019年百度校招里单独拿一批题来笔试，确实有很强的风向标意味。当年很多同学都是带着“调参侠”的心态去投递，真坐到考场里才发现，题目跟你平时用TensorFlow训模型完全是两码事。我这篇就是基于当时第二批笔试题的知识点复盘，把出题逻辑、核心考点、备考路线和答题坑一次讲清楚。不管你是准备AI异构计算岗位的候选人，还是做AI基础设施方向的开发，这份内容都能帮你把“异构计算”这条线完整串起来。
从知识密度来看，这套题覆盖了计算机体系结构、并行计算、CUDA编程模型、性能优化和分布式训练通信等多个层面，而且不是简单的概念问答，更像是“给你一个实际问题，看你能不能从系统层面分析”。我见过不少人反馈说题目难、偏底层、平时根本不接触，其实问题不在于题目本身，而在于大家的学习路径太偏应用层了。下面我按自己复盘的思路，把整套东西拆开来聊。
1. 这套笔试题在考什么：出题逻辑与选人标准
去解析一套笔试题之前，先想清楚一个关键问题：为什么百度要在2019年单独为异构计算工程师设笔试批次？这不是随便拍脑袋的决定，而是当时技术趋势和业务需求共同作用的结果。
1.1 异构计算为什么会被单独立项
2019年这个时间点很有意思。深度学习模型已经大规模进入工业界，搜索、推荐、语音、图像这些核心业务都在跑神经网络推理和训练。但CPU的性能增长在放缓，单靠通用处理器已经喂不饱AI计算这张“大嘴”。于是GPU、FPGA、以及各种专用AI芯片开始批量进入数据中心，服务器从原来的“CPU单打独斗”变成了“CPU+GPU/NPU协同干活”，也就是所谓的异构计算。
百度在AI上的布局比大多数公司都要早，自研AI芯片也在推进，对整个栈的理解要求非常高。异构计算工程师要干的事情，就是让计算任务在CPU和加速卡之间合理分配，把每一步的算子、访存、通信、调度都优化到极致。这就决定了笔试题不可能只考深度学习框架API，而是要深入到硬件特性和系统性能的层面。
所以这套题对我来说更像一个信号：大厂开始在意“懂硬件底层的AI工程师”了，而不是只会调框架的“调包侠”。这个趋势后面几年越来越明显，现在几乎每一家做AI基础设施的团队，面试时都会问CUDA、访存优化、算子融合这些内容。
1.2 第二批题筛选的是什么样的人
从题目的整体构成来复盘，我认为出题人最看重的候选人画像有这么几个特征。
第一，有硬件直觉。题目不会直接告诉你“某段代码为什么慢”，而是给你一个kernel、一个循环结构或者一张配置表，让你自己判断瓶颈在计算还是在访存。这需要你对GPU的存储层次和线程调度机制有真实的体感，而不是背住“共享内存比全局内存快”这种结论就完事。
第二，能算清楚账。异构计算里凡是要做选择，都必须建立在量化分析之上：数据从内存搬进显存要多久，kernel计算要多久，两者能不能重叠，多少线程能把SM喂饱。题目里的很多小问，最后都指向一个问题——你有没有估算的意识和能力。
第三，有系统视角。一个AI任务从数据集到最终结果，中间要经过数据加载、预处理、模型计算、梯度同步、参数更新这么多环节。异构计算工程师眼里不能只盯着GPU那一小块，而是要能把整个数据流看成一个系统，找出真正的瓶颈在哪。
说白了，这套题不是在考“你知道什么”，而是在考“你能不能上手解决问题”。这也解释了为什么很多靠背面经的人会翻车——因为题目的场景经常是新的，靠背是背不出来的。
2. 核心考点拆解：AI异构计算知识版图
接下来说干货。我把这套题涉及的知识点分成三大块：CPU-GPU协同与存储体系、CUDA编程模型与访存优化、分布式训练与通信开销。这三块是异构计算工程师最核心的知识底盘，按照这套路去梳理，基本能覆盖大部分笔试和面试题。
2.1 CPU-GPU协同架构与存储层次
这一块是我认为整套题的地基。很多同学一上来就学CUDA编程，结果搞不清楚为什么同一个计算在CPU上跑和在GPU上跑差别这么大，其实根源在于没理解两种处理器的设计哲学。
CPU的设计目标是低延迟，所以有强大的控制单元、大容量cache、复杂的分支预测，适合跑逻辑密集型和串行任务。GPU的设计目标是高吞吐，所以用大量简单的计算单元堆出恐怖的并行度，适合跑数据密集型和并行任务。异构计算最关键的第一步，就是判断一个任务应该放在哪里跑。
笔试里经常出现的场景是：给你一个数据处理流程，让你分析哪部分放CPU、哪部分放GPU、为什么。我的回答框架是这样的：
- 计算密集、逻辑简单、数据局部性好的部分（比如矩阵乘、卷积、归一化）放GPU
- 逻辑分支多、依赖关系强、数据量小或者串行度高的部分（比如数据预处理中的判断、动态shape处理）留在CPU
- 频繁在CPU和GPU之间交换数据的操作要尽量避免，因为PCIe传输的开销有时候比计算本身还大
这个判断标准很重要，但它只是第一层。更深一层是理解GPU内部的存储层次：全局内存、共享内存、寄存器、常量内存、纹理内存。它们各自的容量、延迟、带宽完全不同，代码性能往往就取决于你选哪一层来做主力存储。
我还记得有一道题问的是“为什么GPU虽然显存带宽高，但系统整体性能依然上不去”。答案的核心就在存储层次和传输瓶颈上：全局内存带宽再高，如果你访问模式不连续，实际有效带宽会掉得非常厉害；即便计算单元很快，只要数据搬运跟不上，照样是白等。
2.2 CUDA编程模型与访存优化
第二块是CUDA编程模型，这块在试卷里占比最大，也是拿分的关键。核心概念就那几个：grid、block、thread的层次关系，warp的调度机制，共享内存和同步原语，以及各种访存优化的手段。
先说线程模型。一个GPU kernel启动后，会以grid为单位运行，每个grid里有若干个block，每个block里有若干个thread。这个三层结构不是凭空设计的，它对应着GPU硬件的调度层级：block会被调度到流多处理器（SM）上，线程则进一步以warp（通常32个线程）为单位被执行。
笔试里常见的问法包括：
- 一个block里线程数设置多少合适？常规做法是设成32的倍数，同时考虑每个线程需要的寄存器数和共享内存量，要让SM的占用率尽量高
- 当block数量远大于SM数量时，GPU如何调度？设备端有一个硬件调度器，block按顺序分发给空闲的SM，后到的block要等前面的block执行完
- 什么是warp divergence？如果一个warp里的线程走不同分支，会导致串行执行，性能严重下降
访存优化这块我吃了不少亏，所以特别想强调。GPU的全局内存访问有一个硬性规则：同一warp里的线程最好访问连续的地址，这叫合并访问。如果访问不连续，硬件会把一次内存事务拆成好几次，有效带宽直接腰斩。
共享内存是GPU内部的一块高速可读写存储，它最大的价值是可以作为“用户管理的cache”。典型的用法是：数据先从全局内存搬到共享内存，完成必要的对齐和重排，然后再从共享内存高速读取参与计算。但共享内存也不是没有代价，它被分成了一个个bank，如果多个线程同时访问同一个bank的不同地址，就会发生bank conflict，多个访问被串行化，性能骤降。
我记得有一道典型的题是：给出一段矩阵转置的核函数，问访存模式有什么问题，怎么优化。这种题考察的就是你能不能看出“转置操作天然会破坏合并访问”，以及会不会用共享内存做分块转置来变通。
2.3 分布式训练与通信开销
2019年的笔试题里已经出现了分布式训练相关的内容。单卡训练模型放不下或者数据量太大跑太慢，就需要把计算分布到多张卡上。而多卡训练的核心难题不是计算，而是通信。
这个方向的知识框架可以这样拆：
- 数据并行：每张卡持有完整模型副本，处理不同batch的数据，定期同步梯度
- 模型并行：模型太大放不下一张卡，按层或按算子切分到多张卡上
- 集合通信原语：All-Reduce、All-Gather、Broadcast等，SyncBN也依赖这些
笔试的常见考法是让你分析数据并行训练中，通信开销在什么情况下会超过计算收益。这道题实际上是算账题：模型参数大小、梯度大小、每次迭代的计算时间、通信带宽、同步方式，把这些数字往公式里一代，很快就能看出在什么规模下通信会成为瓶颈。
我自己的一个经验是，面试官特别喜欢问“为什么同步训练慢”，很多人第一反应是“因为要等最慢的机器”。这当然对，但深一层的问题在于，即使所有机器速度一致，同步本身也意味着每一轮迭代必须等All-Reduce完成才能进入下一步，这个等待时间就是纯开销。所以后续才有梯度压缩、延迟同步、异步训练这些方案，每一个都是在“通信”和“精度/收敛”之间做权衡。
3. 实操备考路线：从理论到代码怎么练
这套题不是临时抱佛脚能搞定的，需要一条合理的备考路线。我自己复盘下来，最有用的方式是“分层学习加仿真训练”，一层一层把知识打牢。
3.1 三层知识体系：硬件层、编程层、系统层
我的备考路线基本是沿着三条线走的，这三条线正好对应异构计算工程师日常工作中需要的三种能力。
硬件层，要搞清楚GPU内部长什么样：SM、CUDA core、显存带宽、PCIe/NVLink这些概念，虽然不要求你能设计芯片，但你得知道它们各自的能力边界。比如为什么要用NVLink替代PCIe，因为AI训练里梯度同步的通信量太大了，PCIe的带宽喂不饱多卡互联。
编程层，CUDA是必须的。至少得自己写过几个kernel：向量加法、矩阵乘法、归约。每个程序跑完之后都要用profiler看一遍，搞清楚瓶颈到底在哪。光会写不会调优，笔试里一问你“这段程序慢在哪”就直接卡壳。
系统层，要能把单个kernel放到整个训练/推理链路里看。比如TensorFlow/PyTorch里的一个算子，底层是怎么被编译成GPU kernel的，框架的静态图和动态图对部署有什么影响，推理引擎里算子融合和显存复用是怎么做的。这层做好，才能真正回答“如何让整个模型跑得更快”这类开放题。
每一层学的过程中，我都保持在笔记里写“为什么”的习惯。比如为什么CUDA用SIMT（单指令多线程）模型而不是SIMD，为什么shared memory容量那么小还要优先用它，为什么INT8量化能带来近4倍加速。这些“为什么”才是笔试真正想挖的东西。
3.2 刷题模拟：我给自己准备的训练清单
不推荐大家去背现成的面经答案，而是建议按下面的清单给自己出题，然后手写在纸上回答。笔试不是编程考试，大部分题都需要你用文字表达思路，所以“写得出”比“看得懂”重要得多。
第一道练手题：解释一个简单的GPU矩阵乘法kernel，分析它的访存模式，说出至少两个优化方向。这种题训练的是“从源码到性能”的分析能力，也是笔试里最稳的拿分题。
第二道练手题：给出一个场景，例如模型在单卡上训练需要10秒一个step，数据并行扩展到8卡后变成了3秒，问加速比是否符合预期，瓶颈可能出现在哪。这道题训练的是带宽和计算量的估算能力。
第三道练手题：描述一个AI推理系统的数据流，从图片进入CPU内存，到预处理，再到GPU推理，最后结果回传，要求标出每一步可能的延迟优化点。这种开放题训练的是系统视角和工程判断。
每一道题我都要求自己最终能写出一份完整的小论文，有数据、有推理、有结论。这样到考场上即使遇到没见过的场景，也至少知道从哪个角度切入。
3.3 工具链与调优测试：实战是最好的老师
只看书不做实验，知识永远隔着一层。备考期间建议至少跑通一轮“写一个kernel，用profiler找瓶颈，优化它”的闭环。
常用的工具链包括：nvidia-smi看GPU状态和显存占用，nvprof/Nsight Systems看kernel耗时和CPU/GPU重叠情况，Nsight Compute看kernel内部的访存、计算、占用率等指标。跑一个简单的矩阵乘法，观察它和理论峰值差多少，用共享内存、合并访问、循环展开等手段逐步优化，观察每一步的收益。
我在自己跑实验的时候有一个特别深的体会：纸上算的理论并行度跟实际性能差得远，瓶颈经常出现在你想不到的地方。比如有一个kernel，我觉得计算量很大，结果profiler告诉我它99%的时间都在等显存，因为访存模式不对。这种“想象与现实的落差”如果在备考阶段没有经历过，笔试中遇到性能分析题就很容易想当然。
4. 答题避坑与实战策略
知识底子打好之后，还要解决临场发挥的问题。AI异构计算工程师的笔试跟普通算法题不一样，很多题目是开放式的，没有唯一的标准答案，但阅卷人能从你的回答里看出你是“真懂”还是“装懂”。我整理了几个非常典型的丢分点和应对策略。
4.1 容易丢分的几种思维误区
第一个坑，只背概念不背量级。例如问“全局内存延迟大概多少”，答不上来不代表你是菜鸟，但如果你完全没概念，就说明你的知识没有跟硬件产生关联。建议把几个关键数字记牢：全局内存延迟约几百个时钟周期，共享内存延迟约二三十个时钟周期，PCIe 3.0 x16带宽约16GB/s，NVLink的实际有效带宽约几十GB/s。这些数字一旦记住，很多题可以直接用。
第二个坑，把“优化”和“花哨技术”划等号。答题时一上来就堆共享内存、异步拷贝，但没先说清楚瓶颈在哪。正确的回答路径永远是：先定位瓶颈（是计算密集还是访存密集），再针对瓶颈选手段。如果题目本身没有指明性能瓶颈，就先做一个简单的估算，用估算结果引导后续分析，而不是直接跳到优化方案。
第三个坑，忽略系统代价。有一类题目会问“你觉得这个方案好不好”，很多人的回答是“好，因为GPU计算快”。但真实系统里，把数据搬上GPU就要几十微秒到几毫秒的传输开销，如果计算量不够大，总体延迟反而更差。答题时一定要提到“数据搬运开销”与“计算收益”的对比，这会让阅卷人觉得你有全局观。
第四个坑，逻辑断层。笔试答题时经常有人把“启动CUDA kernel”类比成“调用一个函数”，从API层面理解，但解释不了为什么异步启动能隐藏延迟。我建议回答任何一个涉及性能的问题时，都遵循“现象 -> 原因 -> 解决方案 -> 预期收益”的四步结构。这既能保证思路清晰，也给阅卷人一个明确的评分线索。
4.2 现场答题的顺序安排与表达技巧
笔试时间通常是有限且偏紧的，我的策略是先花三到五分钟浏览全卷，按“我会的”和“能猜一部分的”分两类。优先答那些你能完整给出分析链条的题，哪怕它分数不高；开放题留到最后，因为开放题容易展开，但也很容易写跑偏。
有一个技巧对异构计算方向的布局题特别适用：用图表达数据流。文字写不清的时候，画一个简单的数据流图，标出每个步骤的时间量级，再用文字解释瓶颈，效果会好很多。阅卷人一天看很多卷子，一张清晰的图比几段绕来绕去的文字更抓人。
还有就是单位换算。计算题一定要把单位写清楚，MB和GB、ms和us这些写错会直接导致数量级错误，一分都拿不到。我在考场上吃过这个亏，后来无论是模拟题还是正式面试，我都习惯在草稿纸上先写“已知量 + 公式 + 代入 + 结果”四行，宁可排版丑一点，也不省步骤。
注意：AI异构计算的笔试不追求“看起来高级”，而追求“分析链条完整”。一个朴素但正确的估算，好过一个花哨但没有依据的方案。
4.3 关于这道题的延伸思考：它和今天面试题的对比
复盘2019年这套题的时候，我发现它的很多思路拿到今天依然适用，只是题型更卷了。当年的题目可能还停留在“解释CUDA模型”“分析访存瓶颈”，现在的面试已经会问“训练一个70B模型，显存放不下怎么办”“推理时KV Cache怎么管理”这种更系统、更工程化的问题。
但底层的考察逻辑一模一样：你有没有硬件直觉、能不能算清账、能不能从系统视角看问题。所以如果你要准备现在的AI基础设施岗位面试，我建议不要只搜新题，反而要回头看看类似这套2019年的笔试题，把里面的基础原理吃透。基础不牢的话，刷再多新题也容易在追问环节翻车。
我个人准备这套题时最大的收获，并不是多会写几个kernel，而是学会了一种分析问题的方式：用一个全局的、量化的视角去看计算系统。你拿到任何性能问题，第一反应不再是“换一个优化技巧”，而是“先定位瓶颈，再确定性地下手”。
如果这篇复盘对你有帮助，我后面还可以再写一版关于GPU kernel调优的实操记录，把更多profiler实测的案例放出来。备考的同学如果有什么想细聊的考点，也欢迎留言交流。
