SpaceDrive：赋予自动驾驶视觉语言模型三维空间感知能力的技术解析

如果你正在研究自动驾驶的视觉语言模型（VLM），可能会发现一个普遍的痛点：现有的模型虽然能“看懂”图像并“理解”语言指令，但它们对三维物理世界的感知往往是“扁平化”的。模型能告诉你图像里有一辆车，但它很难精确判断这辆车距离我们有多远、它的速度矢量如何、它是否正在切入我们的车道——这些对于自动驾驶决策至关重要的三维空间信息，在传统VLM的处理流程中大量丢失了。

这就是为什么CVPR 2026的论文《SpaceDrive: Empowering Autonomous Driving VLMs with Genuine 3D Spatial Awareness》一出现，就引起了广泛关注。它直指当前自动驾驶VLM研究的核心短板：缺乏真正的三维空间意识。SpaceDrive不是一个简单的模型改进，它提出了一套从数据、模型架构到训练范式的系统性解决方案，旨在让VLM不仅能“看到”物体，更能“理解”物体在三维空间中的位置、运动状态及其与自车的时空关系。

本文将深入解析SpaceDrive的核心思想。我们不会停留在论文摘要的复述上，而是会拆解它要解决的具体问题、其技术方案的创新之处，并探讨它对自动驾驶开发者意味着什么。更重要的是，我们会将其中涉及的关键技术概念（如三维空间编码、多模态对齐、时空推理）转化为开发者能理解的逻辑，并分析其在真实自动驾驶系统中的潜在应用场景与挑战。

读完本文，你将获得：

1. 对SpaceDrive技术脉络的清晰认知：理解它如何赋予VLM三维空间意识。
2. 关键技术的落地思考：了解这些技术如何与现有的感知、预测、规划模块结合。
3. 对自动驾驶VLM演进方向的判断：看清从“描述场景”到“理解物理世界”的关键跨越在哪里。

1. 为什么自动驾驶VLM需要“三维空间意识”？

在讨论SpaceDrive之前，我们必须先厘清一个根本问题：在已经有了激光雷达、毫米波雷达、高精地图和成熟感知算法的自动驾驶系统中，为什么还需要VLM？又为什么需要它具备三维空间意识？

VLM在自动驾驶中的角色演进：早期的VLM应用多集中在“场景描述”或“问答”上，例如让模型回答“前方信号灯是什么颜色？”或“行人正在做什么？”。这更像是一个高级的“副驾驶”或诊断工具。然而，业界对VLM的期望远不止于此。理想的自动驾驶VLM应该能作为一个通用的场景理解与推理引擎，能够处理开放世界的长尾问题，理解复杂意图（如“那个挥手的人是想过马路还是在打招呼？”），并进行基于物理常识的预测（如“那辆打转向灯的车很可能要变道”）。

传统VLM的“空间失明”症结：当前主流VLM（如基于ViT+LLM的架构）处理图像时，通常将其视为二维网格的patch序列。模型学习了丰富的语义和部分几何先验（如近大远小），但缺乏对精确度量空间的显式建模能力。这导致：

• 距离模糊：模型无法区分一个10米外的卡车和一个30米外的轿车在图像中可能呈现的相似大小。
• 运动状态缺失：无法从单帧或短序列中可靠推断物体的速度、加速度。
• 三维关系错乱：难以准确判断“车在路沿石左边”这种需要三维空间参考系的理解。
• 与下游模块脱节：感知模块输出的是三维包围盒、速度矢量等结构化数据，而VLM输出的是自然语言。两者之间缺乏统一的、可量化的空间信息桥梁，导致VLM的“智慧”难以直接用于控制车辆。

SpaceDrive要解决的真正问题：因此，SpaceDrive的目标不是让VLM在描述任务上取得更高的分数，而是构建一个具备内在三维空间表征能力的VLM。这个VLM的“语言”输出，应当天然地包含或关联着三维空间信息，使其能够无缝地与传统的向量化自动驾驶算法栈（感知-预测-规划）进行对话和协同工作。

2. SpaceDrive核心原理：将三维空间“注入”VLM

SpaceDrive的技术方案可以概括为：通过一种创新的三维空间感知预训练（3D Spatial-Aware Pre-training）任务，迫使VLM的视觉编码器学习生成富含三维几何信息的特征，并设计一种空间-语言对齐机制，让大语言模型（LLM）能够理解和推理这些空间特征。

我们可以将其核心思想拆解为三个关键部分：

2.1 三维空间感知的视觉编码器

这是SpaceDrive的基础。传统的视觉编码器（如ViT）学习的是图像的纹理、颜色、语义特征。SpaceDrive则希望它同时学习深度、法向量、物体三维尺度、相机位姿等几何信息。

如何实现？论文提出利用自动驾驶数据集中丰富的多传感器数据（尤其是激光雷达点云和相机标定参数）作为“教师信号”。在预训练阶段，不仅仅使用图像-文本对，而是构建图像-三维场景-文本的三元组数据。视觉编码器在训练时，除了完成常规的掩码图像建模或对比学习任务，还需要额外预测一些三维属性，例如：

• 像素级深度估计：不是简单的回归，而是与激光雷达投影的深度图进行一致性约束。
• 稀疏三维坐标预测：对图像中的关键点（如车辆角点、车道线端点）预测其在世界坐标系或自车坐标系下的三维坐标。
• 相机运动估计：从连续帧中学习相机的自我运动（Ego-motion），增强对动态场景的理解。

通过这种方式，视觉编码器提取的每一个视觉Token（或特征向量），都隐式或显式地编码了其对应的三维空间信息。

2.2 空间-语言对齐的桥梁

有了富含空间信息的视觉特征，下一个挑战是如何让只懂文本的LLM也能“理解”这些特征。这是多模态对齐的老问题，但SpaceDrive赋予了它新的内涵——对齐的不只是语义，更是空间关系。

SpaceDrive可能采用的一种策略是引入空间标记（Spatial Tokens）或空间查询（Spatial Queries）。具体来说：

1. 空间特征提取：视觉编码器输出一组视觉特征V。一个并行的、轻量级的空间编码器（或直接在视觉编码器中集成）会从V中解析出一组结构化的空间提案，例如[物体1: (x1,y1,z1, w1,h1,l1, vx1,vy1), 物体2: ...， 车道线: ...]。这些提案被转换为一种离散的或连续的空间标记S。
2. 对齐训练：在预训练时，设计特殊的文本描述，这些描述精确地包含了空间信息（例如，“左前方30米处有一辆白色轿车，正以约10公里/小时的速度向右缓慢移动”）。模型的任务是学习将空间标记S与这样的文本描述进行关联。损失函数会同时考虑语义匹配和空间参数（如距离、速度）的回归精度。
3. LLM适配：最终，输入LLM的将不再是原始的视觉特征V，而是视觉语义特征和空间标记的融合表示[V; S]。LLM通过训练，学会了如何“解读”S中的空间信息，并在生成文本时运用这些信息。

2.3 面向自动驾驶的推理与决策任务

具备了上述能力的VLM，其评测任务不再局限于“看图说话”。SpaceDrive论文中很可能定义了一系列需要三维空间推理的自动驾驶任务，例如：

• 空间关系问答：“自车距离最近的前车有多少米？”
• 意图与预测：“右侧那辆打左转向灯的车，它变道切入我们前方的可能性有多大？请给出理由。”
• 场景理解与规划建议：“当前路口为无保护左转，基于对行人、对向车流的空间位置和运动分析，给出一个安全的通过策略描述。”
• 异常检测：“指出当前场景中潜在的空间冲突风险（如鬼探头）。”

这些任务要求模型必须综合利用三维几何信息和语义上下文才能正确回答，从而验证其空间意识的真实性。

3. 环境与概念准备：理解关键组件

在深入探讨实现细节前，我们需要明确几个关键概念和假设的环境，这有助于理解后续的流程。

核心概念：

• VLM (Vision-Language Model)：视觉语言模型。通常由一个视觉编码器（如ViT）和一个语言解码器（如LLaMA、GPT系列）组成，通过多模态对齐训练，实现跨模态理解与生成。
• 三维空间意识 (3D Spatial Awareness)：指模型对场景中物体的三维位置（x, y, z）、尺寸（长、宽、高）、方向（航向角）、运动状态（速度、加速度）以及它们之间三维空间关系的理解和表征能力。
• 特征对齐 (Feature Alignment)：使来自不同模态（如图像和文本）的数据在某个共享的特征空间中具有相似的表示，从而让一个模态的模型能处理另一模态的信息。
• BEV (Bird‘s-Eye-View)：鸟瞰图。自动驾驶中常用的场景表示方式，将三维信息投影到二维俯视平面，便于进行目标检测、分割和规划。SpaceDrive的视觉编码器可能隐含地学习了一种类似于BEV的特征表示。

假设环境与数据： 要实现SpaceDrive的思想，我们需要一个包含多传感器同步数据的自动驾驶数据集。以广泛使用的nuScenes数据集为例：

• 传感器：6个摄像头、1个激光雷达、5个雷达、GPS/IMU。
• 关键数据：
  • 图像（RGB）
  • 激光雷达点云（提供精确的三维坐标）
  • 标定参数（相机内参、外参，用于图像与三维空间的映射）
  • 物体标注（3D包围盒、属性、跟踪ID）
• 工具链：Python，深度学习框架（如PyTorch），以及处理自动驾驶数据的库（如nuscenes-devkit）。

4. SpaceDrive技术方案拆解与模拟实现

由于SpaceDrive是前沿研究，我们无法获得其官方代码。但我们可以根据其核心思想，设计一个简化的、概念验证性的模拟实现流程，来帮助理解其关键技术环节。请注意，这是一个教育性质的模拟，而非原论文的复现。

我们的模拟目标：构建一个极简系统，输入一张驾驶场景图像和激光雷达投影的深度图，让VLM能回答简单的三维空间相关问题。

4.1 第一步：构建带有三维真值的数据集

我们首先需要准备训练数据。这里我们利用nuScenes数据集，构造“图像-深度图-空间描述文本”三元组。

# 文件：data_preprocess.py import json from nuscenes.nuscenes import NuScenes from nuscenes.utils.data_classes import LidarPointCloud from pyquaternion import Quaternion import numpy as np from PIL import Image # 初始化NuScenes数据集（假设已下载并设置路径） nusc = NuScenes(version='v1.0-mini', dataroot='/path/to/nuscenes', verbose=True) def generate_spatial_qa_sample(scene_token, sample_token): """ 为一个样本生成空间问答数据。 返回：{ 'image_path': ..., 'depth_map_path': ..., 'question': 'What is the distance to the nearest car in front of ego?', 'answer': 'About 15.3 meters.', 'spatial_gt': {'nearest_car_distance': 15.3} # 三维真值 } """ sample = nusc.get('sample', sample_token) cam_front_data = nusc.get('sample_data', sample['data']['CAM_FRONT']) image_path = nusc.get_sample_data_path(cam_front_data['token']) # 1. 获取激光雷达点云并投影到相机图像生成深度图（简化处理，实际使用深度补全） lidar_data = nusc.get('sample_data', sample['data']['LIDAR_TOP']) pc = LidarPointCloud.from_file(nusc.get_sample_data_path(lidar_data['token'])) # ... 此处省略具体的点云投影和深度图生成代码，这需要相机标定和坐标变换 # 假设我们生成了一个深度图文件 depth_map_path = f'./depth_maps/{sample_token}.npy' # 2. 获取三维标注，计算空间真值（例如，最近前方车辆的距离） ann_tokens = sample['anns'] ego_pose = nusc.get('ego_pose', lidar_data['ego_pose_token']) ego_translation = np.array(ego_pose['translation']) min_distance = float('inf') for ann_token in ann_tokens: ann = nusc.get('sample_annotation', ann_token) # 只关心车辆类别 if ann['category_name'].split('.')[0] != 'vehicle': continue obj_translation = np.array(ann['translation']) # 计算在自车坐标系下的相对位置（简化，忽略旋转） relative_pos = obj_translation - ego_translation distance = np.linalg.norm(relative_pos) # 简单判断“前方”（这里以x轴正方向为前） if relative_pos[0] > 0 and distance < min_distance: min_distance = distance spatial_gt = {'nearest_car_distance': min_distance if min_distance != float('inf') else None} # 3. 生成问答对 question = "What is the approximate distance to the nearest vehicle in front of the ego car?" if spatial_gt['nearest_car_distance']: answer = f"Approximately {spatial_gt['nearest_car_distance']:.1f} meters." else: answer = "No vehicle detected in front within the sensor range." return { 'image_path': image_path, 'depth_map_path': depth_map_path, 'question': question, 'answer': answer, 'spatial_gt': spatial_gt } # 遍历数据集生成样本列表 samples = [] for scene in nusc.scene: sample_token = scene['first_sample_token'] while sample_token: sample_data = generate_spatial_qa_sample(scene['token'], sample_token) if sample_data['spatial_gt']['nearest_car_distance']: samples.append(sample_data) sample = nusc.get('sample', sample_token) sample_token = sample['next'] with open('./spatial_vqa_dataset.json', 'w') as f: json.dump(samples, f, indent=2)

4.2 第二步：设计具备空间感知能力的视觉编码器

我们不会从头训练一个ViT，而是以一个预训练的视觉编码器（如CLIP的ViT）为基础，为其添加一个深度预测头，通过多任务学习让其特征包含深度信息。

# 文件：modeling/spatial_encoder.py import torch import torch.nn as nn from transformers import CLIPVisionModel class SpatialAwareVisionEncoder(nn.Module): """ 空间感知视觉编码器。 基于CLIP-ViT，添加一个轻量级深度解码器。 """ def __init__(self, vision_model_name='openai/clip-vit-base-patch32'): super().__init__() # 加载预训练的CLIP视觉编码器（冻结或微调） self.vision_encoder = CLIPVisionModel.from_pretrained(vision_model_name) hidden_size = self.vision_encoder.config.hidden_size # 深度预测头：将[CLS] token的特征映射为深度图（简化版，预测一个全局深度尺度因子） # 更复杂的实现可以上采样所有patch特征到原图分辨率 self.depth_predictor = nn.Sequential( nn.Linear(hidden_size, hidden_size // 2), nn.ReLU(), nn.Linear(hidden_size // 2, 1), # 输出一个标量，代表平均深度或深度尺度 nn.Sigmoid() # 将输出限制在0-1范围，后续根据数据集缩放 ) def forward(self, pixel_values): """ 参数: pixel_values: 图像像素值，形状为(batch_size, channels, height, width) 返回: image_features: 视觉语义特征 [batch_size, seq_len, hidden_size] depth_pred: 深度预测值 [batch_size, 1] """ vision_outputs = self.vision_encoder(pixel_values=pixel_values) # 取最后一层隐藏状态 image_features = vision_outputs.last_hidden_state # [batch, seq_len, hidden] # 使用[CLS] token的特征进行深度预测 cls_token_feature = image_features[:, 0, :] # [batch, hidden] depth_pred = self.depth_predictor(cls_token_feature) # [batch, 1] return image_features, depth_pred

4.3 第三步：构建空间-语言对齐的VLM模型

这是核心，我们将视觉特征（含深度信息）与问题文本结合，让LLM生成答案。这里我们使用一个简单的、基于Transformer的编解码器架构进行模拟。

# 文件：modeling/spatial_vlm.py import torch import torch.nn as nn from transformers import AutoTokenizer, AutoModelForSeq2SeqLM from .spatial_encoder import SpatialAwareVisionEncoder class SpatialVLM(nn.Module): """ 简化的空间VLM模型。 使用T5等Seq2Seq模型作为语言骨干，融合视觉和深度信息。 """ def __init__(self, lang_model_name='t5-small', vision_model_name='openai/clip-vit-base-patch32'): super().__init__() # 1. 空间感知视觉编码器 self.vision_encoder = SpatialAwareVisionEncoder(vision_model_name) vision_hidden_size = self.vision_encoder.vision_encoder.config.hidden_size # 2. 语言模型（T5， 具备编码解码能力） self.tokenizer = AutoTokenizer.from_pretrained(lang_model_name) self.language_model = AutoModelForSeq2SeqLM.from_pretrained(lang_model_name) lang_hidden_size = self.language_model.config.d_model # 3. 视觉特征到语言模型空间的投影层 self.visual_projection = nn.Linear(vision_hidden_size, lang_hidden_size) # 4. 深度信息注入：将深度预测值作为一个特殊的可学习标记的偏差 self.depth_embedding = nn.Linear(1, lang_hidden_size) def forward(self, images, questions, answers=None): """ 参数: images: 输入图像张量 questions: 问题文本列表 answers: 答案文本列表（训练时提供） 返回: 训练时返回loss，推理时返回生成的答案。 """ # 编码图像 visual_features, depth_pred = self.vision_encoder(images) # visual_features: [b, seq_v, h_v] b, seq_v, h_v = visual_features.shape # 投影视觉特征到语言模型空间 projected_visual = self.visual_projection(visual_features) # [b, seq_v, h_l] # 处理深度信息：将深度预测值扩展并加到视觉特征上（一种简单的融合方式） depth_embed = self.depth_embedding(depth_pred).unsqueeze(1) # [b, 1, h_l] # 将深度信息作为一个特殊的视觉标记，或者加到所有视觉标记上（这里选择加到[CLS]标记） projected_visual[:, 0, :] += depth_embed.squeeze(1) # 编码问题文本 question_inputs = self.tokenizer(questions, return_tensors='pt', padding=True, truncation=True) question_inputs = {k: v.to(images.device) for k, v in question_inputs.items()} # 将视觉特征与问题文本的嵌入拼接，作为编码器的输入 # T5的编码器输入需要是input_ids和attention_mask。我们需要自定义嵌入。 # 简化处理：这里我们假设视觉特征已经通过一个适配器转换成了与文本嵌入相同的空间。 # 在实际的SpaceDrive中，这里会有更复杂的跨模态注意力机制。 # 获取问题的文本嵌入 text_embeddings = self.language_model.shared(question_inputs['input_ids']) # [b, seq_t, h_l] # 将视觉特征与文本嵌入拼接（在序列长度维度） combined_embeddings = torch.cat([projected_visual, text_embeddings], dim=1) # [b, seq_v+seq_t, h_l] # 需要扩展attention_mask以包含视觉部分 visual_mask = torch.ones(b, seq_v, device=images.device) combined_attention_mask = torch.cat([visual_mask, question_inputs['attention_mask']], dim=1) # 通过T5编码器 encoder_outputs = self.language_model.encoder( inputs_embeds=combined_embeddings, attention_mask=combined_attention_mask, return_dict=True ) # 解码生成答案 if answers is not None: # 训练模式 labels = self.tokenizer(answers, return_tensors='pt', padding=True, truncation=True).input_ids labels = labels.to(images.device) # 将pad token的标签设置为-100，以便在损失计算中被忽略 labels[labels == self.tokenizer.pad_token_id] = -100 decoder_outputs = self.language_model( encoder_outputs=encoder_outputs, attention_mask=combined_attention_mask, labels=labels, return_dict=True ) return decoder_outputs.loss else: # 推理模式：生成答案 generated_ids = self.language_model.generate( encoder_outputs=encoder_outputs.last_hidden_state, attention_mask=combined_attention_mask, max_length=50, num_beams=4, early_stopping=True ) generated_answers = self.tokenizer.batch_decode(generated_ids, skip_special_tokens=True) return generated_answers, depth_pred

4.4 第四步：定义训练目标（损失函数）

训练损失需要同时考虑语言生成任务和空间感知任务。

# 文件：train.py (部分代码) import torch.nn as nn def compute_loss(model_output, depth_pred, ground_truth): """ 计算多任务损失。 参数: model_output: 语言模型的输出（包含loss或logits） depth_pred: 模型预测的深度值 [batch, 1] ground_truth: 包含语言答案和深度真值的字典 """ # 1. 语言生成损失（如果model_output是loss，则直接使用；否则需要计算交叉熵） if isinstance(model_output, dict) and 'loss' in model_output: lang_loss = model_output['loss'] else: # 假设model_output是logits，需要计算与labels的交叉熵 # 这里简化处理 lang_loss = model_output # 假设它已经是损失值 # 2. 深度回归损失（均方误差） depth_gt = ground_truth['depth_gt'].to(depth_pred.device) # 假设从数据加载器中获取 depth_loss_fn = nn.MSELoss() depth_loss = depth_loss_fn(depth_pred.squeeze(), depth_gt) # 3. 总损失（加权和） total_loss = lang_loss + 0.5 * depth_loss # 权重可根据实验调整 return total_loss, {'lang_loss': lang_loss.item(), 'depth_loss': depth_loss.item()}

5. 训练与推理流程

5.1 训练循环示例

# 文件：train.py (续) import torch from torch.utils.data import DataLoader from your_dataset_module import SpatialVQADataset # 需要自定义数据集类 from modeling.spatial_vlm import SpatialVLM device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = SpatialVLM().to(device) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5) # 假设已经准备好了数据集和DataLoader train_loader = DataLoader(dataset, batch_size=8, shuffle=True) model.train() for epoch in range(10): total_loss_accum = 0 for batch_idx, batch in enumerate(train_loader): images = batch['image'].to(device) questions = batch['question'] answers = batch['answer'] depth_gts = batch['depth_gt'].to(device) optimizer.zero_grad() # 前向传播 loss = model(images, questions, answers) # 这里假设forward在训练模式下返回loss # 注意：上面的SpatialVLM.forward在训练时只返回了语言损失。 # 我们需要修改forward以同时返回深度预测，并在此处计算总损失。 # 以下为修改后的逻辑示意： # generated, depth_pred = model(images, questions) # 训练时也需要深度预测 # loss = compute_loss(generated, depth_pred, {'depth_gt': depth_gts}) loss.backward() optimizer.step() total_loss_accum += loss.item() if batch_idx % 10 == 0: print(f'Epoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f}') avg_loss = total_loss_accum / len(train_loader) print(f'Epoch {epoch} finished. Average Loss: {avg_loss:.4f}')

5.2 推理与验证示例

训练完成后，我们可以用模型回答新的空间相关问题。

# 文件：inference.py from PIL import Image import torch from modeling.spatial_vlm import SpatialVLM from transformers import CLIPImageProcessor device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = SpatialVLM().to(device) model.load_state_dict(torch.load('./best_model.pth')) model.eval() # 图像处理器 image_processor = CLIPImageProcessor.from_pretrained('openai/clip-vit-base-patch32') def ask_spatial_question(image_path, question): """向模型提问一个关于图像空间关系的问题""" # 1. 预处理图像 image = Image.open(image_path).convert('RGB') image_input = image_processor(images=image, return_tensors='pt')['pixel_values'].to(device) # 2. 推理 with torch.no_grad(): generated_answers, depth_pred = model(image_input, [question], answers=None) answer = generated_answers[0] estimated_depth_scale = depth_pred.item() # 假设深度输出是尺度因子 print(f"问题: {question}") print(f"模型回答: {answer}") print(f"模型估计的深度尺度因子: {estimated_depth_scale:.3f}") return answer # 示例使用 image_path = './test_image.jpg' question = "What is the distance to the nearest vehicle in front?" answer = ask_spatial_question(image_path, question)

6. 预期结果与效果验证

运行上述训练和推理流程（在足够数据和计算资源下），我们期望模型能表现出以下能力：

1. 基础VQA能力：能正确回答图像中的基本语义问题，如“这是什么车？”
2. 空间问答能力：对于“最近的前车有多远？”这类问题，答案应包含合理的数值估计（如“大约20米”），而不是“不远”或“很近”这种模糊描述。答案的数值应与深度预测头输出的信息相关。
3. 深度一致性：模型对同一场景不同角度或不同距离物体的深度估计，应表现出相对的合理性。虽然我们的简化版只预测一个全局尺度，但完整模型应能输出像素级或物体级的相对深度。

如何验证效果？

• 定量评估：在预留的测试集上，计算空间问答的准确率。例如，将模型输出的距离估计与激光雷达真值进行比较，计算均方根误差（RMSE）。同时，也要评估常规VQA任务的准确率，确保空间任务没有损害语义理解。
• 定性分析：可视化模型的注意力图。当被问及空间问题时，模型的视觉注意力是否更多地集中在相关的、具有深度信息的区域（如道路的消失点、物体的边缘）？
• 消融实验：对比“有深度监督训练”和“无深度监督训练”的模型在空间问答任务上的表现，验证显式三维监督的有效性。

7. 常见问题与挑战

在实际实现SpaceDrive思想或类似项目时，你会遇到一系列挑战：

8. 工程实践与进阶方向

基于SpaceDrive的思路，在实际自动驾驶研发中，可以沿着以下几个方向深入：

1. 从“描述”到“决策”的桥梁：未来的自动驾驶VLM不应只是一个问答系统。它的输出应能转化为对下游规划模块的约束或代价。例如，VLM输出“右侧自行车有左转意图”，这个信息可以被编码为规划代价地图中的一个高风险区域。
2. 多模态融合的深化：SpaceDrive主要关注视觉与三维。真正的系统需要融合激光雷达点云、毫米波雷达、高精地图等多模态信息。研究如何让VLM统一理解这些异构传感器数据，是一个关键挑战。
3. 具身交互与仿真：在安全的仿真环境（如Carla, AirSim）中训练和评估VLM。让VLM不仅被动观察，还能主动提出询问（“我看不清那个障碍物，可以稍微向左变道以获取更好视角吗？”）或执行简单的探索动作，实现具身交互学习。
4. 可解释性与安全性：VLM的“黑盒”特性在安全至上的自动驾驶中是不可接受的。需要开发技术来解释VLM的推理过程，例如，可视化是哪些视觉特征和空间线索导致了特定的判断。同时，必须对VLM进行严格的对抗性测试和鲁棒性验证，防止被精心设计的干扰所欺骗。
5. 轻量化与部署：将数十亿参数的大模型部署到车端计算平台是巨大的挑战。研究方向包括：知识蒸馏（将大VLM的能力迁移到小模型）、模型剪枝与量化、特定任务的特化（只保留与驾驶相关的核心能力）。

SpaceDrive为代表的研究，标志着自动驾驶VLM正从“感知世界的旁观者”向“理解物理世界的参与者”演进。对于开发者而言，关注这一领域不仅意味着掌握一项新的模型技术，更是理解如何将神经网络的符号推理能力与传统的、确定性的自动驾驶算法栈相结合，以构建更智能、更适应开放世界的下一代自动驾驶系统。