这主要是由于它们依赖于基于视觉transformer（ViT）的架构，，，，，，该架构引入了相关于输入分辨率的二次重漂后
。。。。为相识决这个问题，，，，，，BEVENet提出了一种高效的基于BEV的3D检测框架，，，，，，它使用仅卷积的架构设计来规避ViT模子的限制，，，，，，同时坚持基于BEV要领的有用性
。。。。

BEVENet的实验批注，，，，，，在NuScenes上比SOTA要领快3倍，，，，，，在NuScene验证数据集上实现了0.456的mAP和0.555的NDS，，，，，，推理速率为每秒47.6帧
。。。。首次实现了基于BEV要领的显著效率提高，，，，，，突出了其在真实天下自动驾驶应用中的增强可行性
。。。。

▍现在行业应用的情形

BEV空间中的3D检测在自动驾驶研究界获得了相当大的吸引力
。。。。作为基于激光雷达要领的替换方案，，，，，，使用周视相机天生伪激光雷达点已成为一种远景辽阔的解决方案
。。。。因此，，，，，，已经提出了许多将感知使命纳入BEV空间的要领
。。。。然而，，，，，，现有的要领通常对盘算要求很高，，，，，，并且严重依赖于大规模数据集
。。。。虽然这些条件可以在实验室情形中知足，，，，，，但它们对在真实天下中的车辆情形中实验保存相当大的障碍
。。。。

ViT？？？？
？槭切枰笞贕PU内存消耗和矩阵运算的组件，，，，，，只管ViT架构由于其捕获全局语义信息的能力而在基于BEV的要领中被普遍使用，，，，，，但需要在较多的数据集上举行训练，，，，，，并且需要比卷积神经网络（CNNs）更长的训练时间，，，，，，以便于模子明确像素之间的位置关系！只管训练本钱增添，，，，，，但与基于CNN的模子相比，，，，，，ViT在种种视觉基准上只提供了细小的刷新
。。。。

ViT模子的另一个值得注重的限制是其相关于输入维度的二次重漂后，，，，，，特殊是输入图像的分辨率
。。。。只管这些模子是强盛的，，，，，，但它们在嵌入式设惫亓安排受到盘算资源限制的阻碍
。。。。别的，，，，，，大输入分辨率肯定受到ViT模子的青睐，，，，，，然而，，，，，，自动驾驶场景中的大大都物体都相对较小，，，，，，因此它们的检测对ViT模子来说仍然是一个一连的挑战
。。。。

基于上述剖析，，，，，，建议通过研究替换要领来解决这些局限性，，，，，，例如纯基于CNN的？？？？
？
。。。。BEVENet主要目的是设计一种高效的3D检测框架，，，，，，该框架在受约束的硬件条件下接纳BEV范式
。。。。为此，，，，，，系统地剖析了3D检测pipeline中的六个基本组件：主干、视图投影、深度预计、时间融合、BEV特征编码和检测头
。。。。模子重大性和基准测试指标在剖析中都被思量在内，，，，，，由于它们是神经网络模子在现实天下中安排的基本指标
。。。。

▍网络的设计

BEVENet的目的是设计一个高效的模子，，，，，，用于在有限的硬件资源上举行安排，，，，，，同时坚持基于BEV的要领的精度
。。。。这里接纳了一种基于 reduction based的要领，，，，，，迭代地降低每个？？？？
？榈闹卮笮
。。。。详细来说，，，，，，首先通过GFlop的理论剖析和重大性剖析，，，，，，对NuScenes排行榜上的SOTA要领举行剖析
。。。。随后，，，，，，迭代地组合每个？？？？
？榈谋秆》桨，，，，，，将速率作为设计选择的基准
。。。。最后，，，，，，试图通过连系来自已建设的基线的最优模子调解战略来提高最终3D检测使命的性能
。。。。

如图2所示，，，，，，BEVENet架构包括六个？？？？
？椋壕哂蠳uImage预训练的共享backbone模子ElanNet；；具有查找表的视图投影？？？？
？長SS；；具有数据增强的全卷积深度预计？？？？
？椋；具有2秒历史信息的时间？？？？
？椋；具有残差block的BEV特征编码器；；最后，，，，，，提出了一种具有环形NMS的简化检测头
。。。。

1）Backbone部分

主干模子组成了3D检测使命的基石，，，，，，使用来自六个相机的输入来提取后续使命的基本语义特征
。。。。为了缓解ViT模子带来的重大性挑战，，，，，，使用全心挑选的四个模子举行了较量研究
。。。。为了比照ViT模子与其卷积模子之间的重大性，，，，，，从每个种别中战略性地选择了两个具有代表性的模子
。。。。其中包括naive ViT、SwinT、Resnet和ElanNet
。。。。通过这项较量研究，，，，，，目的是挖掘出性能好的模子，，，，，，同时坚持提高简朴性和性能的目的
。。。。除了较量主干之外，，，，，，还同时研究了提高模子性能的可能手艺：试图减轻由来自差别泉源的数据集的统计偏移引起的性能恶化（接纳了对NuImage的预训练）
。。。。

2） View Projection

视图投影？？？？
？椋豪醋2D域的相机图像沿着光线被提升到3D空间，，，，，，在水平偏向和笔直偏向上举行投影
。。。。参考Lift Splat Shoot和BEVDet，，，，，，特征投影？？？？
？檎雇扛鱿袼氐纳疃雀怕，，，，，，凭证几何相似性盘算地面真实深度（图3）
。。。。

3）深度展望

引入深度预计？？？？
？槔磁獬ビ墒油纪队耙鸬膁epth精度噪声
。。。。该？？？？
？橛米约旱纳疃日雇纸赝诽逶频闵疃，，，，，，通过履历确定的权重对两者举行平均
。。。。该？？？？
？樯闳〖す饫状锏愫投嗍油纪枷瘢；前者作为GT，，，，，，此后者经由增强以增强展望稳健性（图4）
。。。。图像特征、相机参数和图像增强变换矩阵的融合被输入到编码层中
。。。。深度预计？？？？
？槭褂媚诓魏屯獠卫丛銮可疃日雇
。。。。在深度预计？？？？
？橹，，，，，，接纳了与BEVDepth相同的设计，，，，，，但将扩充矩阵和外部参数与内部参数一起添加作为深度预计网络的输入，，，，，，MLP层也被卷积网络所取代
。。。。

4）Temporal Fusion 和BEV编码

时间融合？？？？
？橹荚谔岣3D检测精度，，，，，，主要由于模子可以使用潜在时间信息的能力
。。。。在被遮挡或遮挡的场景中，，，，，，它可以凭证隐藏目的已往的位置推断隐藏目的的位置
。。。。该？？？？
？樯杓萍蚱，，，，，，通过卷积编码器处理先前帧的累积特征图，，，，，，使用前两秒跨度的特征更好地诠释被遮挡物体的运动和定位
。。。。同时，，，，，，BEV编码器？？？？
？槌涞迸连伪激光雷达云和最终检测头的中心层
。。。。接纳两个残差block将希罕的激光雷达点变换为特征点的麋集矩阵
。。。。BEV空间中的每个网格都是通过具有预界说分辨率的体素化天生的
。。。。

5）检测头

▍实验比照

数据集和评估指标：BEVENet使用NuScenes基准数据集举行评估，，，，，，包括通过六个摄像头和一个激光雷达传感器拍摄的1000个驾驶场景
。。。。该数据集标注了51.2米地平面内的10个种别，，，，，，用于3D检测使命
。。。。性能评估使用了官方的NuScenes指标，，，，，，即平均平均精度（mAP）、平均平移误差（ATE）、平均标准误差（ASE）、平均方位误差（AOE）、平均速率误差（AVE）、均值属性误差（AAE）和NuScenes-Detection Scores（NDS），，，，，，以及以效率为导向的指标，，，，，，即每秒帧数（FPS）和GFlops
。。。。前者丈量NVIDIA A100 GPU上的性能，，，，，，不包括预处理和后处理时间，，，，，，此后者使用MMDetection3D工具包
。。。。

数据处理：数据处理接纳了类似于BEVDet的要领，，，，，，针对NuScenes数据集的特定需求量身定制，，，，，，该数据集的原始分辨率为1600×900
。。。。在预处理历程中，，，，，，将其重新缩放到704×256
。。。。要害帧变换包括随机翻转、缩放、裁剪、旋转和复制粘贴机制，，，，，，以解决目的漫衍中的任何倾斜问题
。。。。这些增强操作在数学上被转换为变换矩阵
。。。。类平衡分组和采样（CBGS）与复制粘贴机制相连系，，，，，，在训练历程中应用，，，，，，遵照CenterPoint的要领
。。。。在测试阶段，，，，，，只缩放图像，，，，，，但不裁剪图像以与模子的输入尺寸对齐
。。。。

消融实验：

上面的部分展示了模子的性能，，，，，，与其他SOTA模子并列
。。。。下面将先容通过重大性剖析确定最终设计中泛起的？？？？
？榈钠饰隼
。。。？？？？
Ｋ剂扛叭伪鹉？？？？
？樯柚玫牟畋鹦Ч，，，，，，提出了决议背后的基来源理
。。。。为了启动剖析，，，，，，首先为BEVENet的六个主要？？？？
？橹械拿恳桓鎏岢隽肆鯯OTA基线设置，，，，，，如图2所示
。。。。这些基线设置是ResNet50、LSS、原始BEVDepth、具有视觉tarnsformer模子的BEV编码器、设置为8秒的时间融合窗口和使用具有Scale NMS的CenterHead的检测头
。。。。这些基线设置在表III中用粗体突出显示
。。。。将把用于重大性剖析的初始BEVENet称为BEVENet基线，，，，，，以将其与最终提出的BEVENet区脱离来
。。。。对这些基线的添加标记为“+”
。。。。

六个？？？？
？榈南谑笛槠饰鋈缦拢

在剖析差别的主干模子时，，，，，，仔细检查了ViT、SwinTransformer、ResNet和ELanNet，，，，，，每个模子都有相似的参数计数，，，，，，以便举行公正的较量
。。。。从ResNet50作为基线最先，，，，，，凭证表III（a），，，，，，FPS为27.4，，，，，，mAP为39.3，，，，，，NDS为45.9，，，，，，发明ViT在17.9的FPS中体现不佳，，，，，，Swin-T与ResNet50不相上下，，，，，，ELanNet在30.2的FPS中更精彩
。。。。用NuImage预训练增强ELanNet显著提高了性能，，，，，，将FPS提高到30.3，，，，，，同时将mAP和NDS划分提高到42.0和50.1
。。。。因此，，，，，，为提高推理效率而设计的ELanNet在这项使命中凌驾了ViT、Swin Transformer和ResNet50
。。。。

视图投影？？？？
？榈墓π2D到3D转换的要害，，，，，，它在种种设置中举行了检查，，，，，，ElanNet将NuImage预训练作为主干
。。。。如表III（b）所示，，，，，，只管LSS、Transformer和MLP要领之间的FPS、mAP和NDS差别最小，，，，，，但LSS通过预先盘算的图像到点云转换矩阵，，，，，，将FPS显著提高到34.9，，，，，，验证了其对视图投影的有用性
。。。。同时，，，，，，对投影后深度优化至关主要的深度预计？？？？
？榫傩辛思觳
。。。。

图6最初反映了BEVDepth结构，，，，，，显示了其10.9%的重大重大性孝顺
。。。。因此MLP层被2层残差block取代，，，，，，的重新设计将FPS提高了近一个点，，，，，，将mAP提高了两个点（表III（c））
。。。。别的，，，，，，通过集成图像增强矩阵进一步增强了它
。。。。

在一系列时间窗口长度上对时间融合？？？？
？榫傩辛似拦，，，，，，该？？？？
？槎愿哒诘睬樾沃械挠杏猛评砗退俾试ぜ葡富凉刂饕
。。。。如表III（d）所示，，，，，，将距离从“8秒”缩短到“2秒”，，，，，，FPS适度提高0.6，，，，，，而不会对mAP或NDS得分造成显着损害
。。。。同时，，，，，，BEV编码器？？？？
？樽魑奔浜喜⑻卣骱图觳馔分涞牧，，，，，，出乎意料地将FPS增强了两帧，，，，，，只管其重大性适中，，，，，，如图6所示
。。。。从Transformer作为基线最先，，，，，，对MLP和残差块替换举行了实验
。。。。表III（e）证实晰残差block的性能，，，，，，将FPS提高到38.8
。。。。