2
传感器系统验证
传感器系统验证的目的是证明摄像机模型能够在虚拟环境中提供准确的结果,测试系统将在虚拟环境中运行。预定义的KPI可用于确定虚拟传感器系统的性能。对于车道模型,车道标记和路面之间的对比度用于显示传感器系统在物理和虚拟环境中的性能。
作为一个例子,这里展示了一个将传感器性能划分为几个等效分类的简单框架。该方法依赖于有效划分对传感器性能指标(在这种情况下,车道标线和路面之间的亮度对比度)有重大影响的条件的等效分类。可以将性能实现与特定环境或场景特定条件相结合以形成一个需求类型。
可以考虑通用需求模式,如下所示:
如果{条件存在},则{KPI}应{大于}{KPI阈值}。
根据需要,可在不同条件下重复需求类型,以便:
1)完全覆盖所有外部条件,包括极端情况,
2)定义性能需求可能随条件变化的边界值,例如,如果下雪,放宽车道边界的假阳性检测率(false-positive detection rate)。如果该需求类型在所有可能的条件下都得到了很好的定义、独立验证,并且开发人员承诺满足需求,那么传感器性能中的“功能不足”问题很可能会减少或完全消除。
条件分类的划分方法遵循以下简单结构,例如:
(a) 第1类:标称条件-这些是理想的、最佳情况下的条件。
(b) 第2类:平均条件-与第1类条件相比,这些是可能需要大量开发工作的预期现实条件,例如内部四分位间距范围(inner quartile range)。
(c) 第3类:最差可接受条件-这些是保证一定性能水平的最差条件,例如95%范围。这些可能需要在所需的最低性能级别和剩余的开发工作之间进行权衡。除此等级外,无任何性能要求。(注意,这可以根据需要进行定制)
最后,可能需要根据相互之间的依赖性或独立性,将条件本身划分为参数,形成一个最小的参数集,该参数集充分捕捉环境和情景特定条件。对于迄今为止考虑的各种传感模式,包括:摄像机(可见光)、雷达、激光雷达、超声波和红外摄像机,以下通用传感器模型在分析所有传感模式的所有环境条件时具有可重复性和实用性。它被分解为三个不同的参数:前景、目标和背景。
在基于摄像头的系统进行车道检测的示例中,本例中的“目标”是车道本身。可能需要开发许多属性以完全捕获目标的所有期望属性,例如颜色、位置、曲率、线段类型、锐度(或模糊度)等。在这种情况下,感兴趣的属性是车道相对于路面的对比度。路面将是传感模型中的“背景”。“前景”可以是传感器和目标之间的任何东西,如雾、雨或晴空以及碎片、物体、积雪等。
在下图中,来自传感器级增强现实演示的示例图像用于显示前景(在本例中为雪)如何改变车道(目标)相对于道路(背景)的对比度值。这突出了条件分类的有用性,因为它可以在环境条件的无限变化和组合与开发人员必须承诺交付的有限性能需求集之间提供一致的接口。
整体性能能力的内部或外部分类可能(或不一定)是有用的。对于车道模型,在此阶段应考虑每个参数及其相关变量范围(目标、前景和背景)。首先,应使用已知的KPI(如非常确定的静态场景)对传感器系统进行证明。这将允许根据可测量的KPI对系统进行验证。之后,它可以扩展到不同的天气条件等。然后可以建立一个考虑输入参数变化的测试矩阵。真实结果和仿真结果的巨大变化为工具可能存在局限性提供了证据。在评估期间应注意任何传感器性能限制,以限制可以生成哪些数据来支持ADS评估。
由于无法控制的环境条件而遇到性能限制,设计师可以将其降低到最低性能水平,如上所述,或者他们可以战略性地改变“目标”,以便检测环境条件。考虑到上面的降雪示例,在小雪条件下,“目标”可能是车道本身。但是,在大雪条件下,“目标”可能是大雪本身,也就是说,车道检测摄像头必须检测到大雪。
由设计人员确定什么对整个系统目标和给定的技术能力有用,但传感器系统验证方法的目的是展示设计人员和测试人员如何在其开发合同中充分满足规定性能和安全要求,并出示履行合同的证据。与开发后期才发现它们无法达到预期性能相比,这种做法可以降低风险。即使发生这种情况,最简单的解决方案可能只是重新协商性能级别,并将其传达给所有利益相关者。最大的风险来源可能是最开始未能定义需求,并计划对传感器性能采取“观望(wait and see)”的方法。