传感器融合是合并来自多个传感器的数据的过程，以减少智能驾驶汽车在运动中可能涉及的不确定性。传感器融合有助于建立一个更准确的世界模型，以使智能驾驶汽车的导航和行为更加成功。传感器融合的概念试图复制中枢神经系统同时处理来自多个传感器的感觉输入的能力。对于智能驾驶汽车来说，一个或者一种传感器的反馈通常是不够的，特别是对于控制算法的实施。传感器融合可以通过利用多个传感器的反馈来弥补信息的不足。车辆也可以使用传感器融合来融合来自同一类型的多个传感器的信息－－例如，雷达。这通过利用部分重叠的视场来提高感知能力。由于多个雷达观察车辆周围的环境，不止一个传感器会同时探测到物体。
通过全球360°感知软件进行解读，来自这些多个传感器的探测结果可以被重叠或融合，提高对车辆周围物体的探测概率和可靠性，并产生一个更准确和可靠的环境表示。与单个传感器相关的计算特定类型信息的缺陷可以通过结合多个传感器的数据来补偿。传感器融合的效果是，所产生的信息应该比单独使用传感器时的不确定性要小。传感器融合也可以帮助补偿传感器的噪音、有限的准确性、故障或缺乏关于环境的某一方面的信息。此外，当选择的理想传感器的成本过高时，可以使用传感器融合。传感器融合可以直接利用来自传感器或历史传感器数据的信息，也可以使用来自关于系统输入的先验知识的间接信息。
传感器融合算法处理所有的输入，并产生具有高度准确性和可靠性的输出，即使在个别测量不可靠的情况下。传感器融合算法的目标是对物体的运动状态产生一个概率上合理的估计。为了计算这个状态，工程师使用两个方程和两个模型：一个是采用运动模型的预测方程，另一个是使用测量模型的更新方程。运动模型处理一个物体－－比如一辆汽车－－在不同时间段的动态变化。汽车的当前状态是从一系列的值中提取的，这些值取决于它在最后一个时间步长中的状态。测量模型关注的是汽车的传感器的动态。取决于汽车当前状态的一系列数值定义了当前的测量，比如说，雷达。为了在传感器融合的背景下理解这些模型，需要两个方程：一个是预测汽车的状态，一个是持续更新该预测值。预测方程使用先前的状态预测（从上一轮预测－更新方程计算出的可能的状态值范围）以及运动模型来预测当前状态。然后（通过更新方程）将感觉输入与测量模型结合起来，更新这一预测。最终得到一个新的可能的状态值范围，它变成了新的预测方程的输入－－再次计算下一个测量来更新预测。
这个过程能够使用感官输入来预测汽车在哪里，以及它在下一个时间增量中会在哪里。反过来，何时以及以多快的速度停车以避免碰撞会被告知。
也许中心极限定理（CLT）的一个更方便的名字是大数法则。它指出，随着所测量的样本量的增加，这些样本的平均值将趋向于正态分布（钟形曲线）。一个常见的例子是掷骰子－－测量的次数越多，平均值就越接近3．5，或 ＂真实 ＂的平均值。假设有两个传感器，一个超声波传感器和一个红外线传感器。对它们的读数取的样本越多，样本平均值的分布就越接近于钟形曲线，从而接近这组的真实平均值。越接近准确的平均值，传感器融合算法中的噪音因素就越少。
卡尔曼滤波器是一种算法，它从多个来源获取数据输入并估计未知值，尽管信号噪声可能很高。通常用于导航和控制技术，卡尔曼过滤器的优点是能够比使用单一测量方法的单独预测更准确地预测未知值。因此卡尔曼滤波算法是传感器融合最广泛的应用，并为理解这一概念本身提供了基础，所以传感器融合通常是卡尔曼滤波的同义词。卡尔曼滤波最常见的用途之一是在导航和定位技术中。因为卡尔曼滤波是递归的，只需要知道汽车最后已知的位置和速度，就能够预测其当前和未来的状态。
处理概率问题的贝叶斯法则是前面描述的更新方程的基础，它结合了运动和测量模型。贝叶斯网络也是基于贝叶斯规则，预测几个假设中的任何一个是给定事件的促成因素的可能性。 K2， hill climbing， iterative hill climbing，和simulated annealing 是一些著名的贝叶斯算法。
基于卷积神经网络的方法可以同时处理许多通道的传感器数据。从这些数据的融合中，它们产生基于图像识别的分类结果。例如，一个使用感官数据来区分人脸或交通标志的机器人就依赖于基于卷积神经网络的算法。更多的数据带来了更好的决策。通过采用允许大量传感器的车辆架构，然后通过传感器融合来合成数据，车辆可以变得更聪明、更快速。
