欢迎光临
我们一直在努力

人机协同下辅助驾驶系统的车道保持控制 | 厚势汽车

厚势按:为兼顾驾驶员和辅助驾驶系统在车道保持控制中的优势,根据实时驾驶员操作动作和车辆道路信息对车辆横向安全性进行评价,并对车辆控制权在驾驶员和辅助驾驶系统之间做出实时决策,以实现人机协同控制。

在车道识别方面,采用了同帧图像的分区识别、相邻帧图像的车道候选区估计等方法。在车道跟踪控制时,根据车辆横向安全性高低采用不同控制策略,并基于模糊规则确定辅助驾驶控制力度以计算人机协同控制时的实际辅助驾驶控制量。

在不同车速和不同道路条件下,采用人工驾驶和人机协同控制两种方式进行车道保持实车试验。试验结果表明,所采用的方法能够有效识别道路车道线,且人机协同控制下的车道跟踪具有较好的精确性和稳定性。

本文来自 2018 年 1 月 20 日出版的《 机械工程学报 》,安徽科技学院机械工程学院李进副教授和李进,合肥工业大学汽车与交通工程学院胡金芳。

车道保持控制通过传感器获取车辆当前所处道路位置及车辆自身状态信息,对其横向位置及航向角施加控制,使得车辆稳定地行驶在道路正确位置 [1]。其关键技术主要是车道图像识别及车道跟踪控制 [2-5]。

在车道识别方面,关键在于兼顾识别的实时性和鲁棒性 [6-7]。为此,文献 [4] 先用模板匹配获取候选车道线,再采用随机样本一致算法和卡尔曼滤波计算车道线方程;文献 [8] 提出了一种鲁棒的非平坦路面车道线检测算法,在弯道和非平坦路面上具有较强的鲁棒性;文献 [9] 提出一种基于动态图像阈值的车道图像识别方法,以得到适应不同光照条件的识别阈值。

在车道跟踪方面,其方法主要分为以下两种类型:

第一种类型是驾驶员不直接参与车辆的横向控制。如金立生等 [10] 设计的神经网络控制器对车辆进行横向控制,并采用人工驾车采集数据对控制器进行训练;MARINO 等 [11] 将道路曲率及车辆状态参数不确定性作为干扰项来设计 H∞ 控制器。

第二种类型是驾驶员和辅助驾驶系统共同对车辆实施横向控制。这样一方面可以减轻驾驶员负担,避免驾驶员误操作产生的交通事故,另一方面可以利用驾驶员弥补复杂环境下辅助驾驶系统性能的不足,提高车辆行驶安全性,如文献 [12] 中设计的卡尔曼滤波器对驾驶员是否处于疲乏状态进行评价以对驾驶员和横向控制器进行控制主权决策。BLASCHKE 等 [13] 对车道保持系统中驾驶员精力分散状态进行分析,构建一种基于驾驶员状态自适应调整的车道保持系统。

为协同驾驶员(人)和辅助驾驶系统(机)对车辆的控制,通过道路图像识别对车辆横向安全性能进行在线评价,以确定辅助驾驶系统是否参与车辆横向控制。当辅助驾驶系统参与控制时,结合驾驶员操作动作和车辆横向偏差,基于模糊规则确定辅助驾驶控制力度及其实际控制量,使辅助驾驶系统输出的转向力能够及时、平稳地施加到转向盘上,从而既提高了车辆横向控制精度,又较好地维持了驾驶舒适性。

1. 车道图像识别

为保证车道识别的鲁棒性和实时性,采用如下方法:

① 在识别第一帧图像时,对整幅图像进行车道识别。

② 在识别后续各帧图像时,利用上一帧图像的已识别车道方位估计下一帧图像中的车道线候选位置,形成当前帧车道图像识别的纵向约束。同时,考虑到没有必要对整副图像进行处理,故在整个图像窗口中沿纵向确定远近两个独立的局部矩形区域,形成当前帧车道图像识别的横向约束。纵向约束与横向约束形成的二维约束区域为该帧图像的实际车道检测区(具体见第 1.3 部分),仅在该检测区内进行车道识别以提高实时性;

③ 在该检测区内,根据车道沿纵向的渐变性特征对车道进行分区识别,即利用已识别车道分区(车道段)预估临近待识别分区的车道候选位置,并仅在候选位置内进行识别;

④ 在识别各帧图像的第一个分区,通过融合多种特征信息以提高复杂环境下的鲁棒性。

通过上述方法中的 ② 和 ③,将待识别车道线(车道段)限定在合理的图像区域内,从而在总体上有效控制了数据计算量,为从根本上保证实时性提供了可能。通过方法 ④,在识别第一分区时充分考虑各种干扰和不利因素,以得到高鲁棒性的识别结果,同时为 ② 和 ③ 的实现提供可靠保障。

1.1 识别第一分区

对获取的车道图像进行纵向分区,并以距离车辆最近的分区作为第一分区。识别步骤如下:

① 采用 Sobel 算子检测车道图像水平边缘信息,得到包含车道线边缘的二值图像;

② 利用车道边缘方向特征,进行各边缘点 3 × 3 邻域内的方向特征检测;

③ 进行车道边缘点宽度和灰度特征检测 [14]。

1.2 识别后续分区和各图像帧

在识别后续各分区时,根据车道线沿纵向的连续性特征,根据已识别车道分区预估临近待识别分区内车道线的候选位置,并在该位置按前述方法完成识别。

在识别后续各图像帧时,因相邻两帧图像之间车道位置变化较小,可以根据前一帧图像中已识别车道位置对当前待识别图像帧中的车道位置进行约束,并仅在约束区域内进行识别以提高识别速度。具体见文献 [14]。

1.3 导航参数提取

图 1  目标车道及导航参数实时提取

车载摄像机获取的道路图像如图 1 所示。为提高车道跟踪精度,根据远、近两个车道检测区的识别车道 l_1、l_2,实时提取动态目标车道 l 及导航参数(方向偏差 α 和横向偏差 d,图 1 中 α 和 d 均为负值),具体见文献 [6]。

2. 车道保持的人机协同控制

为充分发挥驾驶员和辅助驾驶系统各自的优势,根据实时驾驶员操作动作和车辆道路信息对车辆横向安全性能进行评价,并对车辆控制权在驾驶员和辅助驾驶系统之间做出实时决策,以实现人机协同控制。

其基本思路是:根据车辆横向安全性能及驾驶员转向操作,由驾驶员单独或与辅助驾驶系统共同完成车辆的横向控制,以在能够保证车辆横向安全性能的前提下,尽量减少辅助驾驶系统对人工驾驶的干预。

2.1 车道保持偏差

采用车道保持偏差 E 评价车辆的横向安全性能。E 由车辆相对于车道的方向偏差和横向偏差共同决定,定义为:

式中,q 为 α 与 d 的换算系数。可见,E 值越大,说明车道保持时的偏差越大,横向安全度越低。根据 E 值大小将车道保持分成三种状态:① 当 E ≤ E1 时,为安全状态;② 当 E1 < E ≤  E2 时,为过渡状态;③ 当 E > E2 时,为危险状态。

当车辆处于安全状态时,车辆运动完全由驾驶员控制;当处于过渡状态和危险状态时,辅助驾驶系统与驾驶员共同控制。当处于危险状态时,辅助驾驶系统的首要目标是迅速控制车道保持偏差以保证车辆横向安全,其辅助控制量 f(α, d) 按照无人驾驶下自动车道保持来计算,即根据目标路径 l 的方向偏差 α 和横向偏差 d 确定,具体见文献 [6]。

2.2 过渡状态的控制策略

过渡状态时车辆横向安全性能相对危险状态来说较高,故其控制目标为兼顾驾驶员操纵性能和横向安全性能,即其实际辅助控制量为 f(α, d) 乘以辅助驾驶控制力度(取值在 0 到 1 之间)。具体为:根据当前车道保持偏差和驾驶员转向输入,估计下一时刻车辆的横向安全度。当横向安全度降低时,辅助驾驶控制力度适当加大;反之,则适当降低。

这样的好处在于:通过辅助驾驶系统能够在车道保持偏差较小时就及时介入横向控制,同时其控制力度根据驾驶员转向操作是否合理进行实时调整,因此在保证控制精度的同时尽量减小了对驾驶员转向操作的干预,较好地兼顾了驾驶员操纵舒适性。此时,辅助驾驶系统的实际控制量:

式中,C:过渡状态下的辅助驾驶系统实际控制量;p:辅助驾驶控制力度。

2.3 辅助驾驶控制力度的确定

辅助驾驶控制力度 p 根据实时的驾驶员转向操作和车道保持偏差 E 决定。驾驶员转向操作指转向盘转角变化量 Δθ;同时,按照式(1)将 E 折算成方向偏差 α。因此,基于模糊控制规则以 Δθ 和 α 为输入变量,通过模糊推理输出辅助驾驶控制力度 p 。

输入变量 Δθ 的基本论域为 [-360°,360°],单位为(°)/s,左转为正。输入变量 α 的基本论域为 [-E2,E2],单位为°,图 1 所示为负。输出变量 p 的基本论域为 [0,1]。为了推理上的方便,将区间 [0,1] 上的 p 转换为 [-4,4] 区间变化的变量 y,其转换式为

将输入变量 α、Δθ 及输出变量 α 的大小均量化为 9 个等级,即其论域均取 {-4,-3,-2,-1,0,1,2,3,4}。在整个论域范围内定义输入输出模糊变量的模糊子集:{PL,PS,Z,NS,NL},分别代表正大、正小、零、负小、负大。

模糊规则制定的依据是:在当前车道保持偏差下如果转向盘转角变化量起到降低方向偏差的作用时,辅助驾驶控制力度较小;反之则较大,具体规则见表 1。其中,Α = Δθ,B = α,U = p。

表 1  辅助驾驶控制的模糊控制规则表

确定各输入输出变量对应模糊集的取值,其中 B 的模糊集 B1~B7 按表 2 取值。

表 2  方向偏差 α 的赋值表

选择钟形隶属函数以使控制器具有更快的响应和更好的稳定性。根据表 1 所示关系归纳为一个模糊关系:

根据模糊推理规则,输出的辅助驾驶控制力度:

图 2  过渡状态下辅助驾驶控制量计算流程

然后再根据取隶属函数最大的原则进行解模糊,即可得到相应的辅助驾驶控制力度。同时,根据导航参数 α 、d 计算  f(α, d) ,并根据公式(2)得到实际控制量 C,整个流程如图 2 所示。

3. 道路试验

图 3  辅助驾驶系统试验平台

辅助驾驶系统主要由四轮电动车、车道图像识别系统和车道跟踪系统组成。基于LabVIEW PXI8196 平台完成车道图像的采集和识别,由汽车转向盘转向力—转向角检测仪完成转向盘转角、转矩采集,采用德州仪器的 DSP2812 接收 LabVIEW PXI8196 发送的导航参数,对转向盘转角、转矩、车速信号等进行处理,并对转向助力电动机进行控制;通过转向助力电动机的正反转向、转矩和转角大小控制实现车辆转向以完成车道保持辅助控制,如图 3 所示。

3.1 车道识别

图 4  完整车道图像识别结果

图 4 显示了采用前述方法识别完整车道图像的结果。由图 4 可知,采用 Sobel 算子进行边缘检测时得到了包含实际车道线及大量非车道线的边缘点;3 × 3 邻域内滤波后消除了大部分非车道线边缘点,同时车道线边缘被较完整地保留;经车道边缘点宽度和灰度特征检测后得到较好的识别结果。可见,通过上述各种车道特征的有效融合,能够得到较为理想的识别效果。

3.2 后续各帧识别结果

图 5  车道候选区域内车道识别结果

如前面所述,仅在车道候选区域内完成各图像帧的识别,结果可见图 5。由图 5 可知,仅对实际车道检测区内的车道部分进行了分区识别,且识别效果良好。同时,道路实车试验表明车道识别的实时性良好。

其原因在于:通过同一帧图像的分区识别,及相邻帧车道的候选区域预测,实际图像处理区域被大大缩小;在按第 1 部分所述方法识别各分区时,虽然经 Sobel 算子检测后的非车道线边缘点较多,但 3 × 3 邻域滤波已经去除了其中的大部分,且该滤波算法计算量相对较小;最后的车道边缘点宽度和灰度特征检测虽然计算量较大,但处理的像素点已经大大减少,因此整体上处理速度较快。

3.3 车道保持控制

在仿真控制 [6] 的基础上进行道路实车试验。试验分中低速直线行驶(车速 30 km/h)、中高速直线行驶(车速 80 km/h)、弯道行驶(车速 30 km/h)三种情况。试验车辆由同一驾驶员驾驶,每种情况均采用全人工驾驶和人机协同下的辅助驾驶两种方式进行。经道路试验测试,q = 1,E1 = 18, E2 = 40。

3.3.1 中低速直线行驶

图 6  中低速直线行驶两种驾驶方式跟踪误差

图 6 为中低速直线行驶情况下采用两种控制方式得到的车道保持横向偏差。由图 6 可知,在开始阶段和驾驶员误操作时段,采用人机协同控制方式的横向偏差较小,其原因是当车道保持偏差 E 值高于一定值时,车辆处于过渡状态或危险状态,采用人机协同控制的辅助驾驶系统参与横向控制,将车辆控制在安全状态内。而在其它时间段,因为车辆横向偏差较小,车辆已处于安全状态内,故辅助驾驶系统不起作用,两种控制方式的跟踪效果基本没有区别。

在车辆大约行驶 25 s,因驾驶员误操作采用人工驾驶方式的横向偏差短时间内快速增加;之后人工驾驶操作恢复正常,横向偏差才开始被纠正。而采用人机协同控制方式时,在横向偏差稍有增大时就很快得到控制,表明辅助驾驶系统能够准确判定车道保持偏差大小和车辆状态,并迅速进行辅助控制。

3.3.2 中高速直线行驶

图 7 中高速直线行驶两种驾驶方式跟踪误差

图 7 为中高速直线行驶情况下采用两种控制方式得到的车道保持横向偏差。因为车辆行驶路段与中低速情况下完全相同,故偏差曲线变化情况基本一致,不同点在于:① 因车速不同,所以完成该路段的行驶时间不同;② 因车速较快,整体上看两种控制方式的横向偏差较车速低时略有增加;③ 在驾驶员误操作时,采用人机协同控制的横向偏差较人工驾驶时明显减小,其优势更为明显。

3.3.3 弯道行驶

图 8  中低速弯道行驶两种驾驶方式跟踪误差

图 8 为中低速弯道行驶情况下横向偏差情况。由图可知,稳定行驶时横向偏差在 10 cm 左右,跟踪精度较高,能够满足实用性要求;且驾驶员误操作时辅助驾驶系统响应迅速,控制精度较人工驾驶有较大改善。

3.3.4 中低速直线行驶时辅助转角控制

中低速直线行驶时,在开始阶段和驾驶员误操作时,采用人机协同控制方式的辅助驾驶系统介入车辆横向控制,其辅助控制转角(转向盘转角,单位为度)曲线如图 9 和图 10 所示。

图 9  中低速直线行驶开始阶段辅助控制转角量

图 9 中,当车道保持控制开始时,因初始横向偏差较大,辅助控制系统判定车辆处于过渡或危险状态,经计算确定辅助控制转角并进行辅助控制;随着车辆行驶横向偏差减小,辅助驾驶控制力度 p 逐渐减小,故辅助控制转角随之下降;当车辆处于安全状态后,辅助控制量降为零,此时车辆完全由驾驶员控制。

图 10  中低速直线行驶驾驶员误操作时辅助控制转角量

在图 10 中,当驾驶员误操作时车辆横向偏差快速增大。当判定车辆处于过渡状态后,辅助驾驶系统即开始介入车辆控制,辅助控制转角出现并快速增加;经过一段时间,因驾驶员误操作导致的车道保持偏差开始得到控制,故辅助控制转角达到最大值并开始下降;随着横向偏差的减小,车辆重新处于安全状态,辅助控制量变为零,车辆处于人工驾驶状态。

综上,在驾驶员正常操作车辆时,两种控制方式的控制效果没有明显区别;只是在行车初始阶段,采用人机协同控制的系统因短时间介入车辆控制,故其比人工驾驶稍快进入车道稳定跟踪状态。而当驾驶员出现误操作动作时,人机协同控制的效果明显更好,且车速越高其优势越明显。

总的来看,采用人机协同后,车道稳定跟踪时最大横向偏差控制在 10~12 cm,能够满足实用性要求,且稳定跟踪时辅助驾驶系统没有参与车辆控制,车辆完全由驾驶员控制,符合前文所述“在保证控制精度的同时尽量减小了对驾驶员转向操作的干预”的预期目标。而当横向偏差较大时,辅助驾驶系统能够准确判断车辆行驶状态并及时参与车辆控制,跟踪效果比全人工驾驶有明显提高。同时,从驾驶员操纵转向盘的主观感觉上看,辅助驾驶系统施加在转向盘上的转向力变化平稳,能在驾驶员误操作时对其起到警示作用,同时又未对驾驶员造成明显不适。

(1) 本文在车道图像识别时通过分步骤融合图像信息,依次检测车道图像边缘信息、方向信息、车道边缘点宽度和灰度信息,较好地实现了车道图像的实时、准确识别。

(2) 在车道保持控制方面,为兼具人工驾驶和辅助驾驶的优势,设计了一套人机协同下的车道保持控制方法,根据车辆横向安全性能和驾驶员操作确定不同人机控制策略及辅助控制系统控制量,从而在保证车辆横向行驶安全的同时尽可能降低对驾驶员驾驶行为的干扰。

(3) 实车试验过程和结果表明:人机协同控制下的系统在人工驾驶出现误操作时能够及时进行干预,且总体上控制平稳、精度较高。

参考文献

[1] 孟文俊,刘忠强. 视觉导引 AGV 的路径跟踪控制研究[J]. 控制工程,2014,21(3):321-325

[2] 李进,刘洋洋. 兼顾可靠性和实时性的智能车辆车道保持[J]. 控制工程,2016,23(3):383-388

[3] KIM Z W. Robust lane detection and tracking in challenging scenarios[J]. IEEE Transactions on Intelligent Transportation System,2008,9(1):16-26

[4] CHOI H C,PARK J M,CHOI W S,et al. Vision-based fusion of robust lane tracking and forward vehicle detection in a real driving environment[J]. International Journal of Automotive Technology,2012,13(4):653-669

[5] 王家恩,陈无畏,汪明磊,等. 车辆辅助驾驶系统中的三 车 道 检 测 算 法 [J]. 汽 车 工 程 , 2014 , 36(11) :1378-1385

[6] 李进,陈无畏. 基于自适应导航参数的智能车辆视觉导航[J]. 农业机械学报,2012,43(6):19-25

[7] 陈无畏,李进,王檀彬,等. 视觉导航智能车辆的路径跟踪预瞄控制[J]. 机械工程学报,2008,44(10):277-282

[8] 高志峰,汪渤,周志强,等. 一种鲁棒的非平坦路面车道线检测算法[J]. 北京理工大学学报,2013,33(1):73-78

[9] 李进,陈杰平,徐朝胜,等. 基于动态图像阈值的智能车辆路径导航[J]. 农业机械学报,2013,44(4):39-44

[10] 金立生,方文平,候海晶,等. 基于 BP 神经网络的车道保持控制系统[J]. 吉林大学学报,2010,40(3):650-654

[11] MARINO R,SCALZI S,ORLANDO G,et al. A nested PID steering control for lane keeping in vision based autonomous vehicles[C]// American Control Conference,June 10-12,2009,St. Louis,MO,USA:IEEE,2009:2885-2890

[12] CHEN Liangkuang, YANG Chuanhui. Control authority determination of a vehicle lane keeping assist controller[C]// Intelligent Vehicles Symposium,June 3-5,2009,Xi’an:IEEE,2009:1383-1388

[13] BLASCHKE C, BREYER F, Färber B, et al. Driver distraction based lane-keeping assistance [J]. Transportation Research Part F:Traffic Psychology and Behaviour,2009,12(4):288-299

[14] 李进,陈杰平,易克传,等. 基于特征融合的视觉导航智能车辆车道保持[J]. 汽车工程,2015,37(5):587-592

编辑整理:厚势分析师拉里佩

转载请注明来自厚势和厚势公号:iHoushi

文章精选

智能驾驶

新能源汽车

项目和评论

为您对接资本和产业

新能源汽车 自动驾驶 车联网

联系邮箱

赞(1)
分享到: 更多

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址