威盛亮相2019智能汽车视觉大会并发表主旨演讲（附演讲全文）

2019年9月5-6日，AutoCam 2019智能轿车视觉大会在上海满意闭幕。威盛露脸该大会并展出最新智驾产品，该大会云集了智能轿车视觉技能范畴威望的专家和学者，威盛高档技能总监唐亮先生代表威盛宣布《智能驾驭员与环景视频监测体系技能实作及运用》讲演。

（唐亮先生代表威盛宣布宗旨讲演）

唐亮先生作为威盛电子的高档技能总监，关于人工智能、核算机视觉、图形加快、底层硬件驱动、操作体系开发等都有十分丰富的经历，并且是国内涵该范畴的技能带头人之一。此次唐亮先生深入解析了智能驾驭员与环景视频监测体系技能实作及运用，以威盛的转型之路引进技能正题，详解了环视监控体系与驾驭员监测体系中威盛的多项技能内核，十分专业地剖析了自动驾驭技能遇到的问题和最新处理办法，满满的干货让听众获益良多。

（唐亮先生深度解说自动驾驭技能问题）

讲演全文如下：

咱们好，我是威盛电子唐亮，很快乐为咱们共享讲演。

威盛于1987年建立，开始是X86芯片组商场，在2000年时，收买S3 Graphics，具有了自身GPU专利；2002年，威盛嵌入式事业部建立，连续拟定各大板型规范；2013年，威盛嵌入式事业部成为我国区主营业务，供给职业处理方案；到2019年，专心核算机视觉、人工智能、边际核算技能，供给嵌入式智能体系。

跟着技能的不断进步，感知精度的不断提高，自动驾驭需求的技能堆集现已具有，自动驾驭也成为现在重视的热门。核算机视觉和人工智能被越来越多的运用在自动驾驭范畴，连一般民众关于自动驾驭都耳熟能详。

（讲演时展现出的图片）

这个表格是本年六月，IIHS（美国公路安全稳妥协会）关于司机了解L2体系能够做些什么操作而做的一个查询，一共有2005人参加了查询。能够看出，1/3以上的人以为手不扶方向盘是能够的，1/5以上的人以为打电话是没事的，1/10的人以为发短信是不影响的，3~5%的人以为睡一小觉，看看视频也是没有问题的。当然，实践上关于L2体系，这些操作都是不合理的。IIHS的查询是为了阐明，现在人们关于技能能做到什么是不了解的，这也是自动驾驭要处理的一个重要问题。这阐明群众关于自动驾驭的信赖程度是十分高的，而这种高信赖度则把自动驾驭推入了有必要做到极致才干落地的地步，牵强落地让人感觉人工智能变成了人工呆能。

回到咱们的论题，这儿我介绍两个典型的运用，一个是环视监控体系，一个是驾驭员监测体系，最终咱们再讨论一下在实践运用中碰到的问题，以及处理的思路。

现在新出厂的乘用车，许多都现已把辅佐驾驭变成了规范装备，能够做到泊车辅佐，行人监测，乃至能够长途监控车辆运转。环视监测体系，能够经过完好展现车辆周围的状况，从而铲除司机的盲区，来增强驾驭安全。

（环视体系架构图）

咱们先看一下环视体系的架构，首要，环视体系能够衔接最多8个摄像头的输入，一般车辆只需求前、后、左、右四个摄像头就能够取得车辆周围的一切内容。摄像头选用190°的鱼眼广角镜头，能够尽可能多的掩盖周边的环境。体系设置，分离线标定和动态标定，然后经过几许改换把图画拼接后输出到显现设备上。离线标定首要是经过标定图画，来核算各个摄像头之间的方位信息以及鱼眼改换的参数。动态标定则能够依据实时图画的规矩图画，来核算摄像头的纤细改变。

（多摄像头视频同步）

要处理的问题不单单是几许改换，因为车辆高速运动，摄像头之间的同步变得十分重要，几个摄像头的图画同步信息有必要一致操控。以六个摄像头同步为例（见上图），体系触发摄像头单元的同步指令后，摄像头输出同步后的图画，同步并打包六帧图画，经过威盛的拼接算法，生成最终的图画。咱们留意看上图中赤色圈出的直行箭头，左边一副便是没有同步导致呈现了2个箭头，右面则是正确同步后的拼接成果。

（环视视频制造流程）

现在我介绍一下环视视频制造流程，这儿离线标定现已完结，现已取得了几许改换，拼接和混合的参数。首要是视频捕获，然后进行反鱼眼校对，得到正常份额的图画。接着把透视图转化为顶视图，并组合侧视图和底视图，生成场景图，进行拼接，生成极点和索引数据，映射到三维模型上，最终取得咱们看到的图画。

（二维图画映射到三维模型）

二维图画是怎么改换到三维模型上的呢？以环视前摄像头为例（见上图），左边榜首幅图画便是鱼眼镜头取得的图画，把它分为上下两个部分，黄色的框和绿色的框，黄色部分被映射到侧评面，绿色部分被映射到地平面，经过后续的拼接，就能够完成3维图画的显现了。

（环视体系流程图）

这是一个完好的环视体系的流程图（见上图），在上面的环视视频制造流程根底上，咱们增加了动态标定部分，亮度和色彩校对部分。动态标定之前现已提到过，亮度和色彩的纠正首要是因为光照在车辆的不同方向是不一样的，这样导致拼接出来的图画比较杂乱，咱们能够看到右上角的两幅图，左边是没有做校对的，右面是经过了亮度，色彩纠正的，第二幅图画的真实感更强。

在这个比方里，用到的一切的算法，都是有几许学、图形学、数学依据的，每一步都是清晰没有二义性的。从软件的视点看不存在不确认性的问题。假如呈现问题，很简略找到详细某一个进程，能够剖析出问题的原因，并处理。这也是传统软件处理问题的办法。

接下来，我来介绍一下驾驭员监测体系。

驾驭员监测体系，是一种依据核算机视觉的，经过摄像头取得驾驭员图画信息，并依据司机面部形状，比方视野方向，脸部表情，依据身形，比方头，手以及躯干的方位来对驾驭员的行为做出剖析，比方疲惫的状况，打哈欠，闭眼，打盹，或者是留意力涣散的状况，谈天，打电话，发短信，喝水，抽烟等等，依据行为的关于驾驭的影响程度，宣布安全提示信息。

驾驭员监测体系的作业原理，便是把图画输入中的要害信息，面部检测和切割，眼部形状，身体部位，要害信息抽取后，作为输入供给给深度神经网络来练习，神经网络对各种状况做出分类，这样就能够识别出正常驾驭和留意力涣散的状况。从而宣布报警信息。

（开发和完成DMS的进程）

详细开发流程如上图所示，在Linux作业站上，咱们对样本进行练习，取得了培训过的模型，经过威盛自己的深度神经网络优化器，取得优化后的模型，运用模型东西把优化后的模型转化为.dlc文件，作为后续嵌入式渠道进行实时核算的根底。

在嵌入式渠道上，DMS运用经过威盛DMS SDK来加载神经网络模型，经过CPU,GPU以及DSP的协同作业，取得核算成果。

（威盛CNN优化器的作用）

这儿介绍一下威盛CNN优化器的状况，尽管现在智能芯片关于神经网络都做了加快，但有限的算力永久跟不上需求的开展和改变，经过对算法的优化，能够提高核算速度，削减存储空间，在有限的核算才干下也能到达方针。从上图的数据能够看到，在坚持精度的前提下，经过不同的优化办法，在存储空间上，能够削减30%，在核算速度上到达13~18%的提高。

比照这两种典型的运用，咱们能够看到，经过神经网络来处理视觉问题，根本上是靠练习来处理问题，模型确认后，练习的数据样本决议了未来的输出成果。对没有触摸过的样本，输出成果是不确认的。

已然初始样本数量必定是有限的，那么这个问题怎么来处理呢？

数据的问题，就用数据来处理

咱们要经过继续学习，来处理数据缺乏的问题。整个数据引擎是一个不断迭代的进程，当咱们在边际端碰到不确认的状况，经过网络回传给服务端，服务端进行标示后，供给给练习流程，得到新的练习成果，从而布置到车辆边际测。经过及时的更新，在时刻域削减问题露出的可能性，也从另一个方面降低了问题发作的比率。一个问题露出10天和露出1年的危害性是彻底不同的。

别的一个问题便是视觉传感器自身的局限性，摄像头会受到外界环境的搅扰，雨雪气候，光照状况，都会影响作用。

这时候，需求跳出原有的拿手的范畴，引进更多的传感器来处理问题。并且这种引进不能是简略的叠加，有必要深度交融才干真实带来准确度的提高。

比方假如视觉判别，前面一切正常，毫米波雷达判别，前面有障碍物，你怎么去取舍？在信息判别的最终阶段现已没有满足的信息进行取舍。

环境条件关于依据视觉的辅佐驾驭有着严峻的影响，经过与不同的雷达，激光雷达，超声波或其它传感器协同作业，才干变得更高效。

最终介绍一下威盛的硬件渠道，现在咱们供给Mobile360系列硬件渠道，有D710,L900, M820, 咱们有爱好的话，能够到场外展现区了解详细状况。

附威盛展现区图片：

（威盛向与会人员展现智驾产品）

（与会人员对威盛产品深感爱好）

关于威盛电子

威盛电子是全球高集成嵌入式渠道及处理方案领导厂商，致力于人工智能、物联网、核算机视觉、无人驾驭、医疗自动化及才智城市方面运用。公司总部坐落台湾新北市新店区，并经过威盛全球化网络布局，在美国、欧洲及亚洲的高科技中心区域设立了分支机构。客户群包括全球各大抢先高科技、电信、电子消费品牌。