我用AI视觉模组DIY了一个驾驶疲劳监测仪

azxyqcr · 发表于 2019-8-26 10:49:25

本帖最后由 azxyqcr 于 2019-8-26 11:01 编辑

近年来，人工智能技术已经发展到了超出想象的地步，以前觉得手写识别、语音输入、人脸识别就是很神奇的东西了，现在出现了一种脸部关键点定位的技术，能把五官轮廓都给精确的定位出来。每只眼睛能通过9个坐标点，标出眼睑、瞳孔的位置，这简直太适合用来监测犯困了！

用人工智能进行分析，算法的计算量一般都很大，以前用树莓派3B跑过人脸检测，用OpenCV的Haar Cascades算法，要160多毫秒才能跑完一帧人脸检测。如果用效果更好的深度神经网络模型，比如通过ncnn加速框架跑MobileNet-SSD模型，则需要260多毫秒，再跑一个关键点定位模型估计还要几十毫秒，整体帧率就只有3fps了。

是时候请出一个神奇的模块了，他内置了一颗AI加速芯片，单周期可以运行512次乘加运算，硬件支持卷积、池化、全连接等操作，还带了两颗手机摄像头模组，直接能对拍到的图像跑AI算法进行分析，通过UART输出分析后的结果，非常有意思！

目前VisionSeed模块提供的算法有：人脸检测、90点关键点定位、姿态角解算、人脸识别，还能够把自己训练的模型下载到模块上的AI芯片中运行。

我们先通过腾讯提供的PC端配置工具，看看模块上的AI算法输出的信息：

通过USB把VisionSeed连上电脑后，识别出来一个video0设备和ttyACM0设备，用配置工具打开ttyACM0，就能源源不断的获取到实时分析数据了，左下角马上显示出了我的脸部关键点，随着我眨眼、摇头、张嘴，这个虚拟的小人也跟着变化，数据可视化界面上，选择“左眼开闭”，曲线就开始滚动起来了，我每次眨眼，曲线就出现一个向下的尖峰，如果闭眼，曲线就稳定在0.05以下的位置，非常灵敏！

我们要把这个模组装到车上，当检测到闭眼的时候输出报警声。因为AI芯片上不能运行程序，所以需要一个单片机，这次我们用10块钱的STM32来运行报警的逻辑。

要怎么在STM32上获取到AI分析的结果呢？看了一下VisionSeed的文档，中间金黄色的FPC软排线里有UART接口，我们只需要把左边的那个接口板用个单片机替换掉，直接通过FPC座接到VisionSeed上，就能在STM32单片机上拿到结果了。

我们选择STM32F103来运行报警逻辑，通过串口0连接VisionSeed，串口1用来控制MP3模块发出报警声，PC13连接一个状态指示灯，原理图还是很简单的：

开始画板，右侧通过0.5mm间距的30pin连接器和VisionSeed相连；下方的Micro-USB接口供电，同时导出了VisionSeed的USB信号，可以方便调试；中间是STM32F103C8T6单片机；上方的4pin接口是ST-Link烧录口；左侧背面是一个3.5mm音频接口，用来向音箱输出报警声；正面还叠加了一个串口控制的MP3播放模块，布局是相当紧凑了。

导出gerber文件到工厂做板，三天后板子到手：

焊接元器件，推荐使用回流焊工艺，做PCB的时候加30元做一个钢网，就可以方便的手工印刷锡膏，把元器件放到焊盘上，送进烤箱，没错，家里烤面包的烤箱就可以！温度设定到250℃，看着锡膏完全融化后断电，一个个完美的焊点就出现了：

再用电烙铁焊上MP3模块：

最后要装到VisionSeed上。利用VisionSeed自带的散热片，结构稳固而紧凑。先拆掉左侧的接口板：

换上我们做好的单片机：

开始调试STM32程序。VisionSeed提供了开源的C++、Python、js的SDK，提供数据解析，直接就能得到人脸框、90个关键点的坐标。短短数十行代码，我们就完成了对双眼18个点的坐标分析，进而判断闭眼是不是超过了安全的时间：

通过ST-Link把程序下载到单片机中，然后把模组装到方向盘后，接上5v供电和音箱，坐上驾驶座，闭上眼睛，当当当——警铃大作，开车再也不怕犯困啦！

后记：
VisionSeed不仅仅是个集成了摄像头+AI芯片的模块，AI算法才是效果的保证，他内置了腾讯优图的算法，效果过硬，一直处于业界领先地位，以前一般在腾讯内部产品中应用，比如微信刷脸支付。现在通过VisionSeed人工智能视觉模块，开放给外界，你我也能接触到世界一流的腾讯人工智能算法，甚至能应用在自己的产品中，实在是非常开心。相信腾讯的开放，会惠及更多创业者和爱好者们。
另外，模块内还包括了人脸识别功能，通过附带工具软件管理数据库，能够实时离线识别库中的身份，非常强大，能做出很多有意思的东西，等你一起来探索！

jayzah · 发表于 2019-8-26 10:55:44

从哪复制来的，图呢

plb83 · 发表于 2019-8-26 10:57:43

好心提醒一下楼主，字体大小、看版规

javenreal · 发表于 2019-8-26 11:00:47

看起来不错.....

kydl2345 · 发表于 2019-8-26 11:01:29

前年ON的展会上已经看到过方案

azxyqcr · 发表于 2019-8-26 11:01:51

plb83 发表于 2019-8-26 10:57
好心提醒一下楼主，字体大小、看版规

谢谢提醒

nongxiaoming · 发表于 2019-8-26 11:08:25

好厉害的AI

air2016 · 发表于 2019-8-26 11:09:02

真牛佩服

azxyqcr · 发表于 2019-8-26 11:30:06

VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组，开发者通过VisionSeed可轻松使用优图人脸检测、识别、配准、姿态、属性等算法能力，创造性完成创新产品的研发。使用场景广泛，有兴趣可以看看：visionseed.youtu.qq.com。

vtte · 发表于 2019-8-26 11:44:04

我两年前买的UHD已经有这个功能了。

aammoo · 发表于 2019-8-26 11:45:01

从某乎抄来的？

amigenius · 发表于 2019-8-26 11:50:53

看运算能力的描述，怎么好像是使用K210？

aammoo · 发表于 2019-8-26 11:52:19

amigenius 发表于 2019-8-26 11:50
看运算能力的描述，怎么好像是使用K210？

intel 的芯片
B**商城有卖
这是官网的参数：
摄像头
感光器件： 1/4英寸 Global Shutter
像素： 1百万
分辨率： 720P RGB + 720P IR @30FPS
处理器
Intel® Movidius Myriad X
AI加速运算能力1Tops（FP16）
硬件接口
USB 2.0、UART
软件接口
UVC、YtDataLink
尺寸
22×66mm
电源
5V 1.5A

amigenius · 发表于 2019-8-26 12:14:55

aammoo 发表于 2019-8-26 11:52
intel 的芯片
B**商城有卖
这是官网的参数：

好JB强大，有的玩

lcw_swust · 发表于 2019-8-26 12:17:38

本帖最后由 lcw_swust 于 2019-8-26 12:20 编辑

不错呀
在高速上跑就是容易犯困，MP3的效果可能不明显，不知可不可以整一个高压电脉冲刺激一下？

xu1688 · 发表于 2019-8-26 12:21:12

成本没优势

我是一个大白菜 · 发表于 2019-8-26 12:30:19

这个不错，关注一下

hyz_avr · 发表于 2019-8-26 12:45:25

lcw_swust 发表于 2019-8-26 12:17
不错呀
在高速上跑就是容易犯困，MP3的效果可能不明显，不知可不可以整一个高压电脉冲刺激一下？ ...

手一抖。。。

xiaomu · 发表于 2019-8-26 12:50:09

这个不错，做好了有市场的，尤其经常长时间跑高速的需要！

azxyqcr · 发表于 2019-8-26 13:54:28

amigenius 发表于 2019-8-26 11:50
看运算能力的描述，怎么好像是使用K210？

Intel® Movidius Myriad X AI加速运算能力1Tops(FP16)

azxyqcr · 发表于 2019-8-26 13:56:23

lcw_swust 发表于 2019-8-26 12:17
不错呀
在高速上跑就是容易犯困，MP3的效果可能不明显，不知可不可以整一个高压电脉冲刺激一下？ ...

你电一下试试

ysu_er · 发表于 2019-8-26 14:03:15

只连一个喇叭报警怕是不行，得驱动一根针使劲扎几下才行

taoworking · 发表于 2019-8-26 14:04:12

好东西，电工可以动手试试！

hhxb · 发表于 2019-8-26 14:14:46

思路挺厉害的

jiulong855@.163 · 发表于 2019-8-26 14:26:25

很好，看起来不错

mubei · 发表于 2019-8-26 14:36:52

azxyqcr 发表于 2019-8-26 13:54
Intel® Movidius Myriad X AI加速运算能力1Tops(FP16)

这个AI的算力的确是很强大，比K210的高KPU高不少，不过可玩性没K210的高

wangchin1988 · 发表于 2019-8-26 14:37:25

对小眼睛的人友好吗？

lstc · 发表于 2019-8-26 14:49:52

实际场景中准确捕获眼睛部分视频都是一个调整，另外光照、角度。。。。等等影响因素太多了。很可能得在：天晴、视野好、无反光、司机头不乱动、不带眼镜。。。。等等前提下，效果不错。

honami520 · 发表于 2019-8-26 14:54:40

整天盯着人来做AI，净是些监控人各种动作的玩意。最后开发下去，在中华大地上，天网一旦建成，除了最顶端的几个，其他人都成了裸奔的奴才。
就不能用AI做些辅助，让人更方便的事情吗

308594151 · 发表于 2019-8-26 15:18:42

看起来不错

azxyqcr · 发表于 2019-8-27 10:29:08

VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组，开发者通过VisionSeed可轻松使用优图人脸检测、识别、配准、姿态、属性等算法能力，创造性完成创新产品的研发。VisionSeed通过USB或UART接口，以结构化形式输出 AI分析结果，用单片机就能玩转AI，开发AI应用触手可及。
VisionSeed具备1TFLOPS（每秒一万亿次）推理运算能力，功耗小于10瓦，提供可靠的FPC软排线接口，可置入各种嵌入式设备中。提供了完整的SDK、Demo工程、文档资源，以便使用VisionSeed进行产品开发，有兴趣可以看看：visionseed.youtu.qq.com。
VisionSeed可以在lichuang商城购买

饭牛牛 · 发表于 2019-8-27 10:39:14

azxyqcr 发表于 2019-8-27 10:29
VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组，开发者通过VisionSeed可轻松使用优图人脸检 ...

转载请注明出处哦。

qtechzdh · 发表于 2019-8-27 10:46:41

honami520 发表于 2019-8-26 14:54
整天盯着人来做AI，净是些监控人各种动作的玩意。最后开发下去，在中华大地上，天网一旦建成，除了最顶端的 ...

超越康熙乾隆指日可待

mubei · 发表于 2019-8-27 10:49:19

饭牛牛发表于 2019-8-27 10:39
转载请注明出处哦。

广告贴，你懂得

azxyqcr · 发表于 2019-8-28 18:15:35

azxyqcr · 发表于 2019-8-30 18:17:36

智涅 · 发表于 2019-8-30 18:28:39

噢，腾讯的呀，打死不用

azxyqcr · 发表于 2019-8-30 18:29:15

智涅发表于 2019-8-30 18:28
噢，腾讯的呀，打死不用

为什么？

我是谁712 · 发表于 2019-8-31 05:23:58

现在stm32也能用arduino编程了？

MyAVR · 发表于 2019-8-31 09:45:59

单周期可以运行512次乘加运算，这个利害。

powerlabor001 · 发表于 2019-8-31 10:23:25

关注一下，ai监控，疲劳驾驶。

syj0925 · 发表于 2019-8-31 12:30:23

谢谢分享，有空也了解一下，电工也能接触AI了

naodanisme · 发表于 2019-8-31 23:44:23

运输行业及客运，已经大量在应用，也有了国家标准，主动安全属于

azxyqcr · 发表于 2019-9-9 14:10:06

迅得电子 · 发表于 2019-9-9 14:19:34

忘了在那个地方也看到过

wkman · 发表于 2019-9-9 14:24:48

神马时候车企才会应用上去？？？

zhongsandaoren · 发表于 2019-9-10 18:14:53

我们这边大货车、危险品车早就安装了啊

azxyqcr · 发表于 2019-9-25 14:35:13

azxyqcr · 发表于 2019-9-25 14:36:46

zhongsandaoren 发表于 2019-9-10 18:14
我们这边大货车、危险品车早就安装了啊

这个模块的可拓展性非常强，应用的场景多

carefree1986 · 发表于 2019-9-25 15:39:25

499，还有的玩吗？

kaixinlaohe · 发表于 2019-9-25 20:48:08

哪里有卖，价格几何？

azxyqcr · 发表于 2019-9-26 14:38:47

kaixinlaohe 发表于 2019-9-25 20:48
哪里有卖，价格几何？

lichuang商城直接搜visionseed

kaixinlaohe · 发表于 2019-9-26 21:14:32

ardon · 发表于 2019-9-26 23:05:06

不知道是否具有成本优势！

YFM · 发表于 2019-10-7 07:05:28

芯片是intel的太贵，用rk1808还可以，3TOPS的算力，20几元人民币的价格

yangxizhong · 发表于 2019-10-7 08:01:52

这个不错，关注一下

huntermax110 · 发表于 2019-10-7 08:15:00

azxyqcr 发表于 2019-8-26 13:56
你电一下试试

电一下，会不会导致高速翻车

我用AI视觉模组DIY了一个驾驶疲劳监测仪

本帖子中包含更多资源

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源