搜索
bottom↓
回复: 122

stm32f407做了个双目视觉的板子,真心慢啊

  [复制链接]

出0入0汤圆

发表于 2013-10-3 18:02:48 | 显示全部楼层 |阅读模式
上次借鉴px4做了个光流模块http://www.amobbs.com/thread-5525773-1-1.html

后来想玩双目立体视觉,就又做了个板子,不过f4做这个真心吃力,匹配一帧图像要好多秒,根本没有实时性,以后还得学学高端处理器了。





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

阿莫论坛20周年了!感谢大家的支持与爱护!!

一只鸟敢站在脆弱的枝条上歇脚,它依仗的不是枝条不会断,而是自己有翅膀,会飞。

出0入0汤圆

发表于 2013-10-3 18:58:25 | 显示全部楼层
高级玩意,不懂帮顶

出0入0汤圆

发表于 2013-10-3 20:11:31 | 显示全部楼层
相当不错的想法,这种东西估计还得dsp来

出0入0汤圆

发表于 2013-10-3 21:10:13 | 显示全部楼层
微控制器用错了场合

出0入0汤圆

发表于 2013-10-3 21:46:04 | 显示全部楼层
px4flow的代码你跑了没,效果咋样

出0入0汤圆

发表于 2013-10-3 22:00:12 | 显示全部楼层
合图 就是慢了点吗? 会不会是你算法问题呢?
那你要多快速度 需要DSP吗?

出0入0汤圆

 楼主| 发表于 2013-10-3 23:01:32 | 显示全部楼层
AkeBest 发表于 2013-10-3 21:46
px4flow的代码你跑了没,效果咋样

没跑过,暂时还是用自己写的算法

出0入0汤圆

 楼主| 发表于 2013-10-3 23:04:35 | 显示全部楼层
wind2100 发表于 2013-10-3 22:00
合图 就是慢了点吗? 会不会是你算法问题呢?
那你要多快速度 需要DSP吗? ...

也可能是算法问题,我用的算法比较低级

出0入0汤圆

发表于 2013-10-3 23:10:01 | 显示全部楼层
图像处理 最优效果的算法 并不一定是最好的算法,一要效率,二才是效果。
二个摄像头 能有什么效果,还不太明白.立体感? 还是扩大视角?

出0入0汤圆

 楼主| 发表于 2013-10-3 23:13:07 | 显示全部楼层
wind2100 发表于 2013-10-3 23:10
图像处理 最优效果的算法 并不一定是最好的算法,一要效率,二才是效果。
二个摄像头 能有什么效果,还不太 ...

双目立体视觉,感知深度,测量障碍,避障

出0入0汤圆

发表于 2013-10-5 10:10:21 | 显示全部楼层
好项目

出0入0汤圆

发表于 2013-10-5 12:03:41 来自手机 | 显示全部楼层
这种程度的运算。。。最好还是上ARM吧。。。
不过跟算法肯定也有关系的,本科参加比赛用的dm642,做图像发现速度明显不给力(算法优化得不是很到位),后来降低分辨率才勉强能用

出0入0汤圆

发表于 2013-10-5 14:11:56 来自手机 | 显示全部楼层
顶上去!

出0入0汤圆

发表于 2013-10-7 20:17:07 | 显示全部楼层
先做好图像识别吧 一步步来

出0入0汤圆

发表于 2013-10-7 20:20:23 | 显示全部楼层
代码都是自己写的,没用上OpenCV之类的吗?

出0入0汤圆

发表于 2013-10-8 08:03:17 | 显示全部楼层
顶上去!

出0入0汤圆

发表于 2013-10-8 08:31:33 | 显示全部楼层
lans0625 发表于 2013-10-7 20:20
代码都是自己写的,没用上OpenCV之类的吗?

这个我也想知道,有没有用到opencv啊。

出0入0汤圆

 楼主| 发表于 2013-10-8 10:18:56 | 显示全部楼层
lans0625 发表于 2013-10-7 20:20
代码都是自己写的,没用上OpenCV之类的吗?

没用opencv,opencv不支持单片机吧

出0入0汤圆

发表于 2013-10-8 10:35:14 | 显示全部楼层
hemeizhi 发表于 2013-10-8 10:18
没用opencv,opencv不支持单片机吧

OpenCV支持ARM Linux.

出0入0汤圆

发表于 2013-10-8 21:48:10 | 显示全部楼层
到处是强人啊

出0入0汤圆

发表于 2013-10-8 22:11:11 来自手机 | 显示全部楼层
试试cubieboard 2,300来块钱,双核a7

出0入0汤圆

 楼主| 发表于 2013-10-9 16:54:57 | 显示全部楼层
winster321 发表于 2013-10-8 22:11
试试cubieboard 2,300来块钱,双核a7

忒贵了,买不起啊

出0入0汤圆

发表于 2013-10-10 19:18:46 | 显示全部楼层
看来楼主没有认真研究PIXHAWK的东西,
他的那个光流模块可以运行在250HZ是有条件的,
因为250HZ下图像大小只有64X64,
他的摄像头支持裁剪,
你做双目视觉的话,内存够用?
考虑过扩展SRAM没?
32位的CORTEX核心可以一次处理4个8位数据,
楼主是否使用了这样的优化?
等你的好消息,关注中。。。。。

出0入0汤圆

发表于 2013-10-11 00:07:14 | 显示全部楼层
我是来学习代码风格的。

出0入0汤圆

发表于 2013-10-11 07:33:35 | 显示全部楼层
不懂的飘过

出0入0汤圆

 楼主| 发表于 2013-10-11 18:12:39 | 显示全部楼层
jokemcu 发表于 2013-10-10 19:18
看来楼主没有认真研究PIXHAWK的东西,
他的那个光流模块可以运行在250HZ是有条件的,
因为250HZ下图像大小 ...

pixhawk的代码我确实没看,但是文章看了好多遍,250hz是bin4模式下才可以的,图像大小不是64*64,是188*120,原作者在188*120的基础上只取了中间64*64像素。
250hz还有个问题,就是自动曝光。如果不适用自动曝光,在光照条件不好时,图像非常暗,根本没法提取特征,而如果使用自动曝光,只有在光照很好的时候才能达到250hz,当光照较暗时,曝光时间会自动延长,这样实际帧率会降低很多。
那个优化我也看到了,但是目前没有使用。

出0入0汤圆

 楼主| 发表于 2013-10-11 18:16:44 | 显示全部楼层
jokemcu 发表于 2013-10-10 19:18
看来楼主没有认真研究PIXHAWK的东西,
他的那个光流模块可以运行在250HZ是有条件的,
因为250HZ下图像大小 ...

双目视觉的话,因为图像分辨率很低,所以f4的ram还是够用的,也考虑到扩展sram,但是现在主要问题是速度而不是内存

出0入0汤圆

发表于 2013-10-15 18:37:35 | 显示全部楼层
hemeizhi 发表于 2013-10-11 18:16
双目视觉的话,因为图像分辨率很低,所以f4的ram还是够用的,也考虑到扩展sram,但是现在主要问题是速度 ...

试试超频看看,看看能不能400MHz,
我一直打算用STM32F4做双目光流和测距呢,先观望中

出0入0汤圆

 楼主| 发表于 2013-10-15 19:11:50 | 显示全部楼层
jokemcu 发表于 2013-10-15 18:37
试试超频看看,看看能不能400MHz,
我一直打算用STM32F4做双目光流和测距呢,先观望中 ...

试试倒是可以,但不是长久之计,也想换换其他处理器了,这两年就用stm32了,没啥进步

出0入0汤圆

发表于 2013-10-21 00:28:27 来自手机 | 显示全部楼层
hemeizhi 发表于 2013-10-11 18:16
双目视觉的话,因为图像分辨率很低,所以f4的ram还是够用的,也考虑到扩展sram,但是现在主要问题是速度 ...

换单板A8行不行?

出0入0汤圆

发表于 2013-12-5 23:19:10 | 显示全部楼层
stm32f407--双目视觉

出0入0汤圆

发表于 2013-12-6 12:10:15 | 显示全部楼层
楼主搞得好高深啊!!厉害!不明觉厉

出0入0汤圆

发表于 2013-12-6 15:21:25 | 显示全部楼层
1) 更改算法。光流法效率很低,不要用。
2) 降低图像分辨率。

出0入0汤圆

发表于 2013-12-6 15:52:37 | 显示全部楼层
有机会我想试试这个算法直接嵌入FPGA.........

出0入0汤圆

发表于 2013-12-6 21:07:33 | 显示全部楼层
都是高级货,连这些算法都没听说过

出0入0汤圆

发表于 2013-12-10 07:07:23 | 显示全部楼层
hemeizhi 发表于 2013-10-3 23:01
没跑过,暂时还是用自己写的算法

是不是代码的效率低,PX4应该没问题吧,他的也是407啊

出0入0汤圆

发表于 2013-12-10 09:56:26 | 显示全部楼层
高端货。。。。

出0入0汤圆

发表于 2013-12-10 10:04:29 | 显示全部楼层
支持楼主,好东西总有人先尝试的。

出0入0汤圆

发表于 2013-12-10 10:22:54 | 显示全部楼层
支持一下楼主

出0入0汤圆

发表于 2013-12-10 10:30:10 | 显示全部楼层
stm32f407--双目视觉,,关注下,,个人认为,撸主评估工作没做好,还是考虑A的芯片吧

出0入0汤圆

发表于 2013-12-12 11:38:54 | 显示全部楼层
PX4开源之后,好多人都在尝试着山寨。楼主直接自己做双目了,牛逼~

出0入0汤圆

 楼主| 发表于 2013-12-12 19:47:30 | 显示全部楼层
6091820503 发表于 2013-12-12 11:38
PX4开源之后,好多人都在尝试着山寨。楼主直接自己做双目了,牛逼~

px4 的光流模块已经山寨完了,后面才做的双目

出0入0汤圆

 楼主| 发表于 2013-12-12 19:49:09 | 显示全部楼层
bruce_helen 发表于 2013-12-10 07:07
是不是代码的效率低,PX4应该没问题吧,他的也是407啊

立体视觉要逐个像素匹配,时间太长

出0入0汤圆

发表于 2013-12-12 20:06:36 | 显示全部楼层
hemeizhi 发表于 2013-12-12 19:47
px4 的光流模块已经山寨完了,后面才做的双目

楼主好高效,不知道你的Optical Flow模块测速效果如何?

出10入113汤圆

发表于 2013-12-12 20:23:58 | 显示全部楼层
ARM其实还是个高级的单片机

出0入0汤圆

 楼主| 发表于 2013-12-13 00:57:46 | 显示全部楼层
6091820503 发表于 2013-12-12 20:06
楼主好高效,不知道你的Optical Flow模块测速效果如何?

照度充足的时候还可以,光线不足就比较差了

出0入0汤圆

发表于 2013-12-13 09:10:32 | 显示全部楼层
hemeizhi 发表于 2013-12-13 00:57
照度充足的时候还可以,光线不足就比较差了

牛逼

出0入0汤圆

发表于 2013-12-13 09:55:59 | 显示全部楼层
这个貌似应该用FPGA或者DSP吧,F407处理一个摄像头还勉强凑合

出0入0汤圆

发表于 2014-4-2 16:24:12 | 显示全部楼层
双摄像头楼主是交替采集左右两帧吗?
光流是匹配先后两帧,双目是匹配左右两帧,照理来说时间复杂度相当,为何效率上双目差这么远?

出0入0汤圆

 楼主| 发表于 2014-4-4 23:54:29 | 显示全部楼层
xxn59 发表于 2014-4-2 16:24
双摄像头楼主是交替采集左右两帧吗?
光流是匹配先后两帧,双目是匹配左右两帧,照理来说时间复杂度相当, ...

处理的点数量上差很多,光流不是所有点抖处理,而是只处理几个特征点,而立体视觉匹配了所有点。如果也知匹配几个特征点的话,应该差不多

出0入0汤圆

发表于 2014-4-14 11:34:52 | 显示全部楼层
楼主请教一下  ,px4的光流最后输出的数据是不是跟鼠标的类似,输出位移是以自身为方向的,摄像头转动的话,测出的位移坐标也要跟着转动?

出0入0汤圆

发表于 2014-4-14 11:45:50 | 显示全部楼层
STM32,不适合做这个,建议用DSP,TI的DSP有arm+DSP+协处理器集成一块的, 性能强劲。  这里推荐一块DM6467T

出0入0汤圆

发表于 2014-4-14 12:20:14 | 显示全部楼层
不懂。。。只知道视觉传感器,蛮贵的

出0入0汤圆

发表于 2014-4-14 14:34:19 | 显示全部楼层
支持楼主,看好你

出0入0汤圆

发表于 2014-4-14 15:17:30 | 显示全部楼层
支持一下,我已经很落后了

出0入0汤圆

 楼主| 发表于 2014-4-14 20:19:45 | 显示全部楼层
mbwhy 发表于 2014-4-14 11:34
楼主请教一下  ,px4的光流最后输出的数据是不是跟鼠标的类似,输出位移是以自身为方向的,摄像头转动的话 ...

光流输出是以摄像机坐标系为参考的,跟你说的意思差不多

出0入0汤圆

发表于 2014-6-10 12:46:10 | 显示全部楼层
楼主对图像识别有了解吗?想交流一下

出0入0汤圆

发表于 2014-6-10 12:52:06 | 显示全部楼层
3D的显示,好高大上啊。貌似计算量大,stm32哪能处理的过来。

出0入0汤圆

发表于 2014-6-10 15:14:45 | 显示全部楼层
牛人做的是越来越牛了,都开始光流了

出0入0汤圆

发表于 2014-6-17 00:51:19 | 显示全部楼层

3D的显示,好高大上啊。计算量大哦

出0入0汤圆

发表于 2014-6-29 09:35:09 来自手机 | 显示全部楼层
张博好腻害。。。我还在慢慢撸光流

出0入0汤圆

发表于 2014-10-16 21:36:07 | 显示全部楼层
能否请您加下我的qq296498916,专业是学材料但对单片机特别感兴趣,一直在学习,想用stm32f429+mt9v034做双目视觉,但水平不够,想请求指点,谢谢

出0入0汤圆

发表于 2014-10-16 21:40:32 | 显示全部楼层
支持一下楼主

出0入0汤圆

发表于 2014-10-16 21:44:12 | 显示全部楼层
强大,mark

出0入0汤圆

发表于 2014-10-19 10:55:10 | 显示全部楼层
要顶多少次楼主才会理我啊。。。555.。。

出0入0汤圆

发表于 2014-10-19 10:57:13 | 显示全部楼层
就在帖子里问您几个问题吧。。
1.mt9v034输出的是bayer格式,图像处理需不需要转成RGB?
2.摄像头做了标定吗?还是直接用?用不用担心畸变?
3.摄像头用的是快照模式吗?
期待您的回复,谢谢!

出0入0汤圆

发表于 2014-10-19 15:04:03 | 显示全部楼层
没有gpu别拦这个活

出0入0汤圆

发表于 2014-10-19 21:31:44 | 显示全部楼层
cortex-m3做图像处理弱了点

出0入0汤圆

发表于 2014-10-19 22:19:33 | 显示全部楼层
牛人啊!

出0入0汤圆

 楼主| 发表于 2014-10-20 10:25:39 | 显示全部楼层
296498916 发表于 2014-10-19 10:57
就在帖子里问您几个问题吧。。
1.mt9v034输出的是bayer格式,图像处理需不需要转成RGB?
2.摄像头做了标定 ...

MT9V034输出是黑白图,也就是直接对应亮度,不需要转换格式。
摄像头没有做标定,本来速度就很慢,做畸变校正就更慢了。
用单帧模式。

出0入0汤圆

发表于 2014-10-20 11:01:40 | 显示全部楼层
只能观望!太菜

出0入0汤圆

发表于 2014-10-20 11:21:06 | 显示全部楼层
http://www.analog.com/library/an ... 2/stereo_video.html

出0入0汤圆

发表于 2014-10-20 11:38:39 | 显示全部楼层
这个还是要专门的dsp来干吧。

出0入0汤圆

发表于 2014-10-20 11:39:32 | 显示全部楼层
楼主是牛人,还是要顶一下

出0入0汤圆

发表于 2014-10-20 11:45:19 | 显示全部楼层
牛B人物!

出0入0汤圆

发表于 2014-10-20 16:48:59 | 显示全部楼层
hemeizhi 发表于 2014-10-20 10:25
MT9V034输出是黑白图,也就是直接对应亮度,不需要转换格式。
摄像头没有做标定,本来速度就很慢,做畸变 ...

谢谢您的回复!mt9v034有立体视觉模式,您用到了吗?

出0入0汤圆

 楼主| 发表于 2014-10-20 19:02:08 | 显示全部楼层
296498916 发表于 2014-10-20 16:48
谢谢您的回复!mt9v034有立体视觉模式,您用到了吗?

没用到。。。

出0入0汤圆

发表于 2014-10-20 23:26:17 来自手机 | 显示全部楼层
双目视觉,有涨姿势了

出0入0汤圆

发表于 2014-10-20 23:32:13 | 显示全部楼层

好的。。以后有问题还要麻烦不吝赐教~

出0入0汤圆

发表于 2014-10-21 08:11:51 | 显示全部楼层
大神,请问您用到了bin2或bin4吗?还是使用的窗口裁剪?因为bayer格式的像素合并是不同颜色合并,不知道怎么处理了。。能不能请您贴出一下相机的代码呢?不甚感谢!

出0入0汤圆

 楼主| 发表于 2014-10-21 08:33:55 | 显示全部楼层
296498916 发表于 2014-10-21 08:11
大神,请问您用到了bin2或bin4吗?还是使用的窗口裁剪?因为bayer格式的像素合并是不同颜色合并,不知道怎 ...

bin4模式

出0入0汤圆

发表于 2014-10-21 10:04:33 | 显示全部楼层
这东西有意思

出0入0汤圆

发表于 2014-10-21 20:40:26 | 显示全部楼层
高端,帮顶了

出0入0汤圆

发表于 2014-10-21 20:47:49 | 显示全部楼层
不明觉厉,帮顶!

出0入0汤圆

发表于 2014-10-31 14:29:21 | 显示全部楼层
hemeizhi 发表于 2013-10-3 23:13
双目立体视觉,感知深度,测量障碍,避障

LZ用的什么算法啊

出0入0汤圆

 楼主| 发表于 2014-10-31 14:48:16 | 显示全部楼层

最简单的模板匹配

出0入0汤圆

发表于 2014-10-31 14:50:03 | 显示全部楼层
高级玩意,不懂帮顶

出0入0汤圆

发表于 2014-10-31 19:31:43 | 显示全部楼层
mark。。。

出0入0汤圆

发表于 2014-10-31 20:39:40 | 显示全部楼层
期待楼主调试成功

出0入0汤圆

发表于 2014-12-3 09:40:48 | 显示全部楼层
jokemcu 发表于 2013-10-10 19:18
看来楼主没有认真研究PIXHAWK的东西,
他的那个光流模块可以运行在250HZ是有条件的,
因为250HZ下图像大小 ...

高手,看了之后很有启发

出0入0汤圆

发表于 2014-12-3 09:48:27 | 显示全部楼层
hemeizhi 发表于 2013-10-11 18:12
pixhawk的代码我确实没看,但是文章看了好多遍,250hz是bin4模式下才可以的,图像大小不是64*64,是188*1 ...

楼主,PX4FLOW为什么要努力达到高速率速度数据输出呢?你提出摄像头最快可以达到250Hz,想来F4的输出也达到了这样的速率吧?

出0入0汤圆

发表于 2014-12-3 10:50:59 | 显示全部楼层
双目视觉,模仿人眼,立体成像,能测距离

出0入0汤圆

发表于 2014-12-3 14:19:17 | 显示全部楼层
支持一下楼主

出0入0汤圆

发表于 2014-12-6 16:28:45 | 显示全部楼层
如果想用STM的板子至少应该考虑F427系列

出0入0汤圆

发表于 2014-12-6 16:38:40 | 显示全部楼层
用F407做双目视觉,不懂帮顶

出0入0汤圆

发表于 2014-12-6 18:07:23 来自手机 | 显示全部楼层
支持楼主

出0入0汤圆

发表于 2014-12-6 19:06:20 | 显示全部楼层
好项目

出0入0汤圆

 楼主| 发表于 2014-12-7 19:01:55 | 显示全部楼层


上传原理图

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

出0入0汤圆

发表于 2014-12-7 19:45:00 | 显示全部楼层
我一般都跑pc  都有压力,,没有实时性。。。。。。

出0入0汤圆

发表于 2014-12-7 20:44:03 | 显示全部楼层
没接触过  学习一下
回帖提示: 反政府言论将被立即封锁ID 在按“提交”前,请自问一下:我这样表达会给举报吗,会给自己惹麻烦吗? 另外:尽量不要使用Mark、顶等没有意义的回复。不得大量使用大字体和彩色字。【本论坛不允许直接上传手机拍摄图片,浪费大家下载带宽和论坛服务器空间,请压缩后(图片小于1兆)才上传。压缩方法可以在微信里面发给自己(不要勾选“原图),然后下载,就能得到压缩后的图片】。另外,手机版只能上传图片,要上传附件需要切换到电脑版(不需要使用电脑,手机上切换到电脑版就行,页面底部)。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

手机版|Archiver|amobbs.com 阿莫电子技术论坛 ( 粤ICP备2022115958号, 版权所有:东莞阿莫电子贸易商行 创办于2004年 (公安交互式论坛备案:44190002001997 ) )

GMT+8, 2024-3-29 19:33

© Since 2004 www.amobbs.com, 原www.ourdev.cn, 原www.ouravr.com

快速回复 返回顶部 返回列表