论坛首页 › 飞行器 › stm32f407做了个双目视觉的板子，真心慢啊

hemeizhi 发表于 2013-10-3 18:02:48

stm32f407做了个双目视觉的板子，真心慢啊

上次借鉴px4做了个光流模块http://www.amobbs.com/thread-5525773-1-1.html

后来想玩双目立体视觉，就又做了个板子，不过f4做这个真心吃力，匹配一帧图像要好多秒，根本没有实时性，以后还得学学高端处理器了。

liliuqun 发表于 2013-10-3 18:58:25

高级玩意，不懂帮顶

rom 发表于 2013-10-3 20:11:31

相当不错的想法，这种东西估计还得dsp来

avr-arm 发表于 2013-10-3 21:10:13

微控制器用错了场合

AkeBest 发表于 2013-10-3 21:46:04

px4flow的代码你跑了没，效果咋样

wind2100 发表于 2013-10-3 22:00:12

合图 就是慢了点吗？ 会不会是你算法问题呢？
那你要多快速度 需要DSP吗？

hemeizhi 发表于 2013-10-3 23:01:32

AkeBest 发表于 2013-10-3 21:46 static/image/common/back.gif
px4flow的代码你跑了没，效果咋样

没跑过，暂时还是用自己写的算法

hemeizhi 发表于 2013-10-3 23:04:35

wind2100 发表于 2013-10-3 22:00 static/image/common/back.gif
合图 就是慢了点吗？ 会不会是你算法问题呢？
那你要多快速度 需要DSP吗？ ...

也可能是算法问题，我用的算法比较低级

wind2100 发表于 2013-10-3 23:10:01

图像处理 最优效果的算法 并不一定是最好的算法，一要效率，二才是效果。
二个摄像头 能有什么效果，还不太明白.立体感？ 还是扩大视角？

hemeizhi 发表于 2013-10-3 23:13:07

wind2100 发表于 2013-10-3 23:10 static/image/common/back.gif
图像处理 最优效果的算法 并不一定是最好的算法，一要效率，二才是效果。
二个摄像头 能有什么效果，还不太 ...

双目立体视觉，感知深度，测量障碍，避障

neozoic 发表于 2013-10-5 10:10:21

好项目{:smile:}

zgxcom123 发表于 2013-10-5 12:03:41

这种程度的运算。。。最好还是上ARM吧。。。
不过跟算法肯定也有关系的，本科参加比赛用的dm642，做图像发现速度明显不给力(算法优化得不是很到位)，后来降低分辨率才勉强能用

majianjia1991 发表于 2013-10-5 14:11:56

顶上去！

wind2100 发表于 2013-10-7 20:17:07

先做好图像识别吧 一步步来

lans0625 发表于 2013-10-7 20:20:23

代码都是自己写的,没用上OpenCV之类的吗?

wzhscj 发表于 2013-10-8 08:03:17

顶上去！

ethan_free 发表于 2013-10-8 08:31:33

lans0625 发表于 2013-10-7 20:20 static/image/common/back.gif
代码都是自己写的,没用上OpenCV之类的吗?

这个我也想知道，有没有用到opencv啊。

hemeizhi 发表于 2013-10-8 10:18:56

lans0625 发表于 2013-10-7 20:20 static/image/common/back.gif
代码都是自己写的,没用上OpenCV之类的吗?

没用opencv，opencv不支持单片机吧

lans0625 发表于 2013-10-8 10:35:14

hemeizhi 发表于 2013-10-8 10:18 static/image/common/back.gif
没用opencv，opencv不支持单片机吧

OpenCV支持ARM Linux.

dongfo 发表于 2013-10-8 21:48:10

到处是强人啊

winster321 发表于 2013-10-8 22:11:11

试试cubieboard 2,300来块钱,双核a7

hemeizhi 发表于 2013-10-9 16:54:57

winster321 发表于 2013-10-8 22:11 static/image/common/back.gif
试试cubieboard 2,300来块钱,双核a7

忒贵了，买不起啊

jokemcu 发表于 2013-10-10 19:18:46

看来楼主没有认真研究PIXHAWK的东西，
他的那个光流模块可以运行在250HZ是有条件的，
因为250HZ下图像大小只有64X64，
他的摄像头支持裁剪，
你做双目视觉的话，内存够用？
考虑过扩展SRAM没?
32位的CORTEX核心可以一次处理4个8位数据，
楼主是否使用了这样的优化？
等你的好消息，关注中。。。。。

wxty 发表于 2013-10-11 00:07:14

我是来学习代码风格的。

huangboss77 发表于 2013-10-11 07:33:35

不懂的飘过

hemeizhi 发表于 2013-10-11 18:12:39

jokemcu 发表于 2013-10-10 19:18 static/image/common/back.gif
看来楼主没有认真研究PIXHAWK的东西，
他的那个光流模块可以运行在250HZ是有条件的，
因为250HZ下图像大小 ...

pixhawk的代码我确实没看，但是文章看了好多遍，250hz是bin4模式下才可以的，图像大小不是64*64，是188*120，原作者在188*120的基础上只取了中间64*64像素。
250hz还有个问题，就是自动曝光。如果不适用自动曝光，在光照条件不好时，图像非常暗，根本没法提取特征，而如果使用自动曝光，只有在光照很好的时候才能达到250hz，当光照较暗时，曝光时间会自动延长，这样实际帧率会降低很多。
那个优化我也看到了，但是目前没有使用。

hemeizhi 发表于 2013-10-11 18:16:44

jokemcu 发表于 2013-10-10 19:18 static/image/common/back.gif
看来楼主没有认真研究PIXHAWK的东西，
他的那个光流模块可以运行在250HZ是有条件的，
因为250HZ下图像大小 ...

双目视觉的话，因为图像分辨率很低，所以f4的ram还是够用的，也考虑到扩展sram，但是现在主要问题是速度而不是内存

jokemcu 发表于 2013-10-15 18:37:35

hemeizhi 发表于 2013-10-11 18:16 static/image/common/back.gif
双目视觉的话，因为图像分辨率很低，所以f4的ram还是够用的，也考虑到扩展sram，但是现在主要问题是速度 ...

试试超频看看，看看能不能400MHz，{:lol:}
我一直打算用STM32F4做双目光流和测距呢，先观望中

hemeizhi 发表于 2013-10-15 19:11:50

jokemcu 发表于 2013-10-15 18:37 static/image/common/back.gif
试试超频看看，看看能不能400MHz，
我一直打算用STM32F4做双目光流和测距呢，先观望中 ...

试试倒是可以，但不是长久之计，也想换换其他处理器了，这两年就用stm32了，没啥进步

lxl_lw 发表于 2013-10-21 00:28:27

hemeizhi 发表于 2013-10-11 18:16
双目视觉的话，因为图像分辨率很低，所以f4的ram还是够用的，也考虑到扩展sram，但是现在主要问题是速度 ...

换单板A8行不行？

oewonder 发表于 2013-12-5 23:19:10

stm32f407--双目视觉

chushibinsaobao 发表于 2013-12-6 12:10:15

楼主搞得好高深啊！！厉害！不明觉厉

hendry 发表于 2013-12-6 15:21:25

1） 更改算法。光流法效率很低，不要用。
2） 降低图像分辨率。

lans0625 发表于 2013-12-6 15:52:37

有机会我想试试这个算法直接嵌入FPGA.........{:smile:}

bruce_helen 发表于 2013-12-6 21:07:33

都是高级货，连这些算法都没听说过

bruce_helen 发表于 2013-12-10 07:07:23

hemeizhi 发表于 2013-10-3 23:01
没跑过，暂时还是用自己写的算法

是不是代码的效率低，PX4应该没问题吧，他的也是407啊

gancai 发表于 2013-12-10 09:56:26

高端货。。。。

hhhhhchch1 发表于 2013-12-10 10:04:29

支持楼主，好东西总有人先尝试的。

yhybear0 发表于 2013-12-10 10:22:54

支持一下楼主

紫胤真人 发表于 2013-12-10 10:30:10

stm32f407--双目视觉,,关注下,,个人认为,撸主评估工作没做好,还是考虑A的芯片吧

6091820503 发表于 2013-12-12 11:38:54

PX4开源之后，好多人都在尝试着山寨。楼主直接自己做双目了，牛逼~

hemeizhi 发表于 2013-12-12 19:47:30

6091820503 发表于 2013-12-12 11:38
PX4开源之后，好多人都在尝试着山寨。楼主直接自己做双目了，牛逼~

px4 的光流模块已经山寨完了，后面才做的双目

hemeizhi 发表于 2013-12-12 19:49:09

bruce_helen 发表于 2013-12-10 07:07
是不是代码的效率低，PX4应该没问题吧，他的也是407啊

立体视觉要逐个像素匹配，时间太长

6091820503 发表于 2013-12-12 20:06:36

hemeizhi 发表于 2013-12-12 19:47
px4 的光流模块已经山寨完了，后面才做的双目

楼主好高效，不知道你的Optical Flow模块测速效果如何？

饭桶 发表于 2013-12-12 20:23:58

ARM其实还是个高级的单片机

hemeizhi 发表于 2013-12-13 00:57:46

6091820503 发表于 2013-12-12 20:06
楼主好高效，不知道你的Optical Flow模块测速效果如何？

照度充足的时候还可以，光线不足就比较差了

6091820503 发表于 2013-12-13 09:10:32

hemeizhi 发表于 2013-12-13 00:57
照度充足的时候还可以，光线不足就比较差了

牛逼{:handshake:}

sgzzour 发表于 2013-12-13 09:55:59

这个貌似应该用FPGA或者DSP吧，F407处理一个摄像头还勉强凑合

xxn59 发表于 2014-4-2 16:24:12

双摄像头楼主是交替采集左右两帧吗？
光流是匹配先后两帧，双目是匹配左右两帧，照理来说时间复杂度相当，为何效率上双目差这么远？

hemeizhi 发表于 2014-4-4 23:54:29

xxn59 发表于 2014-4-2 16:24
双摄像头楼主是交替采集左右两帧吗？
光流是匹配先后两帧，双目是匹配左右两帧，照理来说时间复杂度相当， ...

处理的点数量上差很多，光流不是所有点抖处理，而是只处理几个特征点，而立体视觉匹配了所有点。如果也知匹配几个特征点的话，应该差不多

mbwhy 发表于 2014-4-14 11:34:52

楼主请教一下，px4的光流最后输出的数据是不是跟鼠标的类似，输出位移是以自身为方向的，摄像头转动的话，测出的位移坐标也要跟着转动？

itspy 发表于 2014-4-14 11:45:50

STM32，不适合做这个，建议用DSP，TI的DSP有arm+DSP+协处理器集成一块的， 性能强劲。这里推荐一块DM6467T

tjpu__224 发表于 2014-4-14 12:20:14

不懂。。。只知道视觉传感器，蛮贵的{:smile:}

anran莫莫 发表于 2014-4-14 14:34:19

支持楼主，看好你

codefish 发表于 2014-4-14 15:17:30

支持一下，我已经很落后了

hemeizhi 发表于 2014-4-14 20:19:45

mbwhy 发表于 2014-4-14 11:34
楼主请教一下，px4的光流最后输出的数据是不是跟鼠标的类似，输出位移是以自身为方向的，摄像头转动的话 ...

光流输出是以摄像机坐标系为参考的，跟你说的意思差不多

fany12345 发表于 2014-6-10 12:46:10

楼主对图像识别有了解吗？想交流一下

feezai 发表于 2014-6-10 12:52:06

3D的显示，好高大上啊。貌似计算量大，stm32哪能处理的过来。

lukefan2008 发表于 2014-6-10 15:14:45

牛人做的是越来越牛了，都开始光流了

mayawang 发表于 2014-6-17 00:51:19

3D的显示，好高大上啊。计算量大哦

liangzhu 发表于 2014-6-29 09:35:09

张博好腻害。。。我还在慢慢撸光流

296498916 发表于 2014-10-16 21:36:07

能否请您加下我的qq296498916，专业是学材料但对单片机特别感兴趣，一直在学习，想用stm32f429+mt9v034做双目视觉，但水平不够，想请求指点，谢谢

bpesun 发表于 2014-10-16 21:40:32

支持一下楼主

tsingyoung 发表于 2014-10-16 21:44:12

强大，mark

296498916 发表于 2014-10-19 10:55:10

要顶多少次楼主才会理我啊。。。555.。。

296498916 发表于 2014-10-19 10:57:13

就在帖子里问您几个问题吧。。
1.mt9v034输出的是bayer格式，图像处理需不需要转成RGB？
2.摄像头做了标定吗？还是直接用？用不用担心畸变？
3.摄像头用的是快照模式吗？
期待您的回复，谢谢！

默默七 发表于 2014-10-19 15:04:03

没有gpu别拦这个活

傻彪5213 发表于 2014-10-19 21:31:44

cortex-m3做图像处理弱了点

sjf 发表于 2014-10-19 22:19:33

牛人啊！

hemeizhi 发表于 2014-10-20 10:25:39

296498916 发表于 2014-10-19 10:57
就在帖子里问您几个问题吧。。
1.mt9v034输出的是bayer格式，图像处理需不需要转成RGB？
2.摄像头做了标定 ...

MT9V034输出是黑白图，也就是直接对应亮度，不需要转换格式。
摄像头没有做标定，本来速度就很慢，做畸变校正就更慢了。
用单帧模式。

xinmulan 发表于 2014-10-20 11:01:40

只能观望！太菜

hnac_ddh 发表于 2014-10-20 11:21:06

http://www.analog.com/library/analogDialogue/china/archives/47-12/stereo_video.html

麦田有怪圈 发表于 2014-10-20 11:38:39

这个还是要专门的dsp来干吧。

麦田有怪圈 发表于 2014-10-20 11:39:32

楼主是牛人，还是要顶一下

bencsj1 发表于 2014-10-20 11:45:19

牛B人物！

296498916 发表于 2014-10-20 16:48:59

hemeizhi 发表于 2014-10-20 10:25
MT9V034输出是黑白图，也就是直接对应亮度，不需要转换格式。
摄像头没有做标定，本来速度就很慢，做畸变 ...

谢谢您的回复！mt9v034有立体视觉模式，您用到了吗？

hemeizhi 发表于 2014-10-20 19:02:08

296498916 发表于 2014-10-20 16:48
谢谢您的回复！mt9v034有立体视觉模式，您用到了吗？

没用到。。。

随风_98 发表于 2014-10-20 23:26:17

双目视觉，有涨姿势了

296498916 发表于 2014-10-20 23:32:13

hemeizhi 发表于 2014-10-20 19:02
没用到。。。

好的。。以后有问题还要麻烦不吝赐教~

296498916 发表于 2014-10-21 08:11:51

大神，请问您用到了bin2或bin4吗？还是使用的窗口裁剪？因为bayer格式的像素合并是不同颜色合并，不知道怎么处理了。。能不能请您贴出一下相机的代码呢？不甚感谢！

hemeizhi 发表于 2014-10-21 08:33:55

296498916 发表于 2014-10-21 08:11
大神，请问您用到了bin2或bin4吗？还是使用的窗口裁剪？因为bayer格式的像素合并是不同颜色合并，不知道怎 ...

bin4模式

flyhorse 发表于 2014-10-21 10:04:33

这东西有意思

l宝宝奥斯卡 发表于 2014-10-21 20:40:26

高端，帮顶了

jiang887786 发表于 2014-10-21 20:47:49

不明觉厉，帮顶！

Hearthbeats 发表于 2014-10-31 14:29:21

hemeizhi 发表于 2013-10-3 23:13
双目立体视觉，感知深度，测量障碍，避障

LZ用的什么算法啊

hemeizhi 发表于 2014-10-31 14:48:16

Hearthbeats 发表于 2014-10-31 14:29
LZ用的什么算法啊

最简单的模板匹配

leo_advance 发表于 2014-10-31 14:50:03

高级玩意，不懂帮顶

hk7744 发表于 2014-10-31 19:31:43

mark。。。

阿发 发表于 2014-10-31 20:39:40

期待楼主调试成功

fenxiang1103 发表于 2014-12-3 09:40:48

jokemcu 发表于 2013-10-10 19:18
看来楼主没有认真研究PIXHAWK的东西，
他的那个光流模块可以运行在250HZ是有条件的，
因为250HZ下图像大小 ...

高手，看了之后很有启发

fenxiang1103 发表于 2014-12-3 09:48:27

hemeizhi 发表于 2013-10-11 18:12
pixhawk的代码我确实没看，但是文章看了好多遍，250hz是bin4模式下才可以的，图像大小不是64*64，是188*1 ...

楼主，PX4FLOW为什么要努力达到高速率速度数据输出呢？你提出摄像头最快可以达到250Hz，想来F4的输出也达到了这样的速率吧？

xhp0912 发表于 2014-12-3 10:50:59

双目视觉,模仿人眼，立体成像，能测距离

brmxd 发表于 2014-12-3 14:19:17

支持一下楼主

默默七 发表于 2014-12-6 16:28:45

如果想用STM的板子至少应该考虑F427系列

u123321 发表于 2014-12-6 16:38:40

用F407做双目视觉，不懂帮顶

ccjlhw 发表于 2014-12-6 18:07:23

支持楼主

澜菲儿 发表于 2014-12-6 19:06:20

好项目{:victory:}

hemeizhi 发表于 2014-12-7 19:01:55

上传原理图

四川李工 发表于 2014-12-7 19:45:00

我一般都跑pc都有压力，，没有实时性。。。。。。

fs2011 发表于 2014-12-7 20:44:03

没接触过学习一下

查看完整版本: stm32f407做了个双目视觉的板子，真心慢啊