慢慢做机器视觉模块（stm32f4+MT9V034）

hemeizhi · 发表于 2013-3-26 20:49:43

本帖最后由 hemeizhi 于 2013-3-26 20:51 编辑

前段时间群里讨论一个叫px4的开源多旋翼飞控，搜索了一下相关资料，感觉它配套的光流模块很是牛逼，于是就想diy一个。
px4的网站：https://pixhawk.ethz.ch/px4/start

光流模块的相关参数：
PX4Flow is an optical flow camera. Provides optical flow at 250 Hz. Unlike mouse sensors it works indoors without illumination LED. Details.

■168 MHz Cortex M4F CPU (196 KB RAM)
■752×480 MT9V034 imager, 3D Gyro
■16 mm M12 lens, microSD slot
■Buy from 3D Robotics Store

https://pixhawk.ethz.ch/px4/modules/px4flow这个页面下还有描述其视觉算法的一篇文章，但是源代码暂时没有开源“Source code will be available shortly, comes with planar flow for position hold programmed ”。

250Hz的光流输出，貌似相当给力。

硬件上难度不大，cmos直接接到stm32f4的DCMI接口，然后DMA读图像就行了，关键是光流算法。虽然文章里写的挺详细，但实际做起来难度感觉挺大，慢慢摸索吧。

http://player.youku.com/player.php/sid/XNTIyMDQ1NDA4/v.swf

ppa2001 · 发表于 2013-3-26 21:15:25

不错，最近打算做个DSP来学习下机器视觉·

ZL_electric · 发表于 2013-3-26 21:15:58

沙发，被我赞助了

rom · 发表于 2013-3-27 11:25:49

这个不错

badboy.tao · 发表于 2013-3-27 12:52:08

我看不懂，能说说看么，在干嘛

zhangdawei · 发表于 2013-3-27 13:09:28

OK 标记一下

asdf1776 · 发表于 2013-3-27 13:12:41

什么叫“光流模块”？

hemeizhi · 发表于 2013-3-27 14:29:10

光流就是三维环境中的运动在二维图像中的映射，光流模块就是用来计算这种图像运动的，比如一帧图像中的某个点在下一帧图像中移动到了哪个位置

sgzzour · 发表于 2013-3-27 14:44:20

楼主想法不错。。。。。。

linghu2 · 发表于 2013-3-27 15:00:14

支持楼主,

dongfo · 发表于 2013-4-5 15:24:19

很强，不错看看先

AkeBest · 发表于 2013-4-5 18:13:04

这个不错，需要看看

zhouzmt · 发表于 2013-4-13 15:54:03

可以用opencv吗？

WITSOFT · 发表于 2013-4-13 20:59:11

好，但是看不懂

jssd · 发表于 2013-4-13 22:13:36

hemeizhi 发表于 2013-3-27 14:29
光流就是三维环境中的运动在二维图像中的映射，光流模块就是用来计算这种图像运动的，比如一帧图像中的某个 ...

那不就是光电鼠标？

liuqimin · 发表于 2013-4-14 08:31:26

支持楼主!!!!!!

hemeizhi · 发表于 2013-4-14 08:36:26

jssd 发表于 2013-4-13 22:13
那不就是光电鼠标？

类似，确实有用鼠标芯片加镜头做的

jssd · 发表于 2013-4-14 08:49:41

hemeizhi 发表于 2013-4-14 08:36
类似，确实有用鼠标芯片加镜头做的

楼主，请教一下。镜头成像，远一些的和近一些的物体是不一样的。像鼠标，它就放在桌面，离桌面的距离是一样的，所以移动的时候成像移动的距离是一样的，但是镜头向着其他空间，物体远近不同，成像后移动的距离不是不一样吗？那怎么判断你镜头移动的距离呢？

hemeizhi · 发表于 2013-4-14 08:56:49

jssd 发表于 2013-4-14 08:49
楼主，请教一下。镜头成像，远一些的和近一些的物体是不一样的。像鼠标，它就放在桌面，离桌面的距离是一 ...

老外这个用在四轴飞行器上，对着地面安装，还要辅助装一个超声测距模块，通过其测量相对地面的高度，然后根据高度解算实际水平位移。

357853730 · 发表于 2013-4-14 10:39:19

虽然不是很看得懂，但应该不错

fishOnFly · 发表于 2013-4-19 12:16:10

够拽！不知楼主可否量出原理图呢？

fishOnFly · 发表于 2013-4-19 17:11:37

楼主有测试过采集图片的帧率么？

ksniper · 发表于 2013-4-19 17:20:54

此楼都是高人啊

hemeizhi · 发表于 2013-4-19 18:50:05

fishOnFly 发表于 2013-4-19 17:11
楼主有测试过采集图片的帧率么？

照度充足时能到200多帧

Vmao · 发表于 2013-4-19 21:01:37

这个飞控研究过，挺NB的，楼主这个模块PCB打样了吗？一起研究啊

hemeizhi · 发表于 2013-4-19 22:59:05

Vmao 发表于 2013-4-19 21:01
这个飞控研究过，挺NB的，楼主这个模块PCB打样了吗？一起研究啊

做了10块，不过因为老外没有开源的电路，我按自己的理解画的

c382671878 · 发表于 2013-4-20 00:24:34

本帖最后由 c382671878 于 2013-4-20 00:33 编辑

楼主我有疑问，要做光流算法，要对背景和本图做梯度运算，stmf4能有这么快么?250hz?图片采集回来也没那么快吧，我用ov7725vga才25fps

hemeizhi · 发表于 2013-4-20 09:16:15

c382671878 发表于 2013-4-20 00:24
楼主我有疑问，要做光流算法，要对背景和本图做梯度运算，stmf4能有这么快么?250hz?图片采集回来也没那么快 ...

这个你可以看看芯片手册和老外那篇文章，实际分辨率降低了很多，所以才能那么快

spiritcity · 发表于 2013-4-20 09:46:30

持续关注!!

430504 · 发表于 2013-4-20 10:12:07

楼主牛人啊

winkle · 发表于 2013-4-20 10:16:34

搬个板凳学

东东bh · 发表于 2013-4-20 10:21:11

没看懂什么东东~

meilixinkong · 发表于 2013-4-20 10:31:37

呵呵，学习学习

hemeizhi · 发表于 2013-4-28 14:04:00

更新个视频
http://player.youku.com/player.php/sid/XNTQ5MTk3ODY0/v.swf

agnd · 发表于 2013-6-3 05:14:05

一定要花重金“人肉”这个曾经“开源”过的源代码。据说这源码曾公开了N天，有人下了吗？

zouzhichao · 发表于 2013-6-3 07:27:26

标记一下

oped001 · 发表于 2013-6-3 07:33:06

飞控？个人爱好还是公司项目啊？

hemeizhi · 发表于 2013-6-3 07:57:18

oped001 发表于 2013-6-3 07:33
飞控？个人爱好还是公司项目啊？

自己玩的

pipi516 · 发表于 2013-6-17 14:28:01

这个不错，需要看看

cctsao1008 · 发表于 2013-6-18 01:58:22

code 出來了!!

https://github.com/PX4/Flow

hemeizhi · 发表于 2013-6-18 18:44:12

cctsao1008 发表于 2013-6-18 01:58
code 出來了!!

https://github.com/PX4/Flow

看到了

wangguanfu · 发表于 2013-6-18 19:17:38

光流还流光呢，看字面意思完全不知所云
搞了半天原来。。。。

baifang20 · 发表于 2013-6-18 19:23:52

楼主，请问你那个MT9V034是自己做的模块么？网上买好贵呢。。。很想做一个，还有我也在看APM的哥哥PX4，本来想放弃PX4投奔OPENPILOT的，竟然PX4 的光流突然开源了，兴奋ing

finenesszhang · 发表于 2013-6-18 19:27:08

标记一下

cctsao1008 · 发表于 2013-6-18 19:40:53

有善心人士願意開團打 PX4 FMU + IO + FLOW 嗎?

Earthman · 发表于 2013-6-18 21:43:34

cctsao1008 发表于 2013-6-18 19:40
有善心人士願意開團打 PX4 FMU + IO + FLOW 嗎?

我也想搭个车啊

hemeizhi · 发表于 2013-6-19 07:57:58

baifang20 发表于 2013-6-18 19:23
楼主，请问你那个MT9V034是自己做的模块么？网上买好贵呢。。。很想做一个，还有我也在看APM的哥哥PX4，本 ...

模块自己做的，MT9V034那个芯片确实挺贵，我买的130一个

星为离歌笑 · 发表于 2013-7-4 18:21:37

楼主很强。

wind2100 · 发表于 2013-7-4 18:47:42

这个能做什么图像识别吗？

wind2100 · 发表于 2013-7-4 19:32:22

原来是自动驾驶高科技啊希望未来10年可以装在AUDI 或是大众上面
开累了就可以打会儿瞌睡设置目的地就好了。

winkle · 发表于 2013-7-4 22:53:28

标记

xxn59 · 发表于 2013-7-17 00:44:28

楼主是不是四轴坛上的zht9961020呀

正在研究PX4Flow代码，貌似很简洁

hemeizhi · 发表于 2013-7-18 08:10:15

xxn59 发表于 2013-7-17 00:44
楼主是不是四轴坛上的zht9961020呀

正在研究PX4Flow代码，貌似很简洁

嗯，以前的账号用不了了

modelcat · 发表于 2013-8-25 09:54:29

这个不错，我也一直在研究PX4。对了，楼主，您做了10个PCB，现在还有吗？能否出给我2片，我玩玩。

geyue1234567 · 发表于 2013-9-17 15:32:37

mark一下

inspiriting · 发表于 2013-9-17 16:08:15

不错啊

kneken · 发表于 2013-10-3 20:50:37

mark

heyangfengyue · 发表于 2013-10-3 22:59:50

牛逼，学习！！

黄阿呆 · 发表于 2013-10-4 10:56:18

标记一下啊~

JIANYANG · 发表于 2013-10-4 11:40:26

强大学习

icydust1 · 发表于 2013-10-9 17:56:34

强大，想着，用俩摄头能不能测距……

Lavion · 发表于 2013-10-9 21:33:46

cctsao1008 发表于 2013-6-18 01:58
code 出來了!!

https://github.com/PX4/Flow

你更牛，

XUWEIXIANG · 发表于 2013-10-28 21:46:01

你好！搂主，你的stm32f4+MT9V034，卖吗，我要用这个来做视觉传感器，我是绍兴的

XUWEIXIANG · 发表于 2013-10-28 21:48:25

我做视觉测量用

XUWEIXIANG · 发表于 2013-10-28 22:03:47

我13357568679徐

XUWEIXIANG · 发表于 2013-10-28 23:53:31

你说：“模块自己做的，MT9V034那个芯片确实挺贵，我买的130一个”，我看了你的视频，你的这个模块做的很好的，我估计很适合我用

XUWEIXIANG · 发表于 2013-10-29 10:49:54

楼主在吗，看到我的需求了吗

hemeizhi · 发表于 2013-10-29 15:25:12

XUWEIXIANG 发表于 2013-10-29 10:49
楼主在吗，看到我的需求了吗

不知道您的具体要求是啥

XUWEIXIANG · 发表于 2013-10-30 22:34:20

你好！搂主，我要买你的stm32f4+MT9V034模组，我要黑白的，（就是用MT9V034C12STM做的），超声测距的不需要，我做视觉测量的采集处里用，把结果用8位并口输出就行，我希你能卖给我模组，最好能帮我编程，你同意的话我们合作，我把详细的要求给你，以后你专们提供我模组，我13357568679，徐

haistart · 发表于 2013-10-30 23:18:17

强人。。

visa198 · 发表于 2013-11-6 10:31:43

( ^_^ )不错 ( ^_^ )不错

oewonder · 发表于 2013-12-5 23:18:45

stm32f407--双目视觉

soniclidi · 发表于 2013-12-6 18:42:13

标记一下，学习

lq1505400 · 发表于 2013-12-22 13:50:53

高端 Mark!学习中

mbwhy · 发表于 2013-12-27 08:09:41

为什么code 界面打不开呢？

xl1736 · 发表于 2014-6-29 10:00:46

收藏了，向楼主学习！

farmerzhangdl · 发表于 2014-6-29 10:33:14

真是个好东西啊

296498916 · 发表于 2014-7-8 23:16:27

楼主，能加我qq296498916吗，有些问题请教，谢谢！

ideafstar · 发表于 2014-9-23 11:19:11

请问现在进展如何啊，跟踪的应用做过了吗，能否交流一下？

阿禹_lsy · 发表于 2014-10-28 19:50:17

ideafstar 发表于 2014-9-23 11:19
请问现在进展如何啊，跟踪的应用做过了吗，能否交流一下？

同问，望楼主不吝赐教啊

helloforworld · 发表于 2014-10-31 14:55:16

296498916 发表于 2014-7-8 23:16
楼主，能加我qq296498916吗，有些问题请教，谢谢！

我都被你感动了

296498916 · 发表于 2014-11-2 15:00:20

helloforworld 发表于 2014-10-31 14:55
我都被你感动了

这。。。是么。。

leo_advance · 发表于 2014-11-2 15:11:58

OK 标记一下

winterw · 发表于 2014-11-2 15:17:47

mark一下，回去研究研究。
谢谢楼主分享。

机器人天空 · 发表于 2014-11-4 00:04:40

mark........

fghfguytu · 发表于 2014-11-4 08:20:39

视频没看明白，是识别那些黑色的格子吗？

xdy5211314 · 发表于 2014-11-4 12:24:06

看不懂啊，，，好高深啊，，，，顶顶

zqy517 · 发表于 2014-11-4 12:42:18

这个不错

hemeizhi · 发表于 2014-11-4 12:49:41

fghfguytu 发表于 2014-11-4 08:20
视频没看明白，是识别那些黑色的格子吗？

是随机识别地面的特征点，纹理区域

helloforworld · 发表于 2014-11-6 13:52:23

296498916 发表于 2014-11-2 15:00
这。。。是么。。

这么执着，想问你要到了没

296498916 · 发表于 2014-11-7 10:19:37

helloforworld 发表于 2014-11-6 13:52
这么执着，想问你要到了没

没有啊，不过学习别人的不如自己做的有意义啊

hjf2002_hk · 发表于 2014-11-8 10:39:47

留个备份以供以后参考。

zszc · 发表于 2014-11-11 17:41:33

楼主有原理图分享一下吗？感激不尽

296498916 · 发表于 2014-11-14 20:41:23

楼主大人，调了半个月硬是不出图像，Vertical Blank光流里设置的是10，但是我计算的应该是45啊，不清楚这个数据到底怎么来的，请不吝赐教，谢谢！

winterw · 发表于 2014-11-17 17:25:58

296498916 发表于 2014-11-14 20:41
楼主大人，调了半个月硬是不出图像，Vertical Blank光流里设置的是10，但是我计算的应该是45啊，不清楚这个 ...

我最近也在做这个，你调试的如何

296498916 · 发表于 2014-11-18 21:15:54

winterw 发表于 2014-11-17 17:25
我最近也在做这个，你调试的如何

没有呢，我id是我qq，一起学习

hy2515131 · 发表于 2014-11-18 21:36:43

LZ硬件完全自己设计的？

hemeizhi · 发表于 2014-11-19 11:01:56

hy2515131 发表于 2014-11-18 21:36
LZ硬件完全自己设计的？

参考了pxflow

pow270345524 · 发表于 2014-11-19 11:42:55

mark!!!!!!

hy2515131 · 发表于 2014-11-19 13:23:18

hemeizhi 发表于 2014-11-19 11:01
参考了pxflow

开源不？

慢慢做机器视觉模块（stm32f4+MT9V034）

本帖子中包含更多资源

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源