准备做个机器视觉开发板，有兴趣的可以讨论一下

hemeizhi · 发表于 2014-12-9 23:03:28

一直就想基于stm32做一个机器视觉开发板，但是每次跟人提起都很受打击，大家都觉得stm32不是干这个的料，资源不够多，速度不够快。。。
我也用stm32做过一些简单的视觉算法，比如下面这几个，确实也感觉不太够用。

http://www.amobbs.com/thread-5483282-1-1.html
http://www.amobbs.com/thread-5525773-1-1.html
http://www.amobbs.com/thread-5553527-1-1.html

总想有时间有机会学学高端处理器再搞这个，很可惜机会没等到，时间也不够多。但是有些东西再不倒腾一下就快忘光了，所以不管合不合适，就用stm32搞了，别的咱也不会。

选型：核心器件就三个，MCU，CMOS，液晶。

处理器怎么也得是stm32f4系列的，矬子里面拔大个，主频高了准没错。带DCMI用起来也方便。

CMOS芯片或者摄像头模组我只用过两种：OV7670和MT9V034。前者彩色，分辨率低，帧率低，体积小，便宜；后者黑白，分辨率高，帧率高，体积大，还要配个镜头，比较贵。
多数应用场合帧率不需要太高，所以暂定OV7670。

液晶这个东西我用的不多，也没用太明白。主要作用就是把原始图像经过算法处理后的结果显示出来，比如跟踪的目标或者光流场。以前都是用开发板里ucgui现成的函数，自己捣鼓可能费点事。
型号好像没啥关系，x宝找个便宜的应该就可以了。

可以运行的算法：目前想到的有颜色识别，颜色跟踪，边缘检测，角点检测，运动目标跟踪，光流，还有其他一些图像处理的常见算法，比如锐化，高斯平滑等

Shampoo · 发表于 2014-12-9 23:17:52

有这种想法，正在了解。
现在在弄屏显示那块。

emobbs · 发表于 2014-12-9 23:48:41

好同志，马克

zx962032 · 发表于 2014-12-9 23:55:48

早就有这样的想法，用在机器人比赛的赛道路线的识别上，但是一直没有时间着手去实现它，汗颜呀

sgzzour · 发表于 2014-12-10 00:17:56

楼主采用STM32F429吧

翔宇 · 发表于 2014-12-10 00:33:43

过来强势围观，观望中……

creep · 发表于 2014-12-10 07:57:22

楼主能不能先分享下那几个算法，有空也能自己玩玩

冲上云霄 · 发表于 2014-12-10 07:59:53

支持!!!!!!!!!!!!!!!!!!!!!

hemeizhi · 发表于 2014-12-10 08:03:49

sgzzour 发表于 2014-12-10 00:17
楼主采用STM32F429吧

正有此意

fghfguytu · 发表于 2014-12-10 08:16:16

我也在研究，F4 搞摄像头的事，哈哈，看样子，F4主频面了，大家都开始尝试高难度了

Flyback · 发表于 2014-12-10 08:38:02

MT9V034+f429+rgb屏是个好选择，同时外扩点SDRAM

现在在驱动一个分辨率很低的传感器，曝光控制不容易

freefei · 发表于 2014-12-10 08:38:39

边缘检测、轮廓检测应用场合挺多，做出来很有市场

一个人· · 发表于 2014-12-10 08:44:08

支持，现在也在做·

mingyuehuaisha · 发表于 2014-12-10 08:53:14

这个方向很火啊，好多产品都要用到感觉

kutf · 发表于 2014-12-10 08:54:47

还不如用raspberry pi ，板子和镜头都是现成的。gpu速度快多了,24gflops

dxzky · 发表于 2014-12-10 08:57:19

不太清楚STM32的性能，这种多摄像头视觉平台感觉一般都是DSP在做。规划好资源使用的话，应该没问题

hemeizhi · 发表于 2014-12-10 08:57:49

Flyback 发表于 2014-12-10 08:38
MT9V034+f429+rgb屏是个好选择，同时外扩点SDRAM

现在在驱动一个分辨率很低的传感器，曝光控制不容易 ...

MT9V034贵了点

odqqdo · 发表于 2014-12-10 08:58:14

强烈支持，这个要是能用在机械手上那前途无量。虽然我搞不来。

hemeizhi · 发表于 2014-12-10 08:59:33

kutf 发表于 2014-12-10 08:54
还不如用raspberry pi ，板子和镜头都是现成的。gpu速度快多了,24gflops

要那样的话直接pc上跑matlab不是更快

beijisnow · 发表于 2014-12-10 09:00:42

见过F4+摄像头做飞控悬停的

odqqdo · 发表于 2014-12-10 09:02:47

最好是用2－3个摄像头，从不同的角度拍照后算出物件的位置，CPU肯定是越快越好

alitasoft · 发表于 2014-12-10 09:11:06

10年前后的特定目标跟踪算法，openCV的架构，目前移植到了A10和A20这样的平台上，比较流畅一般维持在17~28帧之间
STM32跑这个想到流畅很困难,早期用两个F103/F4xx做处理，一个做采集+滤波+二值化，一个做后面的边缘检测等
实际运行起来相当卡

wye11083 · 发表于 2014-12-10 09:11:56

F4太贵，性能也不够做算法，毕竟本来stm32就是面向需要高性能控制领域，不是算法领域。你要是想搞，我有时间的话可以整点fpga，靠stm32的话，我以前在F4上超频到250M做vga bayer一秒也就几帧，数据仅供参考。

wye11083 · 发表于 2014-12-10 09:15:55

odqqdo 发表于 2014-12-10 09:02 最好是用2－3个摄像头，从不同的角度拍照后算出物件的位置，CPU肯定是越快越好 ...

f4再快，也就一个250M没有缓存的arm，性能，数据放SRAM里面顶不上200M的pm处理器，放sdram再降2/3，做算法，还是考虑dsp吧，好歹人家6并行架构，800My主频。

wangkx1990 · 发表于 2014-12-10 09:19:16

看了楼主的几个链接，我这里居然看不到图片和视频...

hemeizhi · 发表于 2014-12-10 09:20:31

alitasoft 发表于 2014-12-10 09:11
10年前后的特定目标跟踪算法，openCV的架构，目前移植到了A10和A20这样的平台上，比较流畅一般维持在17~28 ...

用f4做肯定要优化的嘛，比如直接用黑白摄像头就省去了转灰度图像的时间，边缘检测也可以不用canny算子
但如果非要跑特别复杂的算法那f4肯定是不行的，要做三维重建之类的pc跑的都费劲

szhanlee · 发表于 2014-12-10 09:28:59

mark一个最近想用DSP+MT9V034弄一个光流模块做自主悬停楼主有啥指教

hemeizhi · 发表于 2014-12-10 09:30:11

wye11083 发表于 2014-12-10 09:15
f4再快，也就一个250M没有缓存的arm，性能，数据放SRAM里面顶不上200M的pm处理器，放sdram再降2/3，做算 ...

你说的对，我也没说f4就是万能的，牛逼的，只是在它有限的资源下随便玩玩嘛。

老外就用f4实现了250帧/秒的光流计算，我以前也觉得根本不可能实现，但人家真就做出来了。

hemeizhi · 发表于 2014-12-10 09:32:20

szhanlee 发表于 2014-12-10 09:28
mark一个最近想用DSP+MT9V034弄一个光流模块做自主悬停楼主有啥指教

参考pxflow

f1yh1347 · 发表于 2014-12-10 09:36:32

alitasoft 发表于 2014-12-10 09:11
10年前后的特定目标跟踪算法，openCV的架构，目前移植到了A10和A20这样的平台上，比较流畅一般维持在17~28 ...

opencv有在嵌入式上的移植吗？

szhanlee · 发表于 2014-12-10 09:37:30

hemeizhi 发表于 2014-12-10 09:32
参考pxflow

PX4FLOW的光流传感器是用STM32实现的跟DSP（ADI的BF706）还是有很大区别不知如何下手

hemeizhi · 发表于 2014-12-10 10:15:39

szhanlee 发表于 2014-12-10 09:37
PX4FLOW的光流传感器是用STM32实现的跟DSP（ADI的BF706）还是有很大区别不知如何下手 ...

把算法看懂，然后自己写，哪个平台都无所谓

一个人· · 发表于 2014-12-10 10:17:06

hemeizhi 发表于 2014-12-10 09:30
你说的对，我也没说f4就是万能的，牛逼的，只是在它有限的资源下随便玩玩嘛。

老外就用f4实现了250帧/秒 ...

那个分辨率低呀。

sunnykai · 发表于 2014-12-10 10:29:30

楼主高手啊，这个从基础开发要搞死人。当年我们买现成的模块调API都搞的我们要死。楼主好好搞，搞好了教教我们。

hemeizhi · 发表于 2014-12-10 10:31:17

一个人· 发表于 2014-12-10 10:17
那个分辨率低呀。

这个就看具体怎么用了，指望它什么功能都实现肯定是不现实的

一个人· · 发表于 2014-12-10 10:34:31

hemeizhi 发表于 2014-12-10 10:31
这个就看具体怎么用了，指望它什么功能都实现肯定是不现实的

准备做个ZYNQ，试试图像，或者你不如买个小米平板，直接做图像算法！它用的是显卡处理器！192核并行图像处理!屌爆了！

hemeizhi · 发表于 2014-12-10 10:47:53

一个人· 发表于 2014-12-10 10:34
准备做个ZYNQ，试试图像，或者你不如买个小米平板，直接做图像算法！它用的是显卡处理器！192核并行图像 ...

感谢兜神捧场

s1j2h3 · 发表于 2014-12-10 10:58:25

捧个场。我也感兴趣啊

s1j2h3 · 发表于 2014-12-10 10:58:51

主要是想学习下技术。可以应用到项目中去。

wye11083 · 发表于 2014-12-10 11:26:49

hemeizhi 发表于 2014-12-10 09:30
你说的对，我也没说f4就是万能的，牛逼的，只是在它有限的资源下随便玩玩嘛。

老外就用f4实现了250帧/秒 ...

刚才跟同事讨论了下光流，那东西是根据角点进行位移矢量跟踪的，因为不用搜索整幅图像，在固定数量角点条件下速度当然比单纯视觉要快。反正F4性能就那样，不会很快了。
这倒是个很好的运动物体跟踪算法。我想搞那种靠视觉去自学习的工业机器人，也许相当难实现吧。有问题了再问你。

msq-tc · 发表于 2014-12-10 11:27:10

全志A10 A20的1GHZ ARM，多核的处理器。也是便宜的不行基本上30，40元一颗。为嘛要在单片机上搞....很明显吃不消么。也非常小巧，整个系统名片一样大。我就是在天嵌E9的飞思卡尔4和处理器上做图像处理的。用单片机说真的没什么意义，性能根本不行。算法失去了实时性，真的没意义.....

hemeizhi · 发表于 2014-12-10 11:32:29

msq-tc 发表于 2014-12-10 11:27
全志A10 A20的1GHZ ARM，多核的处理器。也是便宜的不行基本上30，40元一颗。为嘛要在单片机上搞....很明显 ...

为嘛要用单片机，因为只会用单片机。。。

Nuker · 发表于 2014-12-10 11:50:10

hackaday.io有个OpenMV项目，就是用STM32F4+OV2640做机器视觉的。

OpenMV
Python-powered machine vision modules
https://hackaday.io/project/1313-openmv

Nuker · 发表于 2014-12-10 11:51:33

https://github.com/iabdalkader/openmv

hemeizhi · 发表于 2014-12-10 11:58:29

Nuker 发表于 2014-12-10 11:50
hackaday.io有个OpenMV项目，就是用STM32F4+OV2640做机器视觉的。

OpenMV

这个感觉做的挺好的，可以参考一下

wt19891114 · 发表于 2014-12-10 12:46:10

想法很不错，表示支持！~

lxl_lw · 发表于 2014-12-10 13:45:49

顶一个，速度搞起！

乌托青年 · 发表于 2014-12-10 13:54:40

非常好的创意

bzbs · 发表于 2014-12-10 13:59:43

全志系列！性价比最好
现在我们用的是A20。后续不断跟踪其发展。
楼主方向是哪个方向？

rtems · 发表于 2014-12-10 14:11:51

一个人· 发表于 2014-12-10 10:34
准备做个ZYNQ，试试图像，或者你不如买个小米平板，直接做图像算法！它用的是显卡处理器！192核并行图像 ...

ZYNQ不错，这种配合性能很好。

ALUMEI · 发表于 2014-12-10 14:55:27

我也有类似的想法，不过现在工作忙，明年吧，看有没有机会也搞一搞，不过我首先排除单片机的方案，原因上边的层主有提及。

Hearthbeats · 发表于 2014-12-13 23:18:32

LZ搞过双目视觉么，。

aquarius0703 · 发表于 2014-12-13 23:39:47

关注。。。。

TANK99 · 发表于 2014-12-14 08:06:49

好的硬件平台是关键

hemeizhi · 发表于 2014-12-14 09:53:15

Hearthbeats 发表于 2014-12-13 23:18
LZ搞过双目视觉么，。

搞过最简单的双目

2012Ehome · 发表于 2014-12-14 10:23:08

估计F4的平台吃力,得上系统.支持

hemeizhi · 发表于 2014-12-14 16:51:53

不行就等等F7吧

end2000 · 发表于 2014-12-14 18:44:27

很感兴趣，希望早日确定架构

yanpenghao · 发表于 2014-12-14 18:57:22

我觉得f4还是不行，怎么也的要个arm吧？

loveavr999 · 发表于 2014-12-14 21:48:21

高大上的东西
只能膜拜

lzm0117 · 发表于 2014-12-16 12:31:36

Nuker 发表于 2014-12-10 11:50
hackaday.io有个OpenMV项目，就是用STM32F4+OV2640做机器视觉的。

OpenMV

看了，一下这个视频，能在STM32F4上做真不错

mcu005 · 发表于 2014-12-16 20:44:58

win8平板才4xx元了，难道大家就不考虑 Intel Z3735 啊，x86的核，软件都是杠杠的，做研究，卖萌的好平台。

当然产品级别还是考虑DSP和FPGA吧

xiaoao360 · 发表于 2014-12-16 21:55:23

我用DE2-70做过运动目标跟踪，光流法

dongwang_fl · 发表于 2014-12-18 09:24:11

正想搞这个，支持

晚枫 · 发表于 2014-12-18 10:58:22

STM32F4系列会不会不够快？很期待楼主的杰作啊。
最好用STM32F407的，家里正好有块开发板。哈哈。

lansen0815 · 发表于 2014-12-18 12:27:17

支持楼主不考虑产品化之用来学习慢点不打紧

astankvai · 发表于 2014-12-18 12:31:25

楼主用blackfin的DSP吧，专干这个的

song1086 · 发表于 2014-12-18 12:41:24

高大上啊膜拜

wind2100 · 发表于 2014-12-18 12:52:39

先做一个，就知道瓶颈在哪里了，下一版再升级吧就用M4 先搞一个出来先顶起

296498916 · 发表于 2015-1-16 21:58:21

是否可以加入结构光来辅助匹配呢？比如投射出线条把画面分成8份，左右摄像头识别出分割，这样匹配的区域就大大减小了。不过环境光太强就不行了

vivi_cq1982 · 发表于 2015-1-17 02:13:05

支持楼主

tjpu__224 · 发表于 2015-1-17 07:17:22

搞吧，预定一个。

wt3333 · 发表于 2015-1-17 08:32:03

如果研究算法,不如从pc开始与君共勉

wind2100 · 发表于 2015-1-17 08:44:40

楼主，现在什么情况做到哪一步了？

hemeizhi · 发表于 2015-1-17 12:15:28

wind2100 发表于 2015-1-17 08:44
楼主，现在什么情况做到哪一步了？

现在在linux下做算法，准备换个高端平台

uud001 · 发表于 2015-1-17 18:04:01

果断支持想法视频的东西不好做

l36092 · 发表于 2015-1-21 12:18:31

视觉检测算法很多开源的，最好直接搞来用，比较省事。

wszyjsw2 · 发表于 2015-1-22 23:46:30

mark 机器视觉

296498916 · 发表于 2015-5-29 16:31:10

保持关注

296498916 · 发表于 2015-8-31 22:35:29

大神，我做了一个，可惜愚笨算法不知怎么开始，能和你请教吗？

hemeizhi · 发表于 2015-9-1 08:24:24

296498916 发表于 2015-8-31 22:35
大神，我做了一个，可惜愚笨算法不知怎么开始，能和你请教吗？

你做的这个不是挺好嘛，还有啥问题

296498916 · 发表于 2015-9-1 12:45:13

hemeizhi 发表于 2015-9-1 08:24
你做的这个不是挺好嘛，还有啥问题

想做的是双目视觉，算法不知怎么开始，能不能拜你为师啊。。我都搞了快1年了，业余时间都放在这个上面，无奈太笨了不能无师自通啊。你就收我为徒吧。。

hemeizhi · 发表于 2015-9-1 12:58:37

296498916 发表于 2015-9-1 12:45
想做的是双目视觉，算法不知怎么开始，能不能拜你为师啊。。我都搞了快1年了，业余时间都放在这个上面， ...

我也只是个菜鸟，双目这个也是当时心血来潮搞了一下，后来发现这套硬件实在是处理不过来，所以后来就没有继续了。
如果你要搞双目，我想还是在PC上做或者是像老外那种FPGA的方案更靠谱一点。

算法方面可以交流，拜师就免了，我也是业余玩玩，确实很菜

296498916 · 发表于 2015-9-1 17:09:42

hemeizhi 发表于 2015-9-1 12:58
我也只是个菜鸟，双目这个也是当时心血来潮搞了一下，后来发现这套硬件实在是处理不过来，所以后来就没有 ...

您能加我qq吗？296498916，谢谢！

296498916 · 发表于 2015-9-1 18:07:39

hemeizhi 发表于 2015-9-1 12:58
我也只是个菜鸟，双目这个也是当时心血来潮搞了一下，后来发现这套硬件实在是处理不过来，所以后来就没有 ...

我的球球是我的id，可以麻烦您加一下吗？

准备做个机器视觉开发板，有兴趣的可以讨论一下

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源

本帖子中包含更多资源