最近在做基于kinect的3D物体识别，今后想整合一个识别模块

YFM · 发表于 2015-10-20 04:53:13

      目前做基于kinect的3D物体识别。
平台： ubuntu 14.04
         ROS 框架
         ORK 物体识别框架
      couchDB 数据库
         PC平台 intel i7处理器
   是参照这个做的（从3D mesh 到上载数据库到3D识别）:
http://wg-perception.github.io/object_recognition_core/

效果不错实时性也挺好（两个物体 10帧每秒）
效果如下：两个物体（上），识别结果（下）

   现在准备做一个双目视觉和2D/3D识别整合在一起的模块，请大家给点建
议。

   市面上有一款开源的pixy是一款2D，以颜色识别为主，基于cortex-M核的物体识别模块
   http://cmucam.org/projects/cmucam5/wiki

   之前我在opencv下做过基于SURF特征点的2D物体识别，所以决定应该做一个深度图像生成和
2D/3D物体识别整合在一起的传感器。下面说一下我计划的模块的基本信息。

   模块有两个摄像头，输出为1000base以太网，逻辑输出接口为openni兼容和ROS topic兼容。
还有一路UART输出用作被识别物体位置和ID输出。
   硬件准备使用ARM加FPGA架构，ARM使用cortex-a9运行ARM版的ubuntu系统以支持couchDB
数据库，ROS，网路，openni。FPGA内采用NIOS和定制IP紧耦合的AMP计算架构实现深度图像生
成，以及2D/3D物体识别的实时处理。ARM和FPGA通讯采用GMII接口。

硬件框图，功能模块划分如下：

wye11083 · 发表于 2015-10-20 07:34:52

kinect？大哥，你搞错了吧。kinect只能在windows上运行。

熵之矢 · 发表于 2015-10-20 08:49:20

提醒楼主，双目摄像头需要带同步触发，且需要使用global shutter的相机。

孤独的猫 · 发表于 2015-10-20 09:23:47

wye11083 发表于 2015-10-20 07:34
kinect？大哥，你搞错了吧。kinect只能在windows上运行。

linux上也可以·

万物互联 · 发表于 2015-10-20 10:58:15

楼主能分享下Kinect的通信协议开发资料吗？

YFM · 发表于 2015-10-20 17:45:43

万物互联发表于 2015-10-20 10:58
楼主能分享下Kinect的通信协议开发资料吗？

通讯协议就是openNI啊我没有用微软的sdk

YFM · 发表于 2015-10-20 17:52:51

熵之矢发表于 2015-10-20 08:49
提醒楼主，双目摄像头需要带同步触发，且需要使用global shutter的相机。

两个摄像头挂在同一块fpga上很容易做到，一个摄像头给固定的25MHz时钟，另外一个摄像头的时钟由25MHz时钟通过DDS出来。通过检测两个VSYNC的相位改变DDS参数从而改变频偏，从而最终两个VSYNC同步。

nibia · 发表于 2016-3-1 08:49:27

YFM 发表于 2015-10-20 17:52
两个摄像头挂在同一块fpga上很容易做到，一个摄像头给固定的25MHz时钟，另外一个摄像头的时钟由25MHz时钟 ...

楼主现在做的怎么样了？

andyzhao2015 · 发表于 2016-3-1 15:44:43

非常好，学习！

最近在做基于kinect的3D物体识别，今后想整合一个识别模块

本帖子中包含更多资源

阿莫论坛20周年了！感谢大家的支持与爱护！！