这段时间做了个STM32的光流

kevincoooool

之前一直是用的PIXFLOW和匿名的光流
所以一直想自己做一个理解一下其中的过程
匿名的只是为了赚钱 所以不开源  只有看pixflow的源码了
其中截取了一部分
复制到了自己的工程里

1. ///////////////////////////////////////////////////////
   
2. //函数功能：检测某点是否是特征点
   
3. ///////////////////////////////////////////////////////
   
4. static inline uint32_t compute_diff(uint8_t *image, uint16_t offX, uint16_t offY, uint16_t row_size)
   
5. {
   
6.         uint16_t off = (offY + 2) * row_size + (offX + 2); // we calc only the 4x4 pattern
   
7.         uint32_t acc;
   
8.        
   
9.         //4*4像素向下求差，再累加
   
10.         acc = __USAD8 (*((uint32_t*) &image[off + 0 + 0 * row_size]), *((uint32_t*) &image[off + 0 + 1 * row_size]));
    
11.         acc = __USADA8(*((uint32_t*) &image[off + 0 + 1 * row_size]), *((uint32_t*) &image[off + 0 + 2 * row_size]), acc);
    
12.         acc = __USADA8(*((uint32_t*) &image[off + 0 + 2 * row_size]), *((uint32_t*) &image[off + 0 + 3 * row_size]), acc);
    
13. 
    
14.         //4*4像素向右求差，再累加
    
15.         uint32_t col1 = (image[off + 0 + 0 * row_size] << 24) | image[off + 0 + 1 * row_size] << 16 | image[off + 0 + 2 * row_size] << 8 | image[off + 0 + 3 * row_size];
    
16.         uint32_t col2 = (image[off + 1 + 0 * row_size] << 24) | image[off + 1 + 1 * row_size] << 16 | image[off + 1 + 2 * row_size] << 8 | image[off + 1 + 3 * row_size];
    
17.         uint32_t col3 = (image[off + 2 + 0 * row_size] << 24) | image[off + 2 + 1 * row_size] << 16 | image[off + 2 + 2 * row_size] << 8 | image[off + 2 + 3 * row_size];
    
18.         uint32_t col4 = (image[off + 3 + 0 * row_size] << 24) | image[off + 3 + 1 * row_size] << 16 | image[off + 3 + 2 * row_size] << 8 | image[off + 3 + 3 * row_size];
    
19. 
    
20.         //全部累加
    
21.         acc = __USADA8(col1, col2, acc);
    
22.         acc = __USADA8(col2, col3, acc);
    
23.         acc = __USADA8(col3, col4, acc);
    
24. 
    
25.         return acc;
    
26. }

复制代码

1. ///////////////////////////////////////////////////////
   
2. //函数功能：比较两副8X8像素图片的相似度
   
3. ///////////////////////////////////////////////////////
   
4. static inline uint32_t compute_sad_8x8(uint8_t *image1, uint8_t *image2, uint16_t off1X, uint16_t off1Y, uint16_t off2X, uint16_t off2Y, uint16_t row_size)
   
5. {
   
6.         uint16_t off1 = off1Y * row_size + off1X; // image1
   
7.         uint16_t off2 = off2Y * row_size + off2X; // image2
   
8. 
   
9.         //两副8*8像素对应相减，再累加
   
10.         uint32_t acc;
    
11.        
    
12.         //第一行相减，再累加
    
13.         acc = __USAD8 (*((uint32_t*) &image1[off1 + 0 + 0 * row_size]), *((uint32_t*) &image2[off2 + 0 + 0 * row_size]));
    
14.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 0 * row_size]), *((uint32_t*) &image2[off2 + 4 + 0 * row_size]), acc);
    
15.        
    
16.         //第二行相减，再累加，依次类推
    
17.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 1 * row_size]), *((uint32_t*) &image2[off2 + 0 + 1 * row_size]), acc);
    
18.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 1 * row_size]), *((uint32_t*) &image2[off2 + 4 + 1 * row_size]), acc);
    
19. 
    
20.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 2 * row_size]), *((uint32_t*) &image2[off2 + 0 + 2 * row_size]), acc);
    
21.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 2 * row_size]), *((uint32_t*) &image2[off2 + 4 + 2 * row_size]), acc);
    
22. 
    
23.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 3 * row_size]), *((uint32_t*) &image2[off2 + 0 + 3 * row_size]), acc);
    
24.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 3 * row_size]), *((uint32_t*) &image2[off2 + 4 + 3 * row_size]), acc);
    
25. 
    
26.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 4 * row_size]), *((uint32_t*) &image2[off2 + 0 + 4 * row_size]), acc);
    
27.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 4 * row_size]), *((uint32_t*) &image2[off2 + 4 + 4 * row_size]), acc);
    
28. 
    
29.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 5 * row_size]), *((uint32_t*) &image2[off2 + 0 + 5 * row_size]), acc);
    
30.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 5 * row_size]), *((uint32_t*) &image2[off2 + 4 + 5 * row_size]), acc);
    
31. 
    
32.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 6 * row_size]), *((uint32_t*) &image2[off2 + 0 + 6 * row_size]), acc);
    
33.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 6 * row_size]), *((uint32_t*) &image2[off2 + 4 + 6 * row_size]), acc);
    
34. 
    
35.         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 7 * row_size]), *((uint32_t*) &image2[off2 + 0 + 7 * row_size]), acc);
    
36.         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 7 * row_size]), *((uint32_t*) &image2[off2 + 4 + 7 * row_size]), acc);
    
37. 
    
38.         return acc;
    
39. }

复制代码

然后每隔4个像素来找特征点

1.                         //上下左右循环移动4个像素对比图片相似度
   
2.                         for(int8_t yy=winmin; yy<=winmax; yy++)
   
3.                         {
   
4.                                 for(int8_t xx=winmin; xx<=winmax; xx++)
   
5.                                 {
   
6.                                         //计算匹配度
   
7.                                         temp_match = compute_sad_8x8(image_new, image_old, x, y, x + xx, y + yy, wid);
   
8.                                        
   
9.                                         //寻找最小值，越小越相似
   
10.                                         if (temp_match < match_min)
    
11.                                         {
    
12.                                                 sumx = xx;
    
13.                                                 sumy = yy;
    
14.                                                 match_min = temp_match;
    
15.                                         }
    
16.                                 }
    
17.                         }

复制代码

最后实际的效果还不错 就是激光模块给手焊坏了

实际的波形

总之慢慢完善啦

nnnkey

实际效果如何

TANK99

现在有光流摄像头了吧？

kevincoooool

nnnkey 发表于 2018-3-3 07:19
实际效果如何

实际定点10cm内飘

kevincoooool

TANK99 发表于 2018-3-3 07:50
现在有光流摄像头了吧？

那些是商用的，自己做的更有意义

Excellence

路过了解一下。

zzipeng

一块板硬件成本50可以吗

kevincoooool

zzipeng 发表于 2018-3-3 10:11
一块板硬件成本50可以吗

成本肯定不止50

chewy

弱弱问一下 什么是光流呐…

kevincoooool

chewy 发表于 2018-3-3 22:14
弱弱问一下 什么是光流呐…

就是一种可以检测画面相对移动方向的相对移动速度的视觉硬件