有没有算法大神，检测人眼在一幅图像中的准确坐标，应该用哪类算法？

xxdd · 发表于 2021-1-18 17:03:23

项目中，需要实时检测人眼在图像中的物理坐标，应该用哪类算法比较合适？
只需要检测定位眼睛中心点即可，不要检测人脸是谁
请大家推荐一下，这种需求用哪类算法比较合适？
大概了解了一下CNN，CNN貌似只适合检测有没有，不适合检测具体位置

yplin27 · 发表于 2021-1-18 17:24:22

属于object detection，faster rcnn，yolo之类的模型可以

chun2495 · 发表于 2021-1-18 17:41:07

有没有就可以了呀，有的话他返回的是目标的识别框坐标，这就相当给了你中心点坐标。你用第二个物体检测网络就行了。

Bunny_Girl · 发表于 2021-1-18 18:07:25

自己写呢？

xxdd · 发表于 2021-1-18 22:48:25

chun2495 发表于 2021-1-18 17:41
有没有就可以了呀，有的话他返回的是目标的识别框坐标，这就相当给了你中心点坐标。你用第二个物体检测网络 ...

你发的这个是什么平台上的？
如果能准确、稳定的标出识别框坐标，当然是可以的。

xxdd · 发表于 2021-1-18 22:49:58

Bunny_Girl 发表于 2021-1-18 18:07
自己写呢？

能自己写当然好了，可惜自己没这方面经验，所以才来向大家请教
就算是自己写，首先要知道用哪类算法，才能下手嘛

dellric · 发表于 2021-1-19 00:00:04

如果是ONE STAGE定位，请看SSD或YOLO-V3

qwe2231695 · 发表于 2021-1-19 01:14:55

安装opencv 用openvino送的预训练模型, 三两行代码就行了, 电脑cpu可以跑30fps以上, 树莓派的话插计算棒也可以达到30fps.

xxdd · 发表于 2021-1-19 08:27:41

qwe2231695 发表于 2021-1-19 01:14
安装opencv 用openvino送的预训练模型, 三两行代码就行了, 电脑cpu可以跑30fps以上, 树莓派的话插计算棒也 ...

30fps是在什么分辨率下？
另外，opencv的算法有没有办法用fpga
加速？我们需要比较高的定位速

bugkillbug · 发表于 2021-1-19 08:38:10

单反的眼部对焦，用的是哪个算法

Bunny_Girl · 发表于 2021-1-19 08:55:18

什么是OpenVINO？
OpenVINO™视觉库(CVSDK)可快速部署模拟人类视觉的应用程序和解决方案。主要包括基于卷积神经网络（CNN）推断模块IE，可以部署深度学习模型部署工具包(DLDT)。

关键词 —— 卷积

————————————————

这种算法的原理讲起来也简单，就是穷举出具有特征代表性的眼睛图片，提取并加以处理，得到滤波器组 —— 也就是神经网络训练

再用一堆具有代表性的待检测的图片，分别用每一个滤波器都卷积一遍，得出的结果，值越大的就越匹配 —— 这里就可以“训练”出筛选用的阈值
比如，每张用于训练的待测图片，有且仅有一对眼睛 —— 那么滤波器卷积的结果中最大值就是最匹配的点
全组滤波器都对应得到各自的匹配值，匹配值最大的就是最匹配的滤波器 —— 如果都低于阈值，那就是没有检测到了

为了降低算法复杂度，图片可以先作预处理
比如可以转成灰度，然后二值化 —— 眼睛颜色往往比较深
不过不同人种差异大，黄种人眼珠颜色深，白种人浅，黑人皮肤太黑了可能用眼白来识别更好……
具体的算法优化化简、不同场景的自适性，都是需要统计分析的(也就是训练)

————————————

人眼检测这种，已有成熟的算法方案，大部分都已经训练好了，使用者再给些特征图片再自动训练下就好了

Bunny_Girl · 发表于 2021-1-19 08:59:13

美颜相机就有人脸识别，就包括了人眼识别 —— 人脸比人眼更具特征性
人眼难识别的场景，先识别整体的人脸，再对焦到人眼，也是可以的
美颜相机也是有时候会检测不到人脸的 —— 算法的适应性也是有差的
已有算法，如果不能满足自己的要求，就得自己优化甚至从头自己写

niaojingxin · 发表于 2021-1-19 09:11:08

用卷积神经网络的话，训练网络么，可能网上的例子多了，不会太慢，但是熟悉整个深度学习的概念和搭建环境，估计得花不少时间，部署到嵌入式平台下，也需要不少时间。opencv有现成的人眼和人脸检测的代码，特征检测，我移植了人脸识别到imx6跑的是uvc摄像头，玩了下，速度不敢恭维。后面移植了caffe到imx6，用例子里面训练好的网络跑mnist数据集，速度还可以。

chun2495 · 发表于 2021-1-19 09:21:57

xxdd 发表于 2021-1-18 22:48
你发的这个是什么平台上的？
如果能准确、稳定的标出识别框坐标，当然是可以的。 ...

百度的easydl，你可以先在上面用一组标注数据去训练，然后预测下未知图像。看方案是否可行。然后再考虑下一步

jiayue12450 · 发表于 2021-1-19 09:24:27

YOLO-V3模型可以的，我们最近在用FPGA做这个事情

mikewang011 · 发表于 2021-1-19 09:25:49

就是检测 landmarks，mtcnn 比较小，应该可以实现

xxdd · 发表于 2021-1-19 10:45:15

jiayue12450 发表于 2021-1-19 09:24
YOLO-V3模型可以的，我们最近在用FPGA做这个事情

你们用的什么平台，图像源是多少分辨率，识别速度能到多少？
如果成熟的话，我们也可以考虑购买你们的方案，对个人或对公司都行

qwe2231695 · 发表于 2021-1-19 11:02:37

采集分辨率随意 , 网络输入图像300*300 , 60fps 够吗

xxdd · 发表于 2021-1-19 17:17:11

jiayue12450 发表于 2021-1-19 09:24
YOLO-V3模型可以的，我们最近在用FPGA做这个事情

http://www.snowlake-tech.com/yolo_v3_tiny_dcu
有家公司刚好做过这个，可以参考一下

jiayue12450 · 发表于 2021-1-19 20:44:51

xxdd 发表于 2021-1-19 17:17
http://www.snowlake-tech.com/yolo_v3_tiny_dcu
有家公司刚好做过这个，可以参考一下

DEMO级别，主要教学用的，参数不堪入目，哈哈。intel的FPGA方案。

xxdd · 发表于 2021-1-19 22:10:12

jiayue12450 发表于 2021-1-19 20:44
DEMO级别，主要教学用的，参数不堪入目，哈哈。intel的FPGA方案。

那你们做到什么程度了？

jiayue12450 · 发表于 2021-1-20 10:59:38

xxdd 发表于 2021-1-19 22:10
那你们做到什么程度了？

目前0.3-0.5帧，第二期改进后3-5帧。图片分辨率300*300。

albert_w · 发表于 2021-1-20 11:37:21

xxdd 发表于 2021-1-19 10:45
你们用的什么平台，图像源是多少分辨率，识别速度能到多少？
如果成熟的话，我们也可以考虑购买你们的方 ...

不宜过分关注分辨率。除非你有大量人眼在一个照片中。一般做法都是降低分辨率框出人眼。分辨率高了神经网络很慢的

xxdd · 发表于 2021-1-20 11:51:30

albert_w 发表于 2021-1-20 11:37
不宜过分关注分辨率。除非你有大量人眼在一个照片中。一般做法都是降低分辨率框出人眼。分辨率高了神 ...

但是分辨率低了，定位精度就太差了，

有没有算法大神，检测人眼在一幅图像中的准确坐标，应该用哪类算法？

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源