CDPnP 摄像头 CDCAM 升级，增加 fpga 读摄像头数据

dukelec

升级之前：


升级之后：


升级之前，stm32g0 通过摄像头的 pclk 接到 io 口中断，在中断函数取 8 位摄像头 io 口数据，pclk 只能跑 400khz 左右，再高中断忙不过来

升级之后，fpga 内部搞 8 个 256 字节的 page 做缓存，fpga 自动搬运摄像头 jpg 数据到缓存
然后 stm32g0 不停取 page 数据，pclk 速度不再有限制


fpga 固件有 60KBytes 左右，通过 lz4 算法压缩到 10KBytes 以内，放在 mcu flash 内部，mcu 每次上电通过 spi 给 fpga 配置固件，后面也是通过同一个 spi 传输图片数据

lz4 算法同样是从 linux kernel 代码取出来的，方便用于各种 mcu

代码已经更新到： https://github.com/dukelec/cdcam

cetxuch

感谢分析。如果能够附上前后性能测试对比就更棒了。

五一快乐！

cne53102

摄像头也不一样了呢

liuzhijun2008

用的是国产FPGA吗? 封装挺小的

qtechzdh

liuzhijun2008 发表于 2023-4-30 22:03
用的是国产FPGA吗? 封装挺小的
(引用自4楼)

这是Lattic的ICE40啊。

dukelec

cne53102 发表于 2023-4-30 20:08
摄像头也不一样了呢
(引用自3楼)

摄像头没变，CDPNP 用的一直都是第二个图的镜头，第一个图当时是拍照的时候觉的拍出来好看，才选它给 CDCAM 拍照

dukelec

liuzhijun2008 发表于 2023-4-30 22:03
用的是国产FPGA吗? 封装挺小的
(引用自4楼)

看到右下角的模组了没，2016 晶体上面的黑色方形芯片也是同系列同容量的 lattice 的 fpga，我之所以用大封装 fpga 收摄像头数据，是为了做 pcb 方便

wxws

可以用 rp2040 .一颗芯片解决了。

dukelec

wxws 发表于 2023-5-1 04:47
可以用 rp2040 .一颗芯片解决了。
(引用自8楼)

我看 github 上面用 rp2040 驱动 ov2640 只支持到 352x288 像素

使用 pio 貌似也只能 让 pclk 受控于 href & vsync，不能实现：
dma 搬运 250 字节 camera 数据到指定 buffer，然后搬运后序字节到另一个 250 大小的 buffer

只有这样，我才能一边 dma 读摄像头数据，一边把数据通过 485 发送出去

这样摄相头画面大小不受 mcu 内存限制

而且我不喜欢 pio 要单独学一套 pio 的编程语言，且只能用在 rp 芯片上，学的知识其它芯片用不了

codefish

顶一下！！！

wxws

rp2040的pio，当然能够与自带的dma 交互

这个demo就用了这个功能。https://github.com/the6p4c/rp2040_ov2640

不过我没玩过ov2640，不知道这个为什么只用了352*288，当然也要考虑rp2040对外输出 速度。

多dma 交替也能实现。定义好dma数量 ，完成后中断，并启用另一个dma,
中断里就去发数据就行了。

我对ov2640不熟，不明白你的 ：“使用 pio 貌似也只能 让 pclk 受控于 href & vsync，"
pclk不是由ov2640自已输出的吗？


只是最近2040搞得多，建议而已。 Pio 还是值得花点时间的。

哦，替代是指用2040，替换你这方案里的fpga+stm32

dukelec

wxws 发表于 2023-5-1 11:59
rp2040的pio，当然能够与自带的dma 交互

这个demo就用了这个功能。https://github.com/the6p4c/rp2040_ov2 ...
(引用自11楼)

“让 pclk 受控于 href & vsync” 我指的是接收方式，href 和 vsync 都是有效的时候，pclk 才生效，data 数据才在 pclk 跳变的时候被采集

“定义好dma数量 ，完成后中断，并启用另一个dma”

可能不太行，因为高分辨率的时候 pclk 频率很高，中断的时候可能已经丢掉好几个有效的 pclk 了

更高阶的 cpu 支持队列 dma，硬件完成一个 dma 任务后会立即开启队列中下一个 dma 任务，无需中断 cpu

不过，这种高阶的 cpu 内存也很大，不需要使用 dma 的队列功能，譬如 x1600 这样的内置 ddr 内存可以跑 linux 的 cpu

qwe2231695

上CSI接口，全局快门的sensor。搞一个SOC级别的采集前端CPU，压缩mjpeg，通过UVC或者UDP推送到PC。

wxws

dma完成，可以自动启动下一个dma,做成一个环。
不知道你现在的模式下，pclk有多快。会不会丢就不好说了，但应该不会丢，Pio有fifo的，dma采的不会丢 。

我说的中断，只是说有了数据后去处理发送，但事实上，完全也可以由pio来实现发送过程，由dma来触发

几个介绍 pio应用的文章，还是可以看看：
做个频率计  https://rjk.codes/post/building-a-frequency-counter/
驱动EL屏 https://www.youtube.com/watch?v=dN7OhS3jSVg
驱动VGA显示器  https://vanhunteradams.com/Pico/VGA/VGA.html

dukelec

qwe2231695 发表于 2023-5-1 12:45
上CSI接口，全局快门的sensor。搞一个SOC级别的采集前端CPU，压缩mjpeg，通过UVC或者UDP推送到PC。 ...
(引用自13楼)

我之前有考虑直接用 x1600 cpu，自带 cdbus 高速 485 控制器

上 cpu 可以直接压成视频传输了

这次时间比较赶，不想搞这么复杂

dukelec

wxws 发表于 2023-5-1 12:49
dma完成，可以自动启动下一个dma,做成一个环。
不知道你现在的模式下，pclk有多快。会不会丢就不好说了，但 ...
(引用自14楼)

配置两个 dma 任务，第一个 dma 结束，硬件自动启动下一个 dma，这样倒是可以。
常用的 mcu 只有 rp 有这样的功能吗？stm32 的 dma 有这样的功能吗？

pclk 我现在设置的是 2 MHz，这个摄相头一般可以到 20 多 MHz

wxws

只是2M呀，pio与dma速度肯定够.
2*8bit  要16M bps 了
就是不知道外发够不够


我的一个小玩意，也是卡在外发速度上?

dukelec

wxws 发表于 2023-5-1 18:50
只是2M呀，pio与dma速度肯定够.
2*8bit  要16M bps 了
就是不知道外发够不够

(引用自17楼)

外发倒是没这么快

它 pclk 2M 的时候，大多数时间 href 是没使能的
偶尔连续出数据，mcu 也有缓存空间，虽然也不是很大

外发数据量主要看帧率和 jpeg 图片大小（和所拍内容有关）

我现在用的是 1M+10M 双速率 rs485，1M 速率阶段，默认空 3 字节（可以减少），加 1 字节源地址总共 4 字节，等效 10M 速率的 40 字节，再加 4 字节 cdbus 头尾和 2 字节 cdnet 头的开销，总共 46 字节，有效数据 250 字节，有效数据按字节算占：250 / (250 + 46) ≈ 84.4% （空 1 字节 + 1 bit 则是 90%）

也就是说，当前总线配置跑满传图片文件的速度是 10Mbps x 84.4% = 1MBytes x 84.4% = 0.84 MBytes / sec，目前 800x600 一张图基本不到 100 KBytes

之前有想过用 stm32 dma 环形 buffer 接收摄相头数据，然后多 copy 一次：把环形 buffer 数据拷贝到外发的数据 buffer

环形 buffer 也要改用 dma 支持 gpio 的 stm32g431，外面再加一个门电路芯片，mcu 内存反而变小，芯片贵很多，还不如 stm32g0 加一个便宜的 fpga

你上面说的 rp 芯片，支持 dma chain，又有 pio 可以调理 href vsync 和 pclk 的关系，的确可以单芯片实现我想要的功能，而且片子很便宜，但是片子可替代性有点差，我暂时也没时间学新的环境，等有时间可以试试

wxws

话说用rp的pio  实现cdbus好象没啥问题，
真正一颗ic搞定了。

liandao

wxws 发表于 2023-5-2 11:06
话说用rp的pio  实现cdbus好象没啥问题，
真正一颗ic搞定了。
(引用自19楼)

期待rpi2040实现的cdbus！