【正点原子FPGA连载】第三十六章MT9V034摄像头HDMI显示实验

正点原子

1）实验平台：正点原子达芬奇FPGA开发板
2）购买链接:https://detail.tmall.com/item.htm?id=624335496505
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/fpga/zdyz_dafenqi.html
4） 正点原子官方B站：https://space.bilibili.com/394620890
5）对正点原子FPGA感兴趣的同学可以加群讨论：905624739 点击加入:

第三十六章MT9V034摄像头HDMI显示实验

在MT9V034摄像头LCD显示实验中，成功地在LCD屏上实时显示出了摄像头采集的图像。本章将使用FPGA开发板实现对MT9V034的数字图像采集并在HDMI显示器上实时显示。
本章包括以下几个部分：
3636.1简介
36.2实验任务
36.3硬件设计
36.4程序设计
36.5下载验证


36.1
简介
在“MT9V034摄像头TFT-LCD显示实验”中对MT9V034的视频传输时序、两线式接口总线协议以及寄存器的配置信息等内容作了详细的介绍，如果大家对这部分内容不是很熟悉的话，请参考“MT9V034摄像头TFT-LCD显示实验”中的MT9V034简介部分。
36.2实验任务
本节实验任务是使用达芬奇开发板及MT9V034摄像头实现图像采集，通过HDMI接口驱动HDMI显示器，并实时显示出图像。
36.3硬件设计
摄像头扩展接口原理图及MT9V034模块说明与“MT9V034摄像头TFT-LCD显示实验”完全相同，请参考“MT9V034摄像头TFT-LCD显示实验”硬件设计部分。HDMI接口部分的硬件设计请参考“HDMI彩条显示实验”中的硬件设计部分。
由于MT9V034、HDMI接口和DDR3引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里不再列出管脚分配。
36.4程序设计
图 36.4.1是根据本章实验任务画出的系统框图。对比“MT9V034摄像头RGB-LCD显示实验”的系统框图可以发现，本次实验只是把LCD顶层模块替换成了HDMI顶层模块，将图像采集顶层模块替换成图像采集模块,其余模块（除时钟模块外）完全相同。图像采集顶层模块和图像采集模块的区别在于，图像采集顶层模块包含了摄像头裁剪模块，但是由于本次实验所用的HDMI显示器的分辨率与摄像头的分辨率相同，因此本次实验不需要对摄像头图像进行裁剪。时钟模块用于为I2C驱动模块、HDMI顶层模块以及DDR控制模块提供驱动时钟；I2C驱动模块和I2C配置模块用于初始化MT9V034图像传感器；摄像头采集模块负责采集摄像头图像数据，并且把图像数据写入DDR控制模块中；DDR控制模块负责将用户数据写入和读出片外DDR3存储器；HDMI顶层模块负责驱动HDMI显示器。本章使用的HDMI显示器其分辨率为640*480，而MT9V034传感器的本次实验所配置的分辨率为640*480，所以HDMI显示器不需要填充黑色的像素点。

图 36.4.1 顶层系统框图

由上图可知，时钟模块（clk_wiz_0）为HDMI顶层模块、DDR控制模块以及I2C驱动模块提供驱动时钟。I2C配置模块和I2C驱动模块控制着传感器初始化的开始与结束，传感器初始化完成后图像采集模块将采集到的数据写入DDR控制模块，HDMI顶层模块从DDR控制模块中读出数据并驱动显示器显示，这时整个系统才完成了数据的采集、缓存与显示。需要注意的是图像数据采集模块是在DDR3和传感器都初始化完成之后才开始输出数据的，避免了在DDR3初始化过程中向里面写入数据。
顶层模块的原理图如下图所示：

图 36.4.2 顶层模块原理图

FPGA顶层模块（mt9v034_hdmi）例化了以下六个模块：时钟模块（clk_wiz_0）、I2C驱动模块（i2c_dri）、I2C配置模块（i2c_cfg）、图像采集模块（cmos_capture_raw_gray）、DDR控制模块（ddr3_top）和HDMI顶层模块（hdmi_top）。
时钟模块（clk_wiz_0）：时钟模块通过调用MMCM IP核实现，共输出4个时钟，频率分别为200Mhz（DDR3参考时钟）、50Mhz时钟、25Mhz时钟和125M时钟（HDMI像素时钟的5倍频）。200Mhz时钟作为DDR控制模块的参考时钟，由MIG IP核产生的ui_clk（本次设计为100Mhz）作为DDR控制模块的驱动时钟，50Mhz时钟作为I2C驱动模块，25Mhz时钟和125M时钟（HDMI像素时钟的5倍频）负责驱动HDMI顶层模块。
I2C驱动模块（i2c_dri）：I2C驱动模块负责驱动MT9V034的两线式接口总线，用户可根据该模块提供的用户接口可以很方便的对MT9V034的寄存器进行配置，该模块和“EEPROM读写实验”章节中用到的I2C驱动模块为同一个模块，有关该模块的详细介绍请大家参考“EEPROM读写实验”章节。
I2C配置模块（i2c_cfg）：I2C配置模块的驱动时钟是由I2C驱动模块输出的时钟提供的，这样方便了I2C驱动模块和I2C配置模块之间的数据交互。该模块寄存需要配置的寄存器地址、数据以及控制初始化的开始与结束，同时该模块输出MT9V034的寄存器地址和数据以及控制I2C驱动模块开始执行的控制信号，直接连接到I2C驱动模块的用户接口，从而完成对MT9V034传感器的初始化。
图像采集模块（cmos_capture_raw_gray）：在像素时钟的驱动下将传感器输出的场同步信号、行同步信号以及8位数据信号进行采集，在摄像头数据稳定后输出场同步信号、行同步信号以及8位数据信号，以提供给DDR控制模块所使用。
DDR控制模块（ddr3_top）：DDR读写控制器模块负责驱动DDR片外存储器，缓存图像传感器输出的图像数据。该模块将MIG IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。
有关DDR控制模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。
HDMI顶层模块（hdmi_top）：HDMI顶层模块负责驱动HDMI显示器的驱动信号的输出，同时为其他模块提供LCD屏参数、场同步信号和数据请求信号。HDMI顶层模块例化了HDMI驱动模块（video_driver）和HDMI驱动转换顶层模块（dvi_transmitter_top）。HDMI驱动模块负责产生行场信号和数据有效使能信号和像素点的横纵坐标，并将内部信号data_req（数据请求信号）输出至端口，方便从DDR控制器中读取数据。HDMI驱动转换顶层模块负责将RGB888格式的视频图像转换成TMDS数据输出。有关HDMI驱动模块、HDMI驱动转换顶层模块的详细介绍请大家参考“HDMI彩条显示实验”章节，HDMI显示模块详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。
36.5下载验证
编译完工程之后就可以开始下载程序了。将MT9V034摄像头模块插在达芬奇开发板的“OLED/CAMERA”插座上，并将HDMI电缆一端连接到开发板上的HDMI_B插座、另一端连接到显示器。将下载器一端连电脑，另一端与开发板上的JTAG端口连接，连接电源线并打开电源开关。接下来我们下载程序，验证MT9V034 HDMI实时显示功能。下载完成后观察HDMI显示器显示的图案如下图所示，说明MT9V034 HDMI实时显示程序下载验证成功。

图 36.5.1 HDMI实时显示图像