全志V853平台Camera模块开发框架详解

news2024/11/16 19:48:26

Camera

本章节介绍V853平台 Camera 模块的开发。

V853支持并口CSI、MIPI,使用VIN camera驱动框架。

Camera通路框架

在这里插入图片描述

  • VIN支持灵活配置单/双路输入双ISP多通路输出的规格

  • 引入media框架实现pipeline管理

  • 将libisp移植到用户空间解决GPL问题

  • 将统计buffer独立为v4l2 subdev

  • 将的scaler(vipp)模块独立为v4l2 subdev

  • 将video buffer修改为mplane方式,使用户层取图更方便

  • 采用v4l2-event实现事件管理

  • 采用v4l2-controls新特性

VIN框架

框架简介

VIN是全志基于linux 内核v4l2 框架实现自己Soc 的camera 驱动框架。

  • vin.c是驱动的主要功能实现,包括注册/注销、参数读取、与v4l2上层接口、与各device的下层接口、中断处理、buffer申请切换等;

  • 使用过程中可简单的看成是vin模块+ device模块 +af driver + flash控制模块的方式;

  • modules/sensor文件夹里面是各个sensor的器件层实现,一般包括上下电、初始化,各分辨率切换,yuv sensor包括绝大部分的v4l2定义的ioctrl命令的实现;而raw sensor的话大部分ioctrl命令在vin层调用isp库实现,少数如曝光/增益调节会透过vin层到实际器件层;

  • modules/actuator文件夹内是各种vcm的驱动;

  • modules/flash文件夹内是闪光灯控制接口实现;

  • vin-csivin-mipi为对csi接口和mipi接口的控制文件;

  • vin-isp文件夹为isp的库操作文件;

  • vin-video文件夹内主要是video设备操作文件。

在这里插入图片描述

源码结构(linux4.9)

驱动路径位于linux-4.9/drivers/media/platform/sunxi-vin

sunxi-vin:
    │  vin.c                            ;v4l2驱动实现主体(包含视频接口和ISP部分)
    │  vin.h                        ;v4l2驱动头文件
    │  top_reg.c                        ;vin对各v4l2 subdev管理接口实现主体
    │  top_reg.h                        ;管理接口头文件
    │  top_reg_i.h                       ;vin模块接口层部分结构体
    ├── modules
    │   ├── actuator            ;vcm driver
    │   │   ├── actuator.c
    │   │   ├── actuator.h
    │   │   ├── dw9714_act.c
    │   │   ├── Makefile
    │   ├── flash            ;闪光灯 driver
    │   │   ├── flash.c
    │   │   └── flash.h
    │   └── sensor                ;sensor driver
    │       ├── ar0144_mipi.c
    │       ├── camera_cfg.h        ;camera ioctl扩展命令头文件
    │       ├── camera.h        ;camera公用结构体头文件
    │       ├── Makefile
    │       ├── gc2053_mipi.c
    │       ├── ov2775_mipi.c
    │       ├── ov5640.c
    │       ├── sensor-compat-ioctl32.c
    │       ├── sensor_helper.c        ;sensor公用操作接口函数文件
    │       ├── sensor_helper.h
    ├── platform                ;平台相关的配置接口
    ├── utility
    │   ├── bsp_common.c
    │   ├── bsp_common.h
    │   ├── cfg_op.c
    │   ├── cfg_op.h
    │   ├── config.c
    │   ├── config.h
    │   ├── sensor_info.c
    │   ├── sensor_info.h
    │   ├── vin_io.h
    │   ├── vin_os.c
    │   ├── vin_os.h
    │   ├── vin_supply.c
    │   └── vin_supply.h
    ├── vin-cci
    │   ├── sunxi_cci.c
    │   └── sunxi_cci.h
    ├── vin-csi
    │   ├── parser_reg.c
    │   ├── parser_reg.h
    │   ├── parser_reg_i.h
    │   ├── sunxi_csi.c
    │   └── sunxi_csi.h
    ├── vin-isp
    │   ├── sunxi_isp.c
    │   └── sunxi_isp.h
    ├── vin-mipi
    │   ├── sunxi_mipi.c
    │   └── sunxi_mipi.h
    ├── vin-stat
    │   ├── vin_h3a.c
    │   ├── vin_h3a.h
    │   ├── vin_ispstat.c
    │   └── vin_ispstat.h
    ├── vin_test
    ├── vin-video
    │   ├── vin_core.c
    │   ├── vin_core.h
    │   ├── vin_video.c
    │   └── vin_video.h
    └── vin-vipp
        ├── sunxi_scaler.c
        ├── sunxi_scaler.h
        ├── vipp_reg.c
        ├── vipp_reg.h
        └── vipp_reg_i.h

GC2063双摄模组

V853开发板配套了GC2063双摄像头模组,其复用GC2053的驱动,驱动代码路径为:

tina/lichee/linux-4.9/drivers/media/platform/sunxi-vin/modules/sensor/gc2053_mipi.c

此处以GC2063双摄模组为例,介绍V853 Tina系统下的摄像头模块相关配置文件。

Tina配置

Tina 中主要是修改平台的modules.mk配置,modules.mk主要完成两个方面:

  1. 拷贝相关的ko模块到小机rootfs中
  2. rootfs启动时,按顺序自动加载相关的ko模块。

modules.mk文件路径:

tina/target/allwinner/v853-vision/modules.mk

驱动加载配置

 define KernelPackage/vin-v4l2
   SUBMENU:=$(VIDEO_MENU)
   TITLE:=Video input support (staging)
   DEPENDS:=
   FILES:=$(LINUX_DIR)/drivers/media/v4l2-core/videobuf2-core.ko
   FILES+=$(LINUX_DIR)/drivers/media/v4l2-core/videobuf2-dma-contig.ko
   FILES+=$(LINUX_DIR)/drivers/media/v4l2-core/videobuf2-memops.ko
   FILES+=$(LINUX_DIR)/drivers/media/v4l2-core/videobuf2-v4l2.ko
   FILES+=$(LINUX_DIR)/drivers/media/platform/sunxi-vin/vin_io.ko
   FILES+=$(LINUX_DIR)/drivers/media/platform/sunxi-vin/modules/sensor/gc2053_mipi.ko
 #  FILES+=$(LINUX_DIR)/drivers/media/platform/sunxi-vin/modules/sensor_power/sensor_power.ko
   FILES+=$(LINUX_DIR)/drivers/media/platform/sunxi-vin/vin_v4l2.ko
   FILES+=$(LINUX_DIR)/drivers/input/sensor/da380/da380.ko
   AUTOLOAD:=$(call AutoProbe,videobuf2-core videobuf2-dma-contig videobuf2-memops videobuf2-v4l2 vin_io gc2053_mipi vin_v4l2 da380.ko)
 endef

 define KernelPackage/vin-v4l2/description
  Kernel modules for video input support
 endef

 $(eval $(call KernelPackage,vin-v4l2))

S00mpp配置

V853平台在完成modules.mk配置后,还需要完成.ko挂载脚本S00mpp的配置,以便开机快速启动摄像头模块。

S00mpp配置路径:

target/allwinner/v853-vision/busybox-init-base-files/etc/init.d

脚本对摄像头驱动进行了提前加载,应用需要使用的时候即可快速配置并启动。

#!/bin/sh
#
# Load mpp modules....
#

MODULES_DIR="/lib/modules/`uname -r`"

start() {
    printf "Load mpp modules\n"
    insmod $MODULES_DIR/videobuf2-core.ko
    insmod $MODULES_DIR/videobuf2-memops.ko
    insmod $MODULES_DIR/videobuf2-dma-contig.ko
    insmod $MODULES_DIR/videobuf2-v4l2.ko
    insmod $MODULES_DIR/vin_io.ko
#   insmod $MODULES_DIR/sensor_power.ko
    insmod $MODULES_DIR/gc4663_mipi.ko
    insmod $MODULES_DIR/vin_v4l2.ko
    insmod $MODULES_DIR/sunxi_aio.ko
    insmod $MODULES_DIR/sunxi_eise.ko
#   insmod $MODULES_DIR/vipcore.ko
}

stop() {
    printf "Unload mpp modules\n"
#   rmmod $MODULES_DIR/vipcore.ko
    rmmod $MODULES_DIR/sunxi_eise.ko
    rmmod $MODULES_DIR/sunxi_aio.ko
    rmmod $MODULES_DIR/vin_v4l2.ko
    rmmod $MODULES_DIR/gc4663_mipi.ko
#   rmmod $MODULES_DIR/sensor_power.ko
    rmmod $MODULES_DIR/vin_io.ko
    rmmod $MODULES_DIR/videobuf2-v4l2.ko
    rmmod $MODULES_DIR/videobuf2-dma-contig.ko
    rmmod $MODULES_DIR/videobuf2-memops.ko
    rmmod $MODULES_DIR/videobuf2-core.ko
}

case "$1" in
    start)
    start
    ;;
    stop)
    stop
    ;;
    restart|reload)
    stop
    start
    ;;
  *)
    echo "Usage: $0 {start|stop|restart}"
    exit 1
esac

exit $?

DTS配置

DTS配置文件路径:

tina/device/config/chips/v853/configs/vision

camera相关配置:

vind0:vind@0 {
    vind0_clk = <300000000>;
    status = "okay";

    csi2:csi@2 {
        pinctrl-names = "default","sleep";
        pinctrl-0 = <&ncsi_pins_a>;
        pinctrl-1 = <&ncsi_pins_b>;
        status = "disabled";
    };

    tdm0:tdm@0 {
        work_mode = <1>;
    };

    isp00:isp@0 {
        work_mode = <1>;
    };

    scaler00:scaler@0 {
        work_mode = <1>;
    };

    scaler10:scaler@4 {
        work_mode = <1>;
    };

    scaler20:scaler@8 {
        work_mode = <1>;
    };

    scaler30:scaler@12 {
        work_mode = <1>;
    };

    actuator0:actuator@0 {
        device_type = "actuator0";
        actuator0_name = "ad5820_act";
        actuator0_slave = <0x18>;
        actuator0_af_pwdn = <>;
        actuator0_afvdd = "afvcc-csi";
        actuator0_afvdd_vol = <2800000>;
        status = "disabled";
    };

    flash0:flash@0 {
        device_type = "flash0";
        flash0_type = <2>;
        flash0_en = <>;
        flash0_mode = <>;
        flash0_flvdd = "";
        flash0_flvdd_vol = <>;
        status = "disabled";
    };

    sensor0:sensor@0 {
        device_type = "sensor0";
        sensor0_mname = "gc2053_mipi";
        sensor0_twi_cci_id = <1>;
        sensor0_twi_addr = <0x6e>;
        sensor0_mclk_id = <0>;
        sensor0_pos = "rear";
        sensor0_isp_used = <1>;
        sensor0_fmt = <1>;
        sensor0_stby_mode = <0>;
        sensor0_vflip = <0>;
        sensor0_hflip = <0>;
        sensor0_iovdd-supply = <&reg_aldo2>;
        sensor0_iovdd_vol = <1800000>;
        sensor0_avdd-supply = <&reg_bldo2>;
        sensor0_avdd_vol = <2800000>;
        sensor0_dvdd-supply = <&reg_dldo2>;
        sensor0_dvdd_vol = <1200000>;
        sensor0_power_en = <>;
        sensor0_reset = <&pio PA 18 1 0 1 0>;
        sensor0_pwdn = <&pio PA 19 1 0 1 0>;
        sensor0_sm_hs = <>;
        sensor0_sm_vs = <>;
        flash_handle = <&flash0>;
        act_handle = <&actuator0>;
        status  = "okay";
    };

    sensor1:sensor@1 {
        device_type = "sensor1";
        sensor1_mname = "gc2053_mipi_2";
        sensor1_twi_cci_id = <0>;
        sensor1_twi_addr = <0x7f>;
        sensor1_mclk_id = <1>;
        sensor1_pos = "front";
        sensor1_isp_used = <1>;
        sensor1_fmt = <1>;
        sensor1_stby_mode = <0>;
        sensor1_vflip = <0>;
        sensor1_hflip = <0>;
        sensor1_iovdd-supply = <&reg_aldo2>;
        sensor1_iovdd_vol = <1800000>;
        sensor1_avdd-supply = <&reg_bldo2>;
        sensor1_avdd_vol = <2800000>;
        sensor1_dvdd-supply = <&reg_dldo2>;
        sensor1_dvdd_vol = <1200000>;
        sensor1_power_en = <>;
        sensor1_reset = <&pio PA 20 1 0 1 0>;
        sensor1_pwdn = <&pio PA 21 1 0 1 0>;
        sensor1_sm_hs = <>;
        sensor1_sm_vs = <>;
        flash_handle = <>;
        act_handle = <>;
        status  = "okay";
    };

    vinc00:vinc@0 {
        vinc0_csi_sel = <0>;
        vinc0_mipi_sel = <0>;
        vinc0_isp_sel = <0>;
        vinc0_isp_tx_ch = <0>;
        vinc0_tdm_rx_sel = <0>;
        vinc0_rear_sensor_sel = <0>;
        vinc0_front_sensor_sel = <0>;
        vinc0_sensor_list = <0>;
        work_mode = <0x1>;
        status = "okay";
    };

    vinc01:vinc@1 {
        vinc1_csi_sel = <1>;
        vinc1_mipi_sel = <1>;
        vinc1_isp_sel = <1>;
        vinc1_isp_tx_ch = <0>;
        vinc1_tdm_rx_sel = <1>;
        vinc1_rear_sensor_sel = <1>;
        vinc1_front_sensor_sel = <1>;
        vinc1_sensor_list = <0>;
        status = "okay";
    };

    vinc02:vinc@2 {
        vinc2_csi_sel = <2>;
        vinc2_mipi_sel = <0xff>;
        vinc2_isp_sel = <2>;
        vinc2_isp_tx_ch = <2>;
        vinc2_tdm_rx_sel = <2>;
        vinc2_rear_sensor_sel = <0>;
        vinc2_front_sensor_sel = <0>;
        vinc2_sensor_list = <0>;
        status = "disabled";
    };

    vinc03:vinc@3 {
        vinc3_csi_sel = <0>;
        vinc3_mipi_sel = <0xff>;
        vinc3_isp_sel = <0>;
        vinc3_isp_tx_ch = <0>;
        vinc3_tdm_rx_sel = <0>;
        vinc3_rear_sensor_sel = <1>;
        vinc3_front_sensor_sel = <1>;
        vinc3_sensor_list = <0>;
        status = "disabled";
    };

    vinc10:vinc@4 {
        vinc4_csi_sel = <0>;
        vinc4_mipi_sel = <0>;
        vinc4_isp_sel = <0>;
        vinc4_isp_tx_ch = <0>;
        vinc4_tdm_rx_sel = <0>;
        vinc4_rear_sensor_sel = <0>;
        vinc4_front_sensor_sel = <0>;
        vinc4_sensor_list = <0>;
        work_mode = <0x1>;
        status = "okay";
    };

    vinc11:vinc@5 {
        vinc5_csi_sel = <1>;
        vinc5_mipi_sel = <1>;
        vinc5_isp_sel = <1>;
        vinc5_isp_tx_ch = <0>;
        vinc5_tdm_rx_sel = <1>;
        vinc5_rear_sensor_sel = <1>;
        vinc5_front_sensor_sel = <1>;
        vinc5_sensor_list = <0>;
        status = "okay";
    };

    vinc12:vinc@6 {
        vinc6_csi_sel = <2>;
        vinc6_mipi_sel = <0xff>;
        vinc6_isp_sel = <0>;
        vinc6_isp_tx_ch = <0>;
        vinc6_tdm_rx_sel = <0>;
        vinc6_rear_sensor_sel = <0>;
        vinc6_front_sensor_sel = <0>;
        vinc6_sensor_list = <0>;
        status = "disabled";
    };

    vinc13:vinc@7 {
        vinc7_csi_sel = <2>;
        vinc7_mipi_sel = <0xff>;
        vinc7_isp_sel = <0>;
        vinc7_isp_tx_ch = <0>;
        vinc7_tdm_rx_sel = <0>;
        vinc7_rear_sensor_sel = <0>;
        vinc7_front_sensor_sel = <0>;
        vinc7_sensor_list = <0>;
        status = "disabled";
    };

    vinc20:vinc@8 {
        vinc8_csi_sel = <0>;
        vinc8_mipi_sel = <0x0>;
        vinc8_isp_sel = <0>;
        vinc8_isp_tx_ch = <0>;
        vinc8_tdm_rx_sel = <0>;
        vinc8_rear_sensor_sel = <0>;
        vinc8_front_sensor_sel = <0>;
        vinc8_sensor_list = <0>;
        work_mode = <0x1>;
        status = "okay";
    };

    vinc21:vinc@9 {
        vinc9_csi_sel = <2>;
        vinc9_mipi_sel = <0xff>;
        vinc9_isp_sel = <0>;
        vinc9_isp_tx_ch = <0>;
        vinc9_tdm_rx_sel = <0>;
        vinc9_rear_sensor_sel = <0>;
        vinc9_front_sensor_sel = <0>;
        vinc9_sensor_list = <0>;
        status = "disabled";
    };

    vinc22:vinc@10 {
        vinc10_csi_sel = <2>;
        vinc10_mipi_sel = <0xff>;
        vinc10_isp_sel = <0>;
        vinc10_isp_tx_ch = <0>;
        vinc10_tdm_rx_sel = <0>;
        vinc10_rear_sensor_sel = <0>;
        vinc10_front_sensor_sel = <0>;
        vinc10_sensor_list = <0>;
        status = "disabled";
    };

    vinc23:vinc@11 {
        vinc11_csi_sel = <2>;
        vinc11_mipi_sel = <0xff>;
        vinc11_isp_sel = <0>;
        vinc11_isp_tx_ch = <0>;
        vinc11_tdm_rx_sel = <0>;
        vinc11_rear_sensor_sel = <0>;
        vinc11_front_sensor_sel = <0>;
        vinc11_sensor_list = <0>;
        status = "disabled";
    };

    vinc30:vinc@12 {
        vinc12_csi_sel = <0>;
        vinc12_mipi_sel = <0x0>;
        vinc12_isp_sel = <0>;
        vinc12_isp_tx_ch = <0>;
        vinc12_tdm_rx_sel = <0>;
        vinc12_rear_sensor_sel = <0>;
        vinc12_front_sensor_sel = <0>;
        vinc12_sensor_list = <0>;
        work_mode = <0x1>;
        status = "okay";
    };

    vinc31:vinc@13 {
        vinc13_csi_sel = <2>;
        vinc13_mipi_sel = <0xff>;
        vinc13_isp_sel = <0>;
        vinc13_isp_tx_ch = <0>;
        vinc13_tdm_rx_sel = <0>;
        vinc13_rear_sensor_sel = <0>;
        vinc13_front_sensor_sel = <0>;
        vinc13_sensor_list = <0>;
        status = "disabled";
    };

    vinc32:vinc@14 {
        vinc14_csi_sel = <2>;
        vinc14_mipi_sel = <0xff>;
        vinc14_isp_sel = <0>;
        vinc14_isp_tx_ch = <0>;
        vinc14_tdm_rx_sel = <0>;
        vinc14_rear_sensor_sel = <0>;
        vinc14_front_sensor_sel = <0>;
        vinc14_sensor_list = <0>;
        status = "disabled";
    };

    vinc33:vinc@15 {
        vinc15_csi_sel = <2>;
        vinc15_mipi_sel = <0xff>;
        vinc15_isp_sel = <0>;
        vinc15_isp_tx_ch = <0>;
        vinc15_tdm_rx_sel = <0>;
        vinc15_rear_sensor_sel = <0>;
        vinc15_front_sensor_sel = <0>;
        vinc15_sensor_list = <0>;
        status = "disabled";
    };
};

修改该文件之后,需要重新编译固件再打包,才会更新到 dts。

使用双摄像头时,双摄分别使用到两个ISP,那么内核需要选上 SUPPORT_ISP_TDM配置。

menuconfig配置

在命令行进入Tina根目录,执行命令进入配置主界面:

source build/envsetup.sh    (详见1)
lunch 方案编号                  (详见2)
make menuconfig                  (详见3)

详注:
    1.加载环境变量及tina提供的命令;
    2.输入编号,选择方案;
    3.进入配置主界面(对一个shell而言,前两个命令只需要执行一次)

make menuconfig配置路径:

Kernel modules
    └─>Video Support
                └─>kmod-sunxi-vfe(vfe框架的csi camera)                (详见1)
                └─>kmod-sunxi-vin(vin框架的csi camera)                (详见2)
                └─>kmod-sunxi-uvc(uvc camera)                      (详见3)

详注:
    1.平台使用vfe框架的csi camera选择该驱动;
    2.平台使用vin框架的csi camera选择该驱动;(该项与vfe框架,在同一个平台只会出现其中一个)
    3.usb camera选择该驱动;

在完成 sensor 驱动编写,modules.mk和板级配置后,通过make menuconfig选上相应的驱动,camera即可正常使用。

ISP效果调试

正在撰写,敬请期待……

常见问题

内核代码注意事项

驱动中一般禁止使用mdelay或者msleep实现延时,例如使用msleep实现10~20ms的延时,通常会因为系统调度而变成延时更长的时间,这种做法精度较差。所以如果需要使用ms级别延时,则使用usleep_range(a, b),比如原来mdelay(1)mdelay(10)可改为usleep_range(1000, 2000)usleep_range(10000, 12000)。如果是长达30ms或以上的延时可选择使用msleep();

中断过程中不能使用msleepusleep_range,除了特殊情况必须加延时之外,mdelay一般也不可使用。

如何进行Camera模块调试

Camera模块调试一般可以分为三步:
(1)使用lsmod命令查看驱动是否加载,查看 /lib/modules/内核版本号 目录下是否存在相应的ko,如果没有,确认modules.mk是否修改正确,配置了开机自动加载。如果存在相应的.ko,可手动加载测试确认ko是否正常,手动加载成功,则确认内核的版本是否一致,导致开机时没有找到相应的ko从而没有加载;
(2)使用ls /dev/v\*查看是否有video0/1节点生成;
(3)在adb shell 中使用 cat /proc/kmsg命令,或者是使用串口查看内核的打印信息,查看不能正常加载的原因。一般情况下驱动加载不成功的原因有:一是读取的sys_config.fex文件中的配置信息与加载的驱动不匹配,二是probe函数遇到某些错误没能正确的完成probe的时候返回。

移植一款 sensor 需要进行哪些操作

移植 camera sensor,主要进行以下操作:

(1)根据主板的原理图,确认与 sensor 模组的接口是否一致,一致才可以保证配置和数据的正常接收。
(2)根据产品的需求,让 sensor 模组厂提供产品所需的分辨率、帧率的寄存器配置,这一步需要注意,提供的配置需要是和模组匹配的。比如模组的 mipi 接口只引出 2lane,而提供的寄存器配置却是配置为 4lane 输出的,那么该配置在该模组无法正常使用,让模组厂提供该模组可以正常使用的正确配置。注意,该寄存器配置 SOC 原厂没有,需要 sensor 厂提供。
(3)拿到寄存器配置之后,按照Tina驱动模块配置等相关文档完成 sensor 驱动的编写。
(4)在完成驱动的编写之后,按照Tina系统软件开发指南等相关文档等完成 modules.mk的修改。
(5)根据板子的原理图与模组的硬件连接,参照Tina系统软件开发指南等相关文档完成 sys_config.fex或者 board.dts的修改。
(6)完成上述操作之后,在menuconfig中进行camera相关配置,并配置camera demo进行调试测试,测试驱动移植是否正常。

如何开始camera模块调试

初次调试建议打开device中的DEV_DBG_EN为1,方便调试。

调试camera常见现象和功能检查

(1)insmod之后首先看内核打印,看加载有无错误打印,部分驱动在加载驱动进行上下电时候会进行i2c操作,如果此时报错的话就不需要再进入camera了,先检查是否io或电源配置不对。或者是在复用模组时候有可能是另外一个模组将i2c拉住了。

(2)如果i2c读写没有问题的话,一般就可以认为sensor控制是ok的,只需要根据sensor的配置填好H/VREF、PCLK的极性就能正常接收图像了。这个时候可以在进入camera应用之后用示波器测量sensor的各个信号,看h/vref、pclk极性、幅度是否正常(2.8V的vpp)。

(3)如果看到画面了,但是看起来是绿色和粉红色的,但是有轮廓,一般是YUYV的顺序设置反了,可检查yuyv那几个寄存器是否填写正确配置,其次,看是否是在配置的其他地方有填写同一个寄存器的地方导致将yuyv fmt的寄存器被改写。

(4) 如果画面颜色正常,但是看到有一些行是粉红或者绿色的,往往是sensor信号质量不好所致,通常在比较长的排线中出现这个情况。在信号质量不好并且yuyv顺序不对的时候也会看见整个画面的是绿色的花屏。

(5)当驱动能力不足的时候增强sensor的io驱动能力有可能解决这个问题。此时用示波器观察pclk和数据线可能会发现:pclk波形摆幅不够IOVDD的幅度,或者是data输出波形摆幅有时候能高电平达到IOVDD的幅度,有时候可能连一半都不够。

(6)如果是两个模组复用数据线的话,不排除是另外一个sensor在进入standby时候没有将其数据线设置成高阻,也会影响到当前模组的信号摆幅,允许的话可以剪断另一个模组来证实。

(7)当画面都正常之后检查前置摄像头垂直方向是否正确,水平方向是否是镜像,后置水平垂直是否正确,不对的话可以调节sys_config.fex中的hflip和vflip参数来解决,但如果屏幕上看到的画面与人眼看到的画面是成90度的话,只能是通过修改模组的方向来解决。

(8)之后可以检查不同分辨率之间的切换是否ok,是否有切换不成功的问题;以及拍照时候是否图形正常,亮度颜色是否和预览一致;双摄像头的话需要检查前后切换是否正常。

(9)如果上述都没有问题的话,可认为驱动无大问题,接下来可以进行其他功能(awb/exp bias/color effect等其他功能的测试)。

(10) 测试对焦功能,单次点触屏幕,可正确对上不同距离的物体;不点屏幕时候可以自动对焦对上画面中心物体,点下拍照后拍出来的画面能清晰。

(11)打开闪光灯功能,检查在单次对焦时候能打开灯,对完之后无论成功失败或者超时能够关闭,在点下拍照之后能打开,拍完之后能关闭。

(12)如果加载模块后,发现dev/videoX节点没有生成,请检查下面几点:

a. 模块加载的顺序
    一定要按照以下顺序加载模块
    insmod videobuf-core.ko
    insmod videobuf-dma-contig.ko
    ;如果有对应的vcm driver,在这里加载,如果没有,请省略。
    insmod actuator.ko
    insmod ad5820_act.ko
    ;以下是camera驱动和vfe驱动的加载,先安装一些公共资源。
    insmod vfe_os.ko
    insmod vfe_subdev.ko
    insmod cci.ko
    insmod ov5640.ko
    insmod gc0308.ko
    ;如果一个csi接两个camera,所有camera对应的ko都要在vfe_v4l2.ko之前加载。
    insmod vfe_v4l2.ko

b. sys_config.fex配置
    vip_used             = 1            ;确保used为1
    vip_dev_qty           = 2            ;确保csi接口上接的camera数量与ko加载情况相同
    vip_dev0_mname        = "ov5640"  ;确保camera型号与ko加载情况相同
    vip_dev0_twi_id        = 1            ;确保camera使用的i2c总线id与配置一样

    vip_dev1_mname         = "gc0308"  ;确保camera型号与ko加载情况相同
    vip_dev1_twi_id        = 1            ;确保camera使用的i2c总线id与配置一样

常见异常现象与处理方法

  • I2C通信出错
    I2C出现问题内核一般会伴随打印 cci_write_aX_dX error! slave = 0xXX, addr = 0xXX, value = 0xXX"

如果与此同时,内核出现打印chip found is not an target chip.,则说明在初始化camera前,读取camera的ID已经失败。

此时,一般是如下几点出现问题。

a. 最先考虑应该是更换一个camera模组试试。
b. 电源
    检查sys_config.fex
    vip_dev0_iovdd               = "axp22_eldo3"
    vip_dev0_iovdd_vol            = 2800000
    vip_dev0_avdd                = "axp22_dldo4"
    vip_dev0_avdd_vol            = 2800000
    vip_dev0_dvdd                = "axp22_eldo2"
    vip_dev0_dvdd_vol            = 1500000
    一定要与原理图设计保持一致。必要时,需要用万用表测量camera模组的各路电压是否正常。
c. reset和power down脚
    检查sys_config.fex配置
    vip_dev0_reset                = port:PH2<1><default><default><default>
    vip_dev0_pwdn                = port:PH1<1><default><default><default>
    是否与原理图设计保持一致。必要时,需要用示波器测量reset,pwdn脚,在camera加载时,是否有动作。
d. mclk
    检查sys_config.fex配置
    vip_csi_mck              = port:PE01<3><default><default><default>
    pin脚是否与原理图设计保持一致。必要时,在加载camera时,测量mclk,看是否有正确输出(一般是24MHz或27MHz)

如果已经能够正确通过camera的id读取,只是在使用过程当中,偶尔出现I2C的读写错误,此时需要从打印里面,将报错的地址和读写值,结合camera具体的spec来分析,到底是操作了camera哪些寄存器带来的问题。

还有可能出现如下信息:

[    5.556579] sunxi_i2c_do_xfer()1942 - [i2c1] incomplete xfer (status: 0x20, dev addr: 0x30)
[    5.566234] sunxi_i2c_do_xfer()1942 - [i2c1] incomplete xfer (status: 0x20, dev addr: 0x30)
[    5.575963] sunxi_i2c_do_xfer()1942 - [i2c1] incomplete xfer (status: 0x20, dev addr: 0x30)
[    5.585375] [VIN_DEV_I2C]sc031gs_mipi sensor read retry = 2
[    5.591666] [sensorname_mipi] error, chip found is not an target chip.

出现上述错误打印时,可按以下操作逐步debug。

(1)确认 sys_config.fex中配置的 sensor I2C 地址是否正确(sensor datasheet 中标注,读地址为 0x6d,写地址为 0x6c,那么 sys_config.fex 配置 sensor I2C 地址为 0x6c);
(2)在完成以上操作之后,在 senor 上电函数中,将掉电操作屏蔽,保持 sensor 一直上电状态,方便 debug;
(3)确认 I2C 地址正确之后,测量 sensor 的各路电源电压是否正确且电压幅值达到 datasheet 标注的电压要求;
(4)测量 MCLK 的电压幅值与频率,是否正常;
(5)测量 senso r的 reset、pown 引脚电平配置是否正确,I2C 引脚 SCK、SDA 是否已经硬件上拉;
(6)确认 I2C 接口使用正确并使能(CCI / TWI);
(7)如果还是 I2C 出错,协调硬件同事使用逻辑分析仪等仪器进行debug;

  • I2C没有硬件上拉
    I2C没有硬件上拉时一般会异常报错:

    twi_start()450 - [i2c2] START can't sendout!
    twi_start()450 - [i2c2] START can't sendout!
    twi_start()450 - [i2c2] START can't sendout!
    [VFE_DEV_I2C_ERR]cci_write_a16_d16 error! slave = 0x1e, addr = 0xa03e, value = 0x1
    

出现上述的问题是因为 SDA、SCK 没有拉上,导致在进行 I2C 通信时,发送开始信号失败,SDA、SCK 添加上拉即可。

  • I2C没有使能
    I2C没有使能时一般会异常报错:

    [VFE]Sub device register "ov2775_mipi" i2c_addr = 0x6c start!
    [VFE_ERR]request i2c adapter failed!
    [VFE_ERR]vfe sensor register check error at input_num = 0
    

出现上述的错误,是因为使用 twi 进行 I2C 通信但没有使能 twi 导致的错误,此时需要确认 sys_config.fex 中,[twiX] 中的 twiX_used 是否已经设置为 1。

  • 图像全黑如何处理
    异常现象:

    当 camerademo 成功采集到图像时,发现图像是全黑的
    

    首先最起码整条数据通路已经正常,而发现图像时全黑的,注意以下几点:
    (1)在编译 camerademo 之前,是根据平台正确的选上了 Enable vin isp support,选上之后,重新编译camerademo(建议 cd package/allwinner/camerademo目录后执行mm -B编译);
    (2)通过上述操作之后,执行新编译的camerademo可执行程序,运行过程应可看到类似[ISP]create isp0 server thread!信息,则正确运行isp,这时再查看新抓取的图像数据;
    (3)执行运行camerademo只会抓取5张图像数据,由于isp计算合适的图像曝光需要一定的帧数,所以可能存在前面几张图像黑的情况,修改camerademo运行参数,抓取多几张图像数据查看(20张);
    (4)如果是没有移植isp的环境,则可修改sensor驱动中寄存器组中的曝光参数配置,增加初始化时曝光时间,从而使初始输出的图像亮度较合适。

  • ** camerademo 采集的图像颜色异常**
    异常现象:

    运行 camerademo 采集图像之后,发现拍摄得到的轮廓正确但颜色不对,比如红蓝互换、画面整体偏红或偏蓝等颜色异常的情况
    

    出现这样的问题,首先考虑是sensor驱动中配置的RAW数据RGB顺序错误导致的。在sensor驱动中有类似以下的配置:

static struct sensor_format_struct sensor_formats[] = {
    {
        .desc = "Raw RGB Bayer",
        .mbus_code = MEDIA_BUS_FMT_SBGGR10_1X10,
        .regs = sensor_fmt_raw,
        .regs_size = ARRAY_SIZE(sensor_fmt_raw),
        .bpp = 1
    },
};

以上配置表明sensor输出的图像数据是RAW10,RGB排列顺序是BGGR,出现颜色异常时,一般就是RGB的排列顺序配置错误导致的,RGB排列顺序一共有4种 (MEDIA_BUS_FMT_SBGGR10_1X10/MEDIA_BUS_FMT_SGBRG10_1X10/MEDIA_BUS_FMT_SGRBG10_1X10/MEDIA_BUS_FMT_SRGGB10_1X10),修改驱动中的mbus_code为上述的4种之一,确认哪一种颜色比较正常,则驱动配置正确。如果颜色还有细微的不够艳丽、准确等问题,需要进行isp效果调试,改善图像色彩。
上述是以10bit sensor为例进行介绍,其他的8bit、12bit、14bit类似,参考上述即可。

  • 画面大体轮廓正常,颜色出现大片绿色和紫红色

一般可能是csi采样到的yuyv顺序出现错位

确认camera输出的yuyv顺序的设置与camera的spec一致

若camera输出的yuyv顺序没有问题,则可能是由于走线问题,导致pclk采样data时发生错位,此时可以调整pclk的采样沿。具体做法如下:

在对应的camara驱动源码,如ov5640.c里面,找到宏定义#define CLK_POL。此宏定义可以有两个值V4L2_MBUS_PCLK_SAMPLE_RISINGV4L2_MBUS_PCLK_SAMPLE_FALLING。若原来是其中一个值,则修改成另外一个值,便可将PCLK的采样沿做反相。

  • 画面大体轮廓正常,但出现不规则的绿色紫色条纹

一般可能是pclk驱动能力不足,导致某个时刻采样data时发生错位。

解决办法:

  • 若pclk走线上有串联电阻,尝试将电阻阻值减小。

  • 增强pclk的驱动能力,需要设置camera的内部寄存器。

  • 画面看起来像油画效果,过渡渐变的地方有一圈一圈

一般是CSI的data线没有接好,或短路,或断路。

  • 常见报错: [VFE_WARN] Nobody is waiting on this video buffer

上层还回来所有的buffer,但是没有再来取buffer。

  • 常见报错 - [VFE_WARN] Only three buffer left for csi

上层占用了大部分buffer,没有还回,驱动部分只有三个buffer此时驱动不再进行buffer切换,直到有buffer还回为止。

sensor的硬件接口注意事项

(1)如果是使用并口的sensor模组,会使用到720p@30fps或更高速度的,必须在mclk/pclk/data/vsync/hsync上面串33ohm电阻,5M的sensor一律串电阻;

(2)使用Mipi模组时候PCB layout需要尽量保证clk/data的差分对等长,过孔数相等,特征阻抗100ohm;

(3)如果使用并口复用pin的模组时候,不建议reset脚的复用;

(4)并口模组的排线长度加上pcb板上走线长度不超过10cm, mipi模组排线长度加上pcb板上走线长度不超过20cm,超过此距离不保证能正常使用。

(5)主控并口数据线有D11~D0共12bit,并口的sensor输出一般为8/10bit,原理图连接需要做高位对齐。

Camera demo

Tina系统可以通过 SDK 中的 camerademo 包来验证 camera sensor(usb camera) 是否移植成功,如果可以正常捕获保存图像数据,则底层驱动、板子硬件正常。

camerademo配置

在命令行中进入Tina根目录,执行make menuconfig进入配置主界面,并按以下配置路径操作:

Allwinner
    └─>camerademo

原贴链接:https://v853.docs.aw-ol.com/soft/soft_camera/
资源获取、问题讨论可以到全志在线开发者社区进行:https://www.aw-ol.com
全志及开发者最新动态可以关注全志在线微信公众号

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/63780.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Web大学生网页作业成品——抗击疫情网站设计与实现(HTML+CSS)

&#x1f389;精彩专栏推荐 &#x1f4ad;文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 &#x1f482; 作者主页: 【主页——&#x1f680;获取更多优质源码】 &#x1f393; web前端期末大作业&#xff1a; 【&#x1f4da;毕设项目精品实战案例 (10…

Vue3 样式绑定

Vue3 样式绑定1.Vue.js class2.class 属性绑定3.Vue.js style(内联样式)4.组件上使用 class 属性1.Vue.js class class 与 style 是 HTML 元素的属性&#xff0c;用于设置元素的样式&#xff0c;我们可以用 v-bind 来设置样式属性。 v-bind 在处理 class 和 style 时&#xf…

微信小程序反编译

本文转载于&#xff1a;https://www.cnblogs.com/one-seven/p/15524457.html 微信小程序反编译 微信文件保存位置\WeChat Files\Applet\小程序id_APP_.wxapkg 现在小程序是处于编码状态 github上下载一个python版的解密工具 https://github.com/superdashu/pc_wxapkg_decr…

【免杀前置课——Windows编程】十四、异步IO——什么是异步IO、API定位问题、APC调用队列

异步IO异步IO异步I/0注意事项:定位问题总解决方案APC调用队列异步IO 当我们读取一个文件时&#xff0c;一般情况下&#xff0c;线程是阻塞的&#xff0c;也就是说&#xff0c;当前线程在等待文件读取操作结束,这种方式叫同步IO。 Windows 在系统底层为用户实现了另外一种高效的…

【软考】-- 操作系统(下)

操作系统&#xff08;下&#xff09;第五节 文件管理&#x1f355;一、文件管理的基本概念1️⃣文件2️⃣文件目录3️⃣目录结构:&#x1f354;二、文件路径&#x1f35f;三、文件命名规则&#x1f32d;四、文件的基本操作&#x1f37f;五、文件类型与扩展名&#x1f9c2;六、系…

Docker中安装Kibana

Kibana是一个免费且开放的用户界面,能够让你对Elasticsearch 数据进行可视化,并让你在Elastic Stack中进行导航。你可以进行各种操作,从跟踪查询负载,到理解请求如何流经你的整个应用,都能轻松完成。 在Docker Hub中选择最新版本的Kibaba镜像(选择版本为8.5.1),如下图…

bigquant选股模型主要有哪些?

bigquant选股模型一般常见的有七种&#xff0c;即多因子模型、风格轮动模型、行业轮动模型、资金流模型、动量反转模型、一致预期模型、趋势追踪模型等方面。不过要想样样都学会精通也是需要花费时间&#xff0c;以及精力等&#xff0c;那么&#xff0c;小编就从最基本的多因子…

DPDK Mempool

mempool是DPDK提供的内存池&#xff0c;其用处有&#xff1a; 由于DPDK使用UIO让DMA将网卡中的数据直接拷贝至用户态&#xff0c;因此需要一块固定的区域提供给DMA重复利用内存&#xff0c;提高效率 结构 mempool的主要结构如下图所示。 mempool为每个注册的lcore都分配了一…

Node.js - nvm管理node.js版本

使用nvm来管理node.js的版本真的很方便&#xff0c;这样就可以根据自己的需要来回切换node.js版本&#xff01; 一、卸载本地安装的node.js版本 略 二、安装nvm管理工具 2.1、下载 https://github.com/coreybutler/nvm-windows/releases 2.2 安装 (1) 鼠标双击nvm-setup.exe文件…

【从零开始学习深度学习】7.自己动手实现softmax回归的训练与预测

基于上一篇文章读取fashion-minist数据集的基础&#xff0c;本文自己动手实现一个softmax模型对其进行训练与预测。 目录1. 自己动手实现softmax回归1.1 读取数据1.2 初始化模型参数1.3 实现softmax运算1.4 定义模型1.5 定义损失函数1.6 计算分类准确率1.7 训练模型1.8 预测完整…

面试碰壁15次!作为一个已经27岁的测试工程师,未来在何方....

3年测试经验原来什么都不是&#xff0c;只是给你的简历上画了一笔&#xff0c;一直觉得经验多&#xff0c;无论在哪都能找到满意的工作&#xff0c;但是现实却是给我打了一个大巴掌&#xff01;事后也不会给糖的那种... 先说一下自己的个人情况&#xff0c;普通二本计算机专业…

LabVIEW编程LabVIEW开发SMP10辐射表例程与相关资料

LabVIEW编程LabVIEW开发SMP10辐射表例程与相关资料 ​​SMP10辐射表是荷兰Kipp&Zonen公司的一种用于测量短波辐射的产品&#xff0c;配有只能型接口&#xff0c;能够提供标准输出&#xff0c;能耗低。 作为一款副基准总辐射表,SMP10结合了CMP 11的传感器技术、SMP 11的智…

2023最新SSM计算机毕业设计选题大全(附源码+LW)之java基于自组网的空地一体化信息系统mf392

面对老师五花八门的设计要求&#xff0c;首先自己要明确好自己的题目方向&#xff0c;并且与老师多多沟通&#xff0c;用什么编程语言&#xff0c;使用到什么数据库&#xff0c;确定好了&#xff0c;在开始着手毕业设计。 1&#xff1a;选择课题的第一选择就是尽量选择指导老师…

[附源码]计算机毕业设计JAVA疫情期间回乡人员管理系统

[附源码]计算机毕业设计JAVA疫情期间回乡人员管理系统 项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM…

基于Java的课程管理系统

摘 要 在Internet高速发展的今天&#xff0c;我们生活的各个领域都涉及到计算机的应用&#xff0c;其中包括课程管理系统的网络应用&#xff0c;在外国课程管理已经是很普遍的方式&#xff0c;不过国内的课程管理可能还处于起步阶段。课程管理系统具有下载课件功能。课程管理系…

数据结构(12)Dijkstra算法JAVA版:图的最短路径问题

目录 12.1.概述 12.1.1.无权图的最短路径 12.1.2.带权图的最短路径 1.单源最短路径 2.多源最短路径 12.2.代码实现 12.1.概述 12.1.1.无权图的最短路径 无权图的最短路径&#xff0c;即最少步数&#xff0c;使用BFS贪心算法来求解最短路径&#xff0c;比较好实现&#xf…

04-05 - 主引导程序的扩展(实验未完)

---- 整理自狄泰软件唐佐林老师课程 1. 突破限制的思路 限制&#xff1a;主引导程序的代码不能超过512字节 主引导程序完成&#xff1a; 完成最基本的初始化工作从存储介质中加载程序到内存将控制权交由新加载的程序执行…… 问题&#xff1a; 主引导程序如何加载存储介质中的…

Windows上Qt源码调试(使用VS2017调试qt5.12.0)

环境&#xff1a;vs2017 qt 5.12.0 msvc32和msvc64 1.下载源代码 把所用 Qt 库版本对应源码&#xff08;qt-everywhere-src-5.12.0&#xff09;下载来解压&#xff08;https://download.qt.io/archive/qt/5.12/5.12.0/single/&#xff09;&#xff0c;或者安装时选择把源码&…

一文带你掌握JSP基础知识

✅作者简介&#xff1a;热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏&#xff1a;JAVA开发者…

赋能建筑建材企业物流网络内外联通,B2B交易管理系统打造行业智慧供应链

数据显示&#xff0c;在疫情和行业转型升级的双重压力下&#xff0c;行业中竞争力不强、商业模式老套的建筑建材企业在疫情中产值下降甚至被淘汰出局。随着数字经济的兴起&#xff0c;传统建筑建材产业的发展也带来了巨大的变革。 据有关数据分析指出&#xff0c;数字化已经成…