OpenHarmony集成OCR三方库实现文字提取

news2025/1/17 3:15:47

1. 简介

Tesseract(Apache 2.0 License)是一个可以进行图像OCR识别的C++库，可以跨平台运行 。本样例基于Tesseract库进行适配，使其可以运行在OpenAtom OpenHarmony（以下简称“OpenHarmony”）上，并新增N-API接口供上层应用调用，这样上层应用就可以使用Tesseract提供的相关功能。

2. 效果展示

动物图片识别文字

身份信息识别

提取文字信息到本地文件

3. 目录结构

4. 调用流程

调用过程主要涉及到三方面，首先应用层实现样例的效果，包括页面的布局和业务逻辑代码；中间层主要起桥梁的作用，提供N-API接口给应用调用，再通过三方库的接口去调用具体的实现；Native层使用了三方库Tesseract提供具体的实现功能。

5. 源码分析

本样例源码的分析主要涉及到两个方面，一方面是N-API接口的实现，另一方面是应用层的页面布局和业务逻辑。

N-API实现

1. 首先在index.d.ts文件中定义好接口

/**
 * 初始化文字识别引擎
 * @param lang 识别的语言, eg:eng、chi_sim、 eng+chi_sim,为Null或不传则为中英文（eng+chi_sim）
 * @param trainDir 训练模型目录，为Null或不传则为默认目录
 *
 * @return 初始化是否成功 0=>成功，-1=>失败
 */
export const initOCR: (lang: string, trainDir: string) => Promise<number>;
 
export const initOCR: (lang: string, trainDir: string, callback: AsyncCallback<number>) => void;
 
/**
 * 开始识别
 * @param imagePath 图片路径（当前支持的图片格式为png, jpg, tiff）
 *
 * @return 识别结果
 */
export const startOCR: (imagePath: string) => Promise<string>;
export const startOCR: (imagePath: string, callback: AsyncCallback<string>) => void;
 
 
/**
 * 销毁资源
 */
export const destroyOCR: () => void;

代码中可以看出N-API接口initOCR和startOCR都采用了两种方式，一种是Promise，一种是Callback的方式。在样例的应用层，使用的是它们的Callback方式。

2.注册N-API模块和接口

EXTERN_C_START
static napi_value Init(napi_env env, napi_value exports) {
napi_property_descriptor desc[] = {
{
"initOCR", nullptr, InitOCR, nullptr, nullptr, nullptr, napi_default, nullptr
},
{
"startOCR", nullptr, StartOCR, nullptr, nullptr, nullptr, napi_default, nullptr
},
{
"destroyOCR", nullptr, DestroyOCR, nullptr, nullptr, nullptr, napi_default, nullptr
},
{
};
napi_define_properties(env, exports, sizeof(desc) / sizeof(desc[0]), desc);
return exports;
}
EXTERN_C_END
 
static napi_module demoModule = {
.nm_version = 1,
.nm_flags = 0,
.nm_filename = nullptr,
.nm_register_func = Init,
.nm_modname = "tesseract",
.nm_priv = ((void *)0),
.reserved = {
0
},
};
 
extern "C" __attribute__((constructor)) void RegisterHelloModule(void) {
napi_module_register(& demoModule);
}

通过nm_modname定义模块名，nm_register_func注册接口函数，在Init函数中指定了JS中initOCR，startOCR，destroyOCR对应的本地实现函数，这样就可以在对应的本地实现函数中调用三方库Tesseract的具体实现了。

3.以startOCR的Callback方式为例介绍N-API中的具体实现

static napi_value StartOCR(napi_env env, napi_callback_info info) {
    OH_LOG_ERROR(LogType::LOG_APP, "OCR StartOCR 111");
    size_t argc = 2;
    napi_value args[2] = { nullptr };
  //1. 获取参数
    napi_get_cb_info(env, info, &argc, args, nullptr, nullptr);
 
 
    //2. 共享数据
    auto addonData = new StartOCRAddOnData{
        .asyncWork = nullptr,
    };
    //3. N-API类型转成C/C++类型
    char imagePath[1024] = { 0 };
    size_t length = 0;
    napi_get_value_string_utf8(env, args[0], imagePath, 1024, &length);
 
    addonData->args0 = string(imagePath);
 
    napi_create_reference(env, args[1], 1, &addonData->callback);
 
    //4. 创建async work
    napi_value resourceName = nullptr;
    napi_create_string_utf8(env, "startOCR", NAPI_AUTO_LENGTH, &resourceName);
    napi_create_async_work(env, nullptr, resourceName, executeStartOCR, completeStartOCRForCallback, (void *)addonData, &addonData->asyncWork);
 
    //将创建的async work加到队列中，由底层调度执行
    napi_queue_async_work(env, addonData->asyncWork);
 
    napi_value result = 0;
    napi_get_null(env, &result);
 
    return result;
}

首先通过napi_get_cb_info方法获取JS侧传入的参数信息，将参数转成C++对应的类型，然后创建异步工作，异步工作的方法参数中包含，执行的函数以及函数执行完成的回调函数。

我们看一下执行函数

static void executeStartOCR(napi_env env, void* data) {
    //通过data来获取数据
    StartOCRAddOnData * addonData = (StartOCRAddOnData *)data;
    napi_value resultValue;
    try {
        if (api != nullptr) {
            //调用具体的实现，读取图片像素
            PIX * pix = pixRead((const char*)addonData->args0.c_str());
            //设置api的图片像素
            api->SetImage(pix);
 
            //调用文字提取接口，获取图片中的文字
            char * result = api->GetUTF8Text();
            addonData->result = result;
 
            //释放资源
            pixDestroy (& pix);
            delete[] result;
        }
    } catch (std::exception e) {
        std::string error = "Error: ";
        if (initResult != 0) {
            error += "please first init tesseractocr.";
        } else {
            error += e.what();
        }
        addonData->result = error;
    }
}

这个方法中通过data获取JS传入的参数，然后调用Tesseract库中提供的接口，调用具体的文字提取功能，获取图片中的文字。

执行完成后，会回调到completeStartOCRForCallback，在这个方法中会将执行函数中返回的结果转换为JS的对应类型，然后通过Callback的方式返回。

static void completeStartOCRForCallback(napi_env env, napi_status status, void * data) {
    StartOCRAddOnData * addonData = (StartOCRAddOnData *)data;
    napi_value callback = nullptr;
    napi_get_reference_value(env, addonData->callback, &callback);
    napi_value undefined = nullptr;
    napi_get_undefined(env, &undefined);
    napi_value result = nullptr;
    napi_create_string_utf8(env, addonData->result.c_str(), addonData->result.length(), &result);
 
    //执行回调函数
    napi_value returnVal = nullptr;
    napi_call_function(env, undefined, callback, 1, &result, &returnVal);
 
    //删除napi_ref对象
    if (addonData->callback != nullptr) {
        napi_delete_reference(env, addonData->callback);
    }
 
    //删除异步工作项
    napi_delete_async_work(env, addonData->asyncWork);
    delete addonData;
}

应用层实现

应用层主要分为三个模块：动物图片文字识别，身份信息识别，提取文字到本地文件

1. 动物图片文字识别

build() {
    Column() {
      Row() {
        Text('点击图片进行文字提取  提取结果 ：').fontSize('30fp').fontColor(Color.Blue)
        Text(this.ocrResult).fontSize('50fp').fontColor(Color.Red)
      }.margin('10vp').height('10%').alignItems(VerticalAlign.Center)
 
      Grid() {
        ForEach(this.images, (item, index) => {
          GridItem() {
            AnimalItem({
              path1: item[0],
              path2: item[1]
            });
          }
        })
      }
      .padding({left: this.columnSpace, right: this.columnSpace})
      .columnsTemplate("1fr 1fr 1fr")      // Grid宽度均分成3份
      .rowsTemplate("1fr 1fr")     // Grid高度均分成2份
      .rowsGap(this.rowSpace)                  // 设置行间距
      .columnsGap(this.columnSpace)            // 设置列间距
      .width('100%')
      .height('90%')
    }
    .backgroundColor(Color.Pink)
  }

布局主要使用了Grid的网格布局，每个Item都是对应的图片，通过点击图片可以对点击图片进行文字提取，将提取出的文字显示在标题栏。

2. 身份信息识别

build() {
    Row() {
      Column() {
        Image('/common/idImages/aobamao.jpg')
          .onClick(() => {
            //点击图片进行信息识别
            console.log('OCR begin dialog open 111');
            this.ocrDialog.open();
            ToolUtils.ocrResult(ToolUtils.aobamao, (result) => {
              console.log('111 OCR result = ' + result);
              this.result = result;
              this.ocrDialog.close();
            });
          })
          .margin('10vp')
          .objectFit(ImageFit.Auto)
          .height('50%')
 
        Image('/common/idImages/weixiaobao.jpg')
          .onClick(() => {
            //点击图片进行信息识别
            this.ocrDialog.open();
            ToolUtils.ocrResult(ToolUtils.weixiaobao, (result) => {
              console.log('111 OCR result = ' + result);
              this.result = result;
              this.ocrDialog.close();
            });
          })
          .margin('10vp')
          .objectFit(ImageFit.Auto)
          .height('50%')
      }
      .width(this.screenWidth/2)
      .padding('20vp')
 
      Column() {
        Text(this.title).height('10%').fontSize('30fp').fontColor(this.titleColor)
 
        Column() {
          Text(this.result)
            .fontColor('#0000FF')
            .fontSize('50fp')
        }.justifyContent(FlexAlign.Center).alignItems(HorizontalAlign.Center).height('90%')
      }
      .justifyContent(FlexAlign.Start)
      .width('50%')
 
    }
    .width('100%')
    .height('100%')
  }

身份信息识别的布局最外层是一个水平布局，分为左右两部分，左边的子布局是垂直布局，里面是两张不同的身份证图片，右边子布局也是垂直布局，主要是标题区和识别结果的内容显示区。

3. 提取文字到本地文件

Row() {
      Column() {
        Image('/common/save2FileImages/testImage1.png')
          .onClick(() => {
            //点击图片进行信息识别
            ToolUtils.ocrResult(ToolUtils.testImage1, (result) => {
              let path = this.dir + 'ocrresult1.txt';
              try {
                let fd = fileio.openSync(path, 0o100 | 0o2, 0o666);
                fileio.writeSync(fd, result);
                fileio.closeSync(fd);
                this.displayText = '文件写入' + path;
              } catch (e) {
                console.log('OCR fileio error = ' + e);
              }
            });
          })
        Image('/common/save2FileImages/testImage2.png')
          .onClick(() => {
            //点击图片进行信息识别
            ToolUtils.ocrResult(ToolUtils.testImage2, (result) => {
              let path = this.dir + 'ocrresult2.txt';
              let fd = fileio.openSync(path, 0o100 | 0o2, 0o666);
              fileio.writeSync(fd, result);
              fileio.closeSync(fd);
              this.displayText = '文件写入' + path;
            });
          })
      }
      Column() {
        Text(this.title)
        Column() {
          Text(this.displayText)
        }
      }
    }

这个功能首先通过接口识别出图片中的文字，然后再通过fileio的能力将文字写入文件中。

6. 总结

样例通过Native的方式将C++的三方库集成到应用中，通过N-API方式提供接口给上层应用调用。对于依赖三方库能力的应用，都可以使用这种方式来进行，移植三方库到Native，通过N-API提供接口给应用调用。

为了帮助到大家能够更有效的学习OpenHarmony 开发的内容，下面特别准备了一些相关的参考学习资料：

OpenHarmony 开发环境搭建：https://qr18.cn/CgxrRy

《OpenHarmony源码解析》：https://qr18.cn/CgxrRy

  • 搭建开发环境
  • Windows 开发环境的搭建
  • Ubuntu 开发环境搭建
  • Linux 与 Windows 之间的文件共享
  • ……

系统架构分析：https://qr18.cn/CgxrRy

  • 构建子系统
  • 启动流程
  • 子系统
  • 分布式任务调度子系统
  • 分布式通信子系统
  • 驱动子系统
  • ……

OpenHarmony 设备开发学习手册：https://qr18.cn/CgxrRy

在这里插入图片描述

OpenHarmony面试题（内含参考答案）：https://qr18.cn/CgxrRy

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1682739.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[算法] 优先算法(二): 双指针算法(下)

[算法] 优先算法(二): 双指针算法(下)

&#x1f338;个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 &#x1f3f5;️热门专栏:&#x1f355; Collection与数据结构 (91平均质量分)https://blog.csdn.net/2301_80050796/category_12621348.html?spm1001.2014.3001.5482 &#x1f9c0;Java …
阅读更多...
Rust学习心得

Rust学习心得

我分享一下一年的Rust学习经历&#xff0c;从书到代码都一网打尽。 关于新手如何学习Rust&#xff0c;我之前在Hacker News上看到了这么一篇教程&#xff1a; 这篇教程与其他教程不同的时&#xff0c;他不是一个速成教程&#xff0c;而是通过自己的学习经历&#xff0c;向需要…
阅读更多...
mac安装两个版本谷歌浏览器；在mac运行不同版本的chrome浏览器

mac安装两个版本谷歌浏览器；在mac运行不同版本的chrome浏览器

场景 正常情况下&#xff0c;mac上只能安装一个版本的chrome浏览器&#xff0c;即使你安装了两个版本的&#xff0c;打开老旧版本时候也会自动切换成最新版的浏览器 故本文主要解决如何下载和在mac运行不同版本的chrome浏览器 文章目录 场景一、下载1.mac本身就有一个最新版ch…
阅读更多...
【MySQL】库的操作和表的操作

【MySQL】库的操作和表的操作

库的操作和表的操作 一、库的操作1、创建数据库(create)2、字符集和校验规则&#xff08;1&#xff09;查看系统默认字符集以及校验规则&#xff08;2&#xff09;查看数据库支持的字符集&#xff08;3&#xff09;查看数据库支持的字符集校验规则&#xff08;4&#xff09;校验…
阅读更多...
网关路由SpringCloudGateway、nacos配置管理(热更新、动态路由)

网关路由SpringCloudGateway、nacos配置管理(热更新、动态路由)

文章目录 前言一、网关路由二、SpringCloudGateway1. 路由过滤2. 网关登录校验2.1 鉴权2.2 网关过滤器2.3 登录校验2.3.1 JWT2.3.2 登录校验过滤器 3. 微服务从网关获取用户4. 微服务之间用户信息传递 三、nacos配置管理问题引入3.1 配置共享3.1.1 在Nacos中添加共享配置3.1.2 …
阅读更多...
Kubectl 的使用——k8s陈述式资源管理

Kubectl 的使用——k8s陈述式资源管理

一、kebuctl简介: kubectl 是官方的CLI命令行工具&#xff0c;用于与 apiserver 进行通信&#xff0c;将用户在命令行输入的命令&#xff0c;组织并转化为 apiserver 能识别的信息&#xff0c;进而实现管理 k8s 各种资源的一种有效途径。 对资源的增、删、查操作比较方便&…
阅读更多...
MobaXterm下载虚拟机SSH链接超时解决（保姆级踩坑）

MobaXterm下载虚拟机SSH链接超时解决（保姆级踩坑）

文章目录 为啥要用MobaXtermMobaXterm下载打开虚拟机ssh链接ssh连接失败排查linux配置windows配置 到这了&#xff0c;什么都干了&#xff0c;怎么还不成功&#xff1f; 更多相关内容可查看 在一个阳光明媚的下午&#xff0c;开启了无限踩坑的旅程 为啥要用MobaXterm 作为小编…
阅读更多...
高性能负载均衡的分类及架构分析

高性能负载均衡的分类及架构分析

如何选择与部署适合的高性能负载均衡方案&#xff1f; 当单服务器性能无法满足需求&#xff0c;高性能集群便成为提升系统处理能力的关键。其核心在于通过增加服务器数量&#xff0c;强化整体计算能力。而集群设计的挑战在于任务分配&#xff0c;因为无论在哪台服务器上执行&am…
阅读更多...
解决脚本刷服务器导致卡顿宕机的问题

解决脚本刷服务器导致卡顿宕机的问题

在互联网服务领域&#xff0c;自动化脚本的不当使用或恶意攻击可能会导致服务器资源被过度消耗&#xff0c;从而引发服务响应缓慢甚至系统崩溃。特别是在电商、游戏、社交平台等领域&#xff0c;这种现象尤为常见。本文将深入探讨脚本刷服的常见形式、其对服务器性能的影响&…
阅读更多...
面向对象-----继承

面向对象-----继承

前面向大家介绍了面向对象中的封装性&#xff0c;今天再来向大家介绍面向对象的继承和多态的两大特性。 1.继承 1.1 为什么需要继承&#xff1f; 在java语言中&#xff0c;我们用类来描述世间万物&#xff0c;虽然万物非常复杂&#xff0c;但总有一些共同点&#xff0c;如果…
阅读更多...
Java NIO 基础

Java NIO 基础

Java NIO 基础 1. NIO 介绍2. NIO 三大组件2.1 Channel2.1.1 常见的 Channel2.1.2 常用方法 2.2 Buffer2.2.1 常见的 Buffer2.2.2 重要属性2.2.3 常用方法 2.3 Selector2.3.1 四种事件类型 1. NIO 介绍 NIO&#xff08;non-blocking io&#xff09;&#xff1a;非阻塞IO&#…
阅读更多...
2024.5.20 学习记录

2024.5.20 学习记录

1、react 原理&#xff08;jsx的本质、事件机制原理、setState和batch Update、组件渲染更新和diff算法、fiber&#xff09; 2、代码随想录贪心刷题
阅读更多...
【C++初阶】--- C++入门（上）

【C++初阶】--- C++入门（上）

目录 一、C的背景及简要介绍1.1 什么是C1.2 C发展史1.3 C的重要性 二、C关键字三、命名空间2.1 命名空间定义2.2 命名空间使用 四、C输入 & 输出 一、C的背景及简要介绍 1.1 什么是C C语言是结构化和模块化的语言&#xff0c;适合处理较小规模的程序。对于复杂的问题&…
阅读更多...
GPT-4o 引领人机交互新风向的向量数据库Milvus Cloud 成本

GPT-4o 引领人机交互新风向的向量数据库Milvus Cloud 成本

成本 AIGC 时代对于冷热储存的呼唤 成本一直是向量数据库获得更广泛使用的最大阻碍之一，这个成本来自两点： 储存，绝大多数向量数据库为了保证低延迟，需要把数据全量缓存到内存或者本地磁盘。在这个动辄百亿量级的AI 时代，意味着几十上百 TB 的资源消耗。 计算，数据需…
阅读更多...
OCR版面分析-- PaddleOCR（python 文档解析提取）

OCR版面分析-- PaddleOCR（python 文档解析提取）

1. 创建新的conda环境 # 在命令行输入以下命令&#xff0c;创建名为paddle_env的环境 # 此处为加速下载&#xff0c;使用清华源 conda create --name paddle_env python3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ # 这是一行命令2. 激活刚创建…
阅读更多...
全球视频会议软件巨头Zoom，率先引入后量子端到端加密

全球视频会议软件巨头Zoom，率先引入后量子端到端加密

5月21日&#xff0c;Zoom Video Communications公司宣布&#xff0c;后量子端到端加密&#xff08;E2EE&#xff09;现已面向全球推出&#xff0c;适用于Zoom Workplace。目前&#xff0c;Zoom已将该功能加入Zoom Meetings&#xff0c;稍后将扩展至Zoom Phone和Zoom Rooms。 图…
阅读更多...
数据中心大型AI模型网络需求

数据中心大型AI模型网络需求

数据中心大型AI模型网络需求 随着Transformer的崛起和2023年ChatGPT的大规模应用&#xff0c;业界逐渐形成共识&#xff1a;遵循一定的规模效应原则&#xff0c;增加模型参数量能够显著提升模型性能。特别是在参数数量级跃升至数百亿乃至更高时&#xff0c;大型AI模型在语言理…
阅读更多...
20232803 2023-2024-2 《网络攻防实践》实践十报告

20232803 2023-2024-2 《网络攻防实践》实践十报告

目录 1. 实践内容1.1 SEED SQL注入攻击与防御实验1.2 SEED XSS跨站脚本攻击实验(Elgg) 2. 实践过程2.1 SEED SQL注入攻击与防御实验2.1.1 熟悉SQL语句2.1.2 对SELECT语句的SQL注入攻击2.1.3 对UPDATE语句的SQL注入攻击2.1.4 SQL对抗 2.2 SEED XSS跨站脚本攻击实验(Elgg)2.2.1 发…
阅读更多...
超前预热｜博睿数据将应邀出席双态IT用户大会，分享《构建云原生时代的一体化智能可观测性》

超前预热｜博睿数据将应邀出席双态IT用户大会，分享《构建云原生时代的一体化智能可观测性》

5月31日&#xff0c;第十二届双态IT用户大会将于成都盛大开幕&#xff0c;此次大会由DCMG和双态IT论坛联合主办&#xff0c;聚焦“信创时代的组织级云原生能力建设”和“组织级云原生运维能力建设”两大会议主题&#xff0c;旨在推动双态IT落地与创新&#xff0c;为企业数字化转…
阅读更多...
Android AV World 序

Android AV World 序

序 做Android系统开发很久了&#xff0c;基于高通和MTK硬件平台&#xff0c;使用Android10量产了一些车载项目。由于功能模块属于系统底层支撑&#xff0c;类似于docker&#xff0c;涉及到音视频的处理&#xff0c;及Display Graphics的一些处理&#xff0c;需要调试解决显示花…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023