【iOS】——基于Vision Kit框架实现图片文字识别

news2025/1/11 14:32:34

文章目录

前言
一、文本识别的分类
二、实现步骤
- 1.导入Vision Kit框架
- 2.创建请求处理器
- 3.在请求处理器中设置文字识别功能
- 4.将图片添加到请求处理器中
- 5.发起文字识别请求
- 6.处理识别结果
三、运行结果测试
- 1.纯英文环境
- 2.中英文混合环境

前言

根据苹果的官方文档，Vision可以执行面部检测、文本检测、条形码识别、图像注册和一般功能跟踪。Vision还允许将自定义Core ML模型用于分类或对象检测等任务。下面只是对文本识别的一个学习。

一、文本识别的分类

Vision的文本识别分为两种方式。

第一种是快速路径（fast），它使用框架的字符检测功能来查找单个字符，然后使用小型机器学习模型来识别单个字符和单词，这种方法类似于传统的光学字符识别(OCR）。

第二种是准确路径(accurate)，它使用神经网络查找字符串和行的文本，然后执行进一步分析以查找单个单词和句子。这种方法更符合人类阅读文本的方式。

这两种识别方式都在VNRecognizeTextRequest 类的 recognitionLevel 属性中，并且该属性为枚举类型：

VNRequestTextRecognitionLevelAccurate: 表示精确级别的文本识别。在这个级别下，识别结果的准确性较高，但可能会增加处理时间和资源消耗。
VNRequestTextRecognitionLevelFast: 表示快速级别的文本识别。在这个级别下，识别速度较快，但可能会牺牲一些准确性。

使用其中任意一个路径都可以选择应用基于自然语言处理（NLP）的语言校正阶段，以尽量减少误读的可能性。

流程图如下：

在这里插入图片描述

识别图像中的文本官方文档

二、实现步骤

实现文字识别总共分为六个步骤：

第一步：导入Vision Kit框架
第二步：创建请求处理器
第三步：在请求处理器中设置文字识别功能
第四步：将图片添加到请求处理器中
第五步：发起文字识别请求
第六步：处理识别结果

1.导入Vision Kit框架

1.打开需要导入的Xcode项目

2.在导航器面板中，选择您的项目文件

3.在项目设置中点击"General"选项卡，然后在"Frameworks, Libraries, and Embedded Content"（框架、库和嵌入内容）部分，点击"+"按钮。

在这里插入图片描述

4.在弹出窗口中，搜索并选择"Vision.framework"。

在这里插入图片描述

5.在项目文件中引入头文件

#import <Vision/Vision.h>
#import <VisionKit/VisionKit.h>

2.创建请求处理器

 // 创建一个请求处理器
    VNRecognizeTextRequest *request = [[VNRecognizeTextRequest alloc] initWithCompletionHandler:^(VNRequest * _Nonnull request, NSError * _Nullable error) {
        if (error) {
            NSLog(@"文字识别出错: %@", error);
            return;
        }
    }];

3.在请求处理器中设置文字识别功能

通过设置VNRecognizeTextRequest属性来设置文字识别功能

//设置参数
//搜索路径为准确路径
    request.recognitionLevel = VNRequestTextRecognitionLevelAccurate;
    //语言范围是英文或者简体中文
    request.recognitionLanguages = @[@"en-US", @"zh-Hans"];

使用 recognitionLanguages 属性来设置文本识别的语言范围。recognitionLanguages 是一个字符串数组，你可以将支持的语言标识符添加到数组中。

4.将图片添加到请求处理器中

创建了一个 VNImageRequestHandler 对象,并将需要识别的图像以 CGImage 的形式传入

 VNImageRequestHandler *handler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:@{}];

5.发起文字识别请求

通过使用 VNImageRequestHandler 的 performRequests方法来实现

 // 发起文字识别请求
    NSError *error = nil;
    [handler performRequests:@[request] error:&error];
    if (error) {
        NSLog(@"文字识别请求出错: %@", error);
    }

6.处理识别结果

VNRecognizedTextObservation 类代表了 Vision 框架识别出的文本观察结果。使用 VNRecognizedTextObservation 对象的 topCandidates 方法返回一个数组，其中包含了识别结果的候选文本。

// 处理识别结果
    NSArray *results = request.results;
    for (VNRecognizedTextObservation *observation in results) {
        NSArray<VNRecognizedText *> *topCandidates = [observation topCandidates:1];
        if (topCandidates.count > 0) {
            VNRecognizedText *recognizedText = [topCandidates firstObject];
            NSString *text = recognizedText.string;
            NSLog(@"识别结果: %@", text);
            self.medicineLabel.text = text;
        } else {
            NSLog(@"没有找到候选文本");
        }
    }