ios swift画中画技术尝试

news2025/2/2 15:39:45

继上篇：iOS swift 后台运行应用尝试失败-CSDN博客

为什么想到画中画，起初是看到后台模式里有一个picture in picture，去了解了后发现这个就是小窗口视频播放，方便用户执行多任务。看小窗口视频的同时，可以作其他的事情。

画中画功能在20世纪80年代开始在电视机中应用，使得用户可以在一个屏幕上同时观看两个频道的内容。‌

这个技术在安卓里已经非常普遍了。各种视频内容网站都有类似功能。

而苹果支持画中画是在ios14已经开始支持。目前在使用的大多数机型，比如iphone 8p，升级系统后可到ios16.7，都能支持画中画技术。

后台任务苹果管理太严格，不好搞，那么使用画中画这种技术，直接做成多任务，这样也是另一条可以尝试的路径。

1、标准PIP使用

首先，标准写法是采用AVPlayer，输入url需要是MP4等视频文件，如果是加密后的网址，无法播放，比如b站的网址。

创建AVPlayer，使用AVPlayerLayer来初始化AVPictureInPictrueController。

        // 创建 AVPlayer 对象
        let videoURL = URL(string: "https://media.w3.org/2010/05/sintel/trailer.mp4")!
        player = AVPlayer(url: videoURL)
        
        // 创建 AVPlayerLayer 并添加到视图层上
        playerLayer = AVPlayerLayer(player: player)
        playerLayer.frame = view.bounds
        view.layer.addSublayer(playerLayer)
        
        // 设置画中画控制器
        pipController = AVPictureInPictureController(playerLayer: playerLayer)
        pipController.delegate = self

        player.play()   // 直接播放

按home键退出，就会自动启动小窗口继续播放视频。

这里有一个坑，需要初始化音频，否则播放mp4无声音，且画中画也不会触发。

    do {
        // 设置AVAudioSession为后台模式
        try AVAudioSession.sharedInstance().setCategory(.playback, mode: .default)
        try AVAudioSession.sharedInstance().setActive(true)
    } catch {
        print("无法设置AVAudioSession: \(error)")
    }

视频画中画，iphone 8p

2、摄像头预览

摄像头捕捉并预览，这个算法也很容易找到，使用AVCaptureSession

func setupCamera(forgroundFlag: Bool, view: UIView) {
        farView = view
        flag = forgroundFlag
        captureSession = AVCaptureSession()
        captureSession?.beginConfiguration()
        captureSession?.sessionPreset = .high
        
        guard let captureDevice = AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .front) else {
            print("No front camera available")
            return
        }
        
        guard let input = try? AVCaptureDeviceInput(device: captureDevice) else {
            print("Unable to access front camera")
            return
        }
        
        captureSession!.addInput(input)
        
        videoOutput = AVCaptureVideoDataOutput()
        videoOutput?.automaticallyConfiguresOutputBufferDimensions = true
        videoOutput!.setSampleBufferDelegate(self, queue: DispatchQueue(label: "videoQueue"))
        captureSession!.addOutput(videoOutput!)
        
        if (forgroundFlag) {
            videoPreviewLayer = AVCaptureVideoPreviewLayer(session: captureSession!)
            guard let preLayer = videoPreviewLayer else { return }
            preLayer.frame = view.frame
            view.layer.addSublayer(preLayer)
            
            // 设置 UILabel 的属性
            label = UILabel()
            label!.text = "Hello, Swift!" // 设置文本内容
            label!.textColor = UIColor.systemBlue // 设置文本颜色
            label!.font = UIFont.systemFont(ofSize: 20) // 设置字体和大小
            label!.textAlignment = .left // 设置文本对齐方式
            label!.numberOfLines = 0 // 设置行数，0表示自动换行
            
            // 设置 UILabel 的位置和大小
            label!.frame = CGRect(x: 8, y: 20, width: 200, height: 30)
        }
        captureSession?.commitConfiguration()
    }

AVCaptureSession输出的是AVCaptureVideoPreviewLayer，这个layer无法直接用来初始化AVPictureInPictrueController。

3、摄像头输出PIP

swift代码在标准案例上实现都很简洁，但要自定义实现一些功能时，就会发现材料很难找。

比如怎样把摄像头预览与PIP结合。

深度搜索AI给出了一个结果，看上去好像可以，实践下来编辑都不能通过。但是它给出了一个提示，就是AVSampleBufferDisplayLayer。

这里吐槽下AI，最喜欢把不可用的东西包装成很好看的样子，在技术搜索方面，某些时候还不如原始的搜索引擎来得方便。

搜索AVCaptureVideoPreviewLayer转为AVSampleBufferDisplayLayer，也有方法，但是算法看上去稍显复杂。

官方文档Adopting Picture in Picture in a Custom Player | Apple Developer Documentation里也提到了可以使用AVSampleBufferDisplayLayer来初始化PIPController。

网上另一篇文章，说在捕获处理接口里，还有一个视频数据

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection)

CMSampleBuffer可以直接转为AVSampleBufferDisplayLayer，使用enqueu接口，如下：

    func setupSampleBufferDisplayLayer() {
        sampleBufferDisplayLayer = AVSampleBufferDisplayLayer()
        sampleBufferDisplayLayer.frame = view.bounds
        sampleBufferDisplayLayer.videoGravity = .resizeAspect
        view.layer.addSublayer(sampleBufferDisplayLayer)
    }


    func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
。。。。。。        
        if (sampleBufferDisplayLayer.status == AVQueuedSampleBufferRenderingStatus.failed) {
            sampleBufferDisplayLayer.flush() // 异常处理
        }
        sampleBufferDisplayLayer.enqueue(sampleBuffer)
。。。。。。

这样整个流程就能打通了。

通过AVSampleBufferDisplayLayer，可以用任何视频流来初始化AVPictureInPictureController。

    private func setupPiPController() {
        guard AVPictureInPictureController.isPictureInPictureSupported() else {
            print("Picture in Picture is not supported on this device")
            return
        }
        print("support pip!!!")
        
        if pipController == nil {
            pipController = AVPictureInPictureController(contentSource: .init(sampleBufferDisplayLayer: sampleBufferDisplayLayer, playbackDelegate: self))
        }
        
        if let pipController = pipController {
            pipController.delegate = self
            if pipController.isPictureInPicturePossible {
                pipController.startPictureInPicture()
            }
        }
    }

4、摄像头多任务需要硬件支持

前面生成的工程，在iphone 8p上测试效果如下，进入画中画模式时，在1s以内视频捕获就停止了。

摄像头画中画，iphone 8p

原因在于苹果对摄像头硬件管理非常严格，摄像头开小窗口，那么用户就可能用摄像头打开另一个任务，意味着摄像头需要支持多任务。

参考官方说明：

增加代码检查如下：

    
    func setupCamera(forgroundFlag: Bool, view: UIView) {
。。。。。。        
        guard let tempcap = captureSession else { return }
        if (tempcap.isMultitaskingCameraAccessSupported) {
            print("camera supp multitask")
            // Enable use of the camera in multitasking modes.
            captureSession?.isMultitaskingCameraAccessEnabled = true
        } else {
            print("camera not supp multitask")
        }
        captureSession?.commitConfiguration()
    }

从调试打印来看，iphone 8p的摄像头不支持多任务。

根据AI查询结果，可能需要iphone 12以上的机型才能支持摄像头多任务。