Android 13 - Media框架（6）- NuPlayer::Source

news2025/2/25 14:57:46

Source 在播放器中起着拉流（Streaming）和解复用（demux）的作用，Source 设计的好坏直接影响到播放器的基础功能，我们这一节将会了解 NuPlayer 中的通用 Source（GenericSource）关注本地播放架构，直播流暂时先不研究。

1、NuPlayer::Source

NuPlayer::Source 是一个抽象类，定义了 Source 实现所需要的基本接口，例如 prepareAsync，start，dequeueAccessUnit等，除此之外还包含了一些共有的方法，例如 Callback发送 等。

android 为我们提供了5种 Source 实现，分别为：

  • HTTPLiveSource：url 为 m3u8 结尾的 http 链接时，NuPlayer 将创建 HTTPLiveSource；
  • RTSPSource：url 为 rtsp 开头，或者以sdp结尾时，将创建 RTSPSource；
  • RTPSource：
  • GenericSource：通用 Source，当 url 不符合以上创建条件时会创建该 Source，一般用于本地播放；
  • StreamingSource：NuPlayer 的 setDataSource 提供了一个以 IStreamSource 为参数的版本，意为由上层自己实现 Source，参数 IStreamSource 将被封装在 StreamingSource 中供 NuPlayer 使用。如果我们想在 native 自定义 Source，可以实现 IStreamSource 接口，然后调用这个版本的 setDataSource 方法。

NuPlayer::Source 提供有如下基本播放控制接口，具体实现可根据需求覆写这些实现：

    virtual void prepareAsync() = 0;
    virtual void start() = 0;
    virtual void stop() {}
    virtual void pause() {}
    virtual void resume() {}
    virtual void disconnect() {}
    virtual status_t feedMoreTSData() = 0;
    virtual status_t dequeueAccessUnit(bool audio, sp<ABuffer> *accessUnit) = 0;
    virtual status_t seekTo(int64_t /* seekTimeUs */,MediaPlayerSeekMode /* mode */ = MediaPlayerSeekMode::SEEK_PREVIOUS_SYNC) ;

NuPlayer::Source 提供有名为 Flags 的枚举类型，Flags 标记了当前播放码流所支持的操作，执行完 prepareAsync 后会将 Flags 信息上抛，最终打开或关闭上层的一些功能：

    enum Flags {
        FLAG_CAN_PAUSE          = 1,
        FLAG_CAN_SEEK_BACKWARD  = 2,  // the "10 sec back button"
        FLAG_CAN_SEEK_FORWARD   = 4,  // the "10 sec forward button"
        FLAG_CAN_SEEK           = 8,  // the "seek bar"
        FLAG_DYNAMIC_DURATION   = 16,
        FLAG_SECURE             = 32, // Secure codec is required.
        FLAG_PROTECTED          = 64, // The screen needs to be protected (screenshot is disabled).
    };

Source 运行过程中可能会有如下事件上抛给 NuPlayer，上抛所调用的函数实现在 NuPlayer.cpp 中：

  • kWhatPrepared：Source prepare 完成通知 NuPlayer；
  • kWhatFlagsChanged：prepare 过程中获取的码流支持的操作，prepare 过程中上抛给 NuPlayer；
  • kWhatVideoSizeChanged：prepare 过程中获取的码流宽高等信息，prepare 过程中上抛给 NuPlayer；
  • kWhatBufferingUpdate：上抛当前 buffering 的百分比；
  • kWhatPauseOnBufferingStart：上抛 buffering 开始事件；
  • kWhatResumeOnBufferingEnd：上抛 buffering 结束事件；
  • kWhatCacheStats：上抛当前的缓存带宽信息；
  • kWhatInstantiateSecureDecoders：上抛信息创建 secure decoder；

2、GenericSource

GenericSource 名为通用 source，但是往往它会被用来当作本地播放的 Source，由于本地播放的码流文件会有形形色色的封装格式，所以这个 source 会依赖解封装（demux）服务 media.extractor。除了依赖解封装外，source 还需要一个 IO 来读取码流，这个 IO 被封装在 DataSource中。Source、DataSource、Extractor三者的关系如下：

请添加图片描述

2.1、prepareAsync

void NuPlayer::GenericSource::prepareAsync() {
    Mutex::Autolock _l(mLock);
    ALOGV("prepareAsync: (looper: %d)", (mLooper != NULL));

    if (mLooper == NULL) {
        mLooper = new ALooper;
        mLooper->setName("generic");
        mLooper->start();

        mLooper->registerHandler(this);
    }

    sp<AMessage> msg = new AMessage(kWhatPrepareAsync, this);
    msg->post();
}

GenericSource 的 ALooper 包含在它的类内部，在 prepareAsync 中完成创建和注册。prepareAsync 的处理比较长，这里对代码进行精简阅读：

void NuPlayer::GenericSource::onPrepareAsync() {
    mDisconnectLock.lock();
    // delayed data source creation
    if (mDataSource == NULL) {
        mIsSecure = false;

        if (!mUri.empty()) {
            const char* uri = mUri.c_str();
            String8 contentType;
			// ......
          	// 1. 使用 DataSource 工厂创建一个 datasource
            sp<DataSource> dataSource = PlayerServiceDataSourceFactory::getInstance()
                    ->CreateFromURI(mHTTPService, uri, &mUriHeaders, &contentType,
                            static_cast<HTTPBase *>(mHttpSource.get()));
			 // ......
            if (!mDisconnected) {
                mDataSource = dataSource;
            }
        } 
        // ......
    }

	// 这里的 mIsStreaming 表示当前 Source 是不是网络串流的
    if (mDataSource->flags() & DataSource::kIsCachingDataSource) {
        mCachedSource = static_cast<NuCachedSource2 *>(mDataSource.get());
    }
    // For cached streaming cases, we need to wait for enough
    // buffering before reporting prepared.
    mIsStreaming = (mCachedSource != NULL);

	// 2、使用 DataSource 创建 Extractor
    // init extractor from data source
    status_t err = initFromDataSource();

	// 3、获取 Extractor 解析到的 video track 信息
    if (mVideoTrack.mSource != NULL) {
        sp<MetaData> meta = getFormatMeta_l(false /* audio */);
        sp<AMessage> msg = new AMessage;
        err = convertMetaDataToMessage(meta, &msg);
        if(err != OK) {
            notifyPreparedAndCleanup(err);
            return;
        }
        notifyVideoSizeChanged(msg);
    }

	// 4、将source flag 上抛
    notifyFlagsChanged(
            // FLAG_SECURE will be known if/when prepareDrm is called by the app
            // FLAG_PROTECTED will be known if/when prepareDrm is called by the app
            FLAG_CAN_PAUSE |
            FLAG_CAN_SEEK_BACKWARD |
            FLAG_CAN_SEEK_FORWARD |
            FLAG_CAN_SEEK);
	// 5、将prepareAsync完成消息上抛
    finishPrepareAsync();
}

onPrepareAsync 主要做了如下几件事情：

  1. 使用 DataSource 工厂创建合适的 datasource；
  2. 调用 media.extractor 服务，将 DataSource 作为参数传入，创建 Extractor；
  3. 获取 Extractor 解析到的 video track 信息，将信息上抛；
  4. 将source flag 上抛；
  5. 将prepareAsync完成消息上抛。
status_t NuPlayer::GenericSource::initFromDataSource() {
    sp<IMediaExtractor> extractor;
    sp<DataSource> dataSource;
    {
        Mutex::Autolock _l_d(mDisconnectLock);
        dataSource = mDataSource;
    }
    
    // 1、创建 IExtractor
    // This might take long time if data source is not reliable.
    extractor = MediaExtractorFactory::Create(dataSource, NULL);
	// 2、获取码流信息，包含码流时长等信息
    sp<MetaData> fileMeta = extractor->getMetaData();
	// 3、获取 track 数量
    size_t numtracks = extractor->countTracks();

    mFileMeta = fileMeta;
    if (mFileMeta != NULL) {
        int64_t duration;
        if (mFileMeta->findInt64(kKeyDuration, &duration)) {
            mDurationUs = duration;
        }
    }

    int32_t totalBitrate = 0;
    mMimes.clear();

	// 4、遍历所有的 track
    for (size_t i = 0; i < numtracks; ++i) {
        sp<IMediaSource> track = extractor->getTrack(i);
        if (track == NULL) {
            continue;
        }
		// 获取 track 的信息，包含 mime type
        sp<MetaData> meta = extractor->getTrackMetaData(i);

        const char *mime;
        CHECK(meta->findCString(kKeyMIMEType, &mime));
		// 创建一个 Track 来封装获取到的 track source，以及 track buffer pool
        if (!strncasecmp(mime, "audio/", 6)) {
            if (mAudioTrack.mSource == NULL) {
                mAudioTrack.mIndex = i;
                mAudioTrack.mSource = track;
                mAudioTrack.mPackets =
                    new AnotherPacketSource(mAudioTrack.mSource->getFormat());

                if (!strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_VORBIS)) {
                    mAudioIsVorbis = true;
                } else {
                    mAudioIsVorbis = false;
                }
				// 将 mime 加入到 vector 中
                mMimes.add(String8(mime));
            }
        } else if (!strncasecmp(mime, "video/", 6)) {
            if (mVideoTrack.mSource == NULL) {
                mVideoTrack.mIndex = i;
                mVideoTrack.mSource = track;
                mVideoTrack.mPackets =
                    new AnotherPacketSource(mVideoTrack.mSource->getFormat());
                // 将 video mime 放在容器第一个
                mMimes.insertAt(String8(mime), 0);
            }
        }
		// 将 track source 存储到 vector 中
        mSources.push(track);
        int64_t durationUs;
        if (meta->findInt64(kKeyDuration, &durationUs)) {
            if (durationUs > mDurationUs) {
                mDurationUs = durationUs;
            }
        }
		// 获取 bitrate
        int32_t bitrate;
        if (totalBitrate >= 0 && meta->findInt32(kKeyBitRate, &bitrate)) {
            totalBitrate += bitrate;
        } else {
            totalBitrate = -1;
        }
    }
    
    if (mSources.size() == 0) {
        ALOGE("b/23705695");
        return UNKNOWN_ERROR;
    }
    mBitrate = totalBitrate;
    return OK;
}

initFromDataSource 的关键是调用 media.extractor 服务创建 IMediaExtractor 对象来解析 DataSource 读取到的内容。IMediaExtractor 创建完成，解析过程也就完成了，使用 extractor 可以获取到流的基本信息，track数量，创建 IMediaSource 对象。

  1. 使用 DataSource 创建 IMediaExtractor；
  2. 获取 Extractor MetaData，时长信息、track count、track metadata 这类流信息是存储的 extractor 中的，所以需要从 Extractor 中获取到；
  3. 使用 Extractor 为 每个 track 创建 IMediaSource，并存储在 vector 中，后续读取指定 track 的数据通过该 IMediaSource 来完成；
  4. 将 IMediaSource，track id，以及一个 BufferPool 组织成一个 Track 结构体，后续调用就使用该结构体。
void NuPlayer::GenericSource::finishPrepareAsync() {
    ALOGV("finishPrepareAsync");

    status_t err = startSources();
    if (err != OK) {
        ALOGE("Failed to init start data source!");
        notifyPreparedAndCleanup(err);
        return;
    }

    if (mIsStreaming) {
        mCachedSource->resumeFetchingIfNecessary();
        mPreparing = true;
        schedulePollBuffering();
    } else {
        notifyPrepared();
    }

    if (mAudioTrack.mSource != NULL) {
        postReadBuffer(MEDIA_TRACK_TYPE_AUDIO);
    }

    if (mVideoTrack.mSource != NULL) {
        postReadBuffer(MEDIA_TRACK_TYPE_VIDEO);
    }
}

prepareAsync 的最后会调用 finishPrepareAsync，这里首先会调用已选择的 IMediaSource 的 start 方法，接着上抛 prepare 完成的消息，最后调用 postReadBuffer，让 GenericSource 开始使用 IMediaSource 读取 demux 后的数据。

2.2、数据读取

上面说到调用 postReadBuffer 读取数据，GenericSource 只有一个 ALooper 线程，所以不能同时读取音频和视频数据，那我们应该按什么顺序读取呢？

void NuPlayer::GenericSource::postReadBuffer(media_track_type trackType) {
    if ((mPendingReadBufferTypes & (1 << trackType)) == 0) {
        mPendingReadBufferTypes |= (1 << trackType);
        sp<AMessage> msg = new AMessage(kWhatReadBuffer, this);
        msg->setInt32("trackType", trackType);
        msg->post();
    }
}

postReadBuffer 用成员 mPendingReadBufferTypes 来管理当前应该读取的 track。调用 postReadBuffer 后函数会检查 mPendingReadBufferTypes 对应 trackType 位置的值是否为 0 时，如果是就去读取该 track 的码流，如果不是说明当前正在读取该 track 的码流，不对当前调用做任何操作。当前 track 的数据读取完毕，mPendingReadBufferTypes 对应位置的码流会被重置为 0。

我觉得使用以上机制有两种作用：

  • 可以尽量保证在碰到需要同时读取 audio 和 video 数据的情况时，两种数据都能够读取到，数据次数相对均匀；
  • 可以保证消息队列中同时只有一条读取 audio 和 video 数据的 Message，避免其他消息无法被处理。

接下来看 readBuffer 是如何读取数据的，同上面一样，这里会删减掉 Streaming 部分的代码：

void NuPlayer::GenericSource::readBuffer(
        media_track_type trackType, int64_t seekTimeUs, MediaPlayerSeekMode mode,
        int64_t *actualTimeUs, bool formatChange) {
    Track *track;
    size_t maxBuffers = 1;
    // 1、根据 tracktype 获取一次要读取的buffer的数量
    switch (trackType) {
        case MEDIA_TRACK_TYPE_VIDEO:
            track = &mVideoTrack;
            maxBuffers = 8;  // too large of a number may influence seeks
            break;
        case MEDIA_TRACK_TYPE_AUDIO:
            track = &mAudioTrack;
            maxBuffers = 64;
            break;
        case MEDIA_TRACK_TYPE_SUBTITLE:
            track = &mSubtitleTrack;
            break;
        case MEDIA_TRACK_TYPE_TIMEDTEXT:
            track = &mTimedTextTrack;
            break;
        default:
            TRESPASS();
    }

	// 设定本次读取的位置
    if (actualTimeUs) {
        *actualTimeUs = seekTimeUs;
    }

    MediaSource::ReadOptions options;

    bool seeking = false;
    if (seekTimeUs >= 0) {
        options.setSeekTo(seekTimeUs, mode);
        seeking = true;
    }
	// 是否支持一次读取多包数据，默认是支持的
    const bool couldReadMultiple = (track->mSource->supportReadMultiple());

    if (couldReadMultiple) {
        options.setNonBlocking();
    }
	// 2、获取当前 track 的 generation
    int32_t generation = getDataGeneration(trackType);
    // 3、循环读取，直到读到指定数量的 buffer
    for (size_t numBuffers = 0; numBuffers < maxBuffers; ) {
        Vector<MediaBufferBase *> mediaBuffers;
        status_t err = NO_ERROR;

        sp<IMediaSource> source = track->mSource;
        mLock.unlock();
        // 4、读取buffer
        if (couldReadMultiple) {
            err = source->readMultiple(
                    &mediaBuffers, maxBuffers - numBuffers, &options);
        } 
        mLock.lock();

        options.clearNonPersistent();

        size_t id = 0;
        size_t count = mediaBuffers.size();
		// 5、检查 generation 的值，如果不同于之前的 generation 那么就销毁所有数据并退出数据读取
        // in case track has been changed since we don't have lock for some time.
        if (generation != getDataGeneration(trackType)) {
            for (; id < count; ++id) {
                mediaBuffers[id]->release();
            }
            break;
        }
		// 解析读到的每一个buffer
        for (; id < count; ++id) {
            int64_t timeUs;
            MediaBufferBase *mbuf = mediaBuffers[id];
            // 6、查找 buffer 中的 pts 信息
            if (!mbuf->meta_data().findInt64(kKeyTime, &timeUs)) {
                mbuf->meta_data().dumpToLog();
                track->mPackets->signalEOS(ERROR_MALFORMED);
                break;
            }
            if (trackType == MEDIA_TRACK_TYPE_AUDIO) {
                mAudioTimeUs = timeUs;
            } else if (trackType == MEDIA_TRACK_TYPE_VIDEO) {
                mVideoTimeUs = timeUs;
            }
			// 7、将一个不连续的标志位加入到 buffer pool 中
            queueDiscontinuityIfNeeded(seeking, formatChange, trackType, track);
			// 8、将数据转换为 ABuffer
            sp<ABuffer> buffer = mediaBufferToABuffer(mbuf, trackType);
            if (numBuffers == 0 && actualTimeUs != nullptr) {
                *actualTimeUs = timeUs;
            }
            // 9、给buffer附上一些额外信息
            if (seeking && buffer != nullptr) {
                sp<AMessage> meta = buffer->meta();
                if (meta != nullptr && mode == MediaPlayerSeekMode::SEEK_CLOSEST
                        && seekTimeUs > timeUs) {
                    sp<AMessage> extra = new AMessage;
                    extra->setInt64("resume-at-mediaTimeUs", seekTimeUs);
                    meta->setMessage("extra", extra);
                }
            }
			// 10、将buffer加入到对应 track 的buffer pool 中
            track->mPackets->queueAccessUnit(buffer);
            formatChange = false;
            seeking = false;
            ++numBuffers;
        }
        // 11、销毁没有被解析的 buffer 
        if (id < count) {
            // Error, some mediaBuffer doesn't have kKeyTime.
            for (; id < count; ++id) {
                mediaBuffers[id]->release();
            }
            break;
        }

		// 12、当返回值为WOULD_BLOCK时，退出当前track的读取
        if (err == WOULD_BLOCK) {
            break;
        } else if (err == INFO_FORMAT_CHANGED) {
        } else if (err != OK) {
            queueDiscontinuityIfNeeded(seeking, formatChange, trackType, track);
            track->mPackets->signalEOS(err);
            break;
        }
    }
}
  1. 根据 tracktype 决定一次要读取的buffer的数量，video buffer size 可能比较大，所以读取的数量比较小，audio 的情况反之；
  2. 如果需要seek，那么读取的时候需要带下去 seek 信息；
  3. 开始读取之前先获取当前的 generation 信息，generation 的作用是标记当前执行的操作是否已经过时了（对于读取 audio 和 video 是用不到的）；
  4. 循环读取，直到读到指定数量的 buffer，这里要注意读取的时候是没有加锁的；
    • 检查 generation 的值，如果不同于之前的 generation 那么就销毁所有数据并退出数据读取（对于读取 audio 和 video 是用不到的）；
    • 重新选择了 track（会附带 seek动作），向 buffer pool 添加一个不连续信息；
    • 解析每一个 buffer，读取 pts 信息，将 buffer 以 ABuffer 的形式存储，加入到 buffer pool；
    • 销毁未被解析的 buffer（解析过的 buffer 会直接释放）；
    • 当返回值为WOULD_BLOCK时，退出当前 track 的读取。

由于读取是一个比较耗时的工作，可能会影响其他 cmd 的执行，所以这里设计在读取过程中没有给 IMediaSource 加锁，我们可以控制 IMediaSource 让它中断读取，返回 WOULD_BLOCK 之类的异常。

Android Media 有很多地方用了 generation 技巧，例如在 Renderer、ACodec 中也用到了。它的作用我认为有两点：

  1. 方便 debug；
  2. 在任务执行过程中检查是否有其他更高优先级的任务需要执行，优先级高的任务会直接修改 generation 的数值，从而中断当前任务的执行。

selectTrack 可能会改变当前正在播放的 mime type，decoder 需要被释放再重新创建，所以需要在 Buffer Pool 中添加一条 Discontinuity 信息，用来侦测当前写入 decoder 的数据是否已经到达 selectTrack 后读取的位置。

所有读到的 buffer 将会拷贝到 ABuffer 当中，ABuffer 存储有buffer data、buffer length、metadata 以及 pts 等信息，这些都是向 decoder 中写入时所需要的。

2.3、start

调用 start 后 GenericSource 会分别去读取一次 audio 和 video data，如上一小节所述，如果当前正在读取，那这里的 postReadBuffer 将不会生效。

start 更重要的是将 mStarted 标志置为 true，有了它才能从 GenericSource 获取数据向 decoder 写入。

void NuPlayer::GenericSource::start() {
    Mutex::Autolock _l(mLock);
    ALOGI("start");

    if (mAudioTrack.mSource != NULL) {
        postReadBuffer(MEDIA_TRACK_TYPE_AUDIO);
    }

    if (mVideoTrack.mSource != NULL) {
        postReadBuffer(MEDIA_TRACK_TYPE_VIDEO);
    }

    mStarted = true;
}

2.4、pause、stop、resume

这里将 pause、stop 和 resume 放在一起，他们核心的作用是修改 mStarted 的值，从而控制是否能从 GenericSource 拿到 demux 后的数据。

void NuPlayer::GenericSource::stop() {
    Mutex::Autolock _l(mLock);
    mStarted = false;
}

void NuPlayer::GenericSource::pause() {
    Mutex::Autolock _l(mLock);
    mStarted = false;
}

void NuPlayer::GenericSource::resume() {
    Mutex::Autolock _l(mLock);
    mStarted = true;
}

2.5、disconnect

disconnect 主要是为了网络连接所设计的，里面调用的是 Streaming Source 的断开方法。

void NuPlayer::GenericSource::disconnect() {
    sp<DataSource> dataSource, httpSource;
    {
        Mutex::Autolock _l_d(mDisconnectLock);
        dataSource = mDataSource;
        httpSource = mHttpSource;
        mDisconnected = true;
    }

    if (dataSource != NULL) {
        // disconnect data source
        if (dataSource->flags() & DataSource::kIsCachingDataSource) {
            static_cast<NuCachedSource2 *>(dataSource.get())->disconnect();
        }
    } else if (httpSource != NULL) {
        static_cast<HTTPBase *>(httpSource.get())->disconnect();
    }
}

2.6、seekTo

调用 seek 方法会等当前读取的工作完成，自己以 seekTime，seekMode 作为参数，去调用 readBuffer 分别读取一次 audio/video data：

status_t NuPlayer::GenericSource::doSeek(int64_t seekTimeUs, MediaPlayerSeekMode mode) {
    if (mVideoTrack.mSource != NULL) {
        ++mVideoDataGeneration;
        int64_t actualTimeUs;
        readBuffer(MEDIA_TRACK_TYPE_VIDEO, seekTimeUs, mode, &actualTimeUs);
        if (mode != MediaPlayerSeekMode::SEEK_CLOSEST) {
            seekTimeUs = std::max<int64_t>(0, actualTimeUs);
        }
        mVideoLastDequeueTimeUs = actualTimeUs;
    }

    if (mAudioTrack.mSource != NULL) {
        ++mAudioDataGeneration;
        readBuffer(MEDIA_TRACK_TYPE_AUDIO, seekTimeUs, MediaPlayerSeekMode::SEEK_CLOSEST);
        mAudioLastDequeueTimeUs = seekTimeUs;
    }
    return OK;
}

读取流程和正常流程大致相同，但是不同的是会调用到 AnotherPacketSource.queueDiscontinuity，这里很好理解，seek 后需要丢弃 buffer pool 里之前的所有数据。queueDiscontinuity 就是在向 bufferPool 写入数据时添加 flag，从而实现清空之前的数据的目的。

void NuPlayer::GenericSource::queueDiscontinuityIfNeeded(
        bool seeking, bool formatChange, media_track_type trackType, Track *track) {
    if ((seeking || formatChange)
            && (trackType == MEDIA_TRACK_TYPE_AUDIO
            || trackType == MEDIA_TRACK_TYPE_VIDEO)) {
        ATSParser::DiscontinuityType type = (formatChange && seeking)
                ? ATSParser::DISCONTINUITY_FORMATCHANGE
                : ATSParser::DISCONTINUITY_NONE;
        track->mPackets->queueDiscontinuity(type, NULL /* extra */, true /* discard */);
    }
}

2.7、dequeueAccessUnit

GenericSource 读取到的 demux 后的数据都存储在 AnotherPacketSource 这个buffer pool 中，decoder 调用 dequeueAccessUnit 实际就时从 AnotherPacketSource 获取 buffer。

status_t NuPlayer::GenericSource::dequeueAccessUnit(
        bool audio, sp<ABuffer> *accessUnit) {
    Mutex::Autolock _l(mLock);
	// 1、如果 start 为 false 直接退出
    if (!mStarted && mIsDrmReleased) {
        return -EWOULDBLOCK;
    }

    Track *track = audio ? &mAudioTrack : &mVideoTrack;

    if (track->mSource == NULL) {
        return -EWOULDBLOCK;
    }
	// 2、判断是 bufferpool 是否为空，如果为空则尝试读取并直接退出
    status_t finalResult;
    if (!track->mPackets->hasBufferAvailable(&finalResult)) {
        if (finalResult == OK) {
            postReadBuffer(
                    audio ? MEDIA_TRACK_TYPE_AUDIO : MEDIA_TRACK_TYPE_VIDEO);
            return -EWOULDBLOCK;
        }
        return finalResult;
    }
	// 3、从 bufferpool 中 dequeue buffer，（阻塞等待）
    status_t result = track->mPackets->dequeueAccessUnit(accessUnit);
	// 4、检查 bufferpool 中的数据，如果不够了就尝试读取
    if (!mIsStreaming) {
        if (track->mPackets->getAvailableBufferCount(&finalResult) < 2) {
            postReadBuffer(audio? MEDIA_TRACK_TYPE_AUDIO : MEDIA_TRACK_TYPE_VIDEO);
        }
    }
    return result;
}
  1. 如果 start 为 false 直接退出；
  2. 判断是 bufferpool 是否为空，如果为空则尝试读取并直接退出；
  3. 从 bufferpool 中 dequeue buffer，如果看 AnotherPacketSource 的源码会发现，如果没有buffer了，AnotherPacketSource.dequeueAccessUnit 会阻塞等待，但是在这之前已经判断了是否为空，所以这里并不会出现阻塞的情况；
  4. 检查 bufferpool 中的数据量，如果不够了就尝试读取。

最后要看读取事件驱动的问题，我们可以发现执行 prepare、start、seek、selectTrack 时都会调用一次 postReadBuffer，难道执行一次 read 就没下文了吗？

看了 dequeueAccessUnit 我们就可以知道，本地文件的读取是依赖 decoder 的需求的，decoder 要多少就读多少；而 streaming 是不一样的，它有一个自己 post 自己的过程，从而实现自身不断去拉流的效果。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/923829.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java后端面试题——Mysql篇

Java后端面试题——Mysql篇

在Mysql中&#xff0c;如何定位慢查询呢&#xff1f; 表象&#xff1a;页面加载过慢、接口压测响应时间过长&#xff08;超过1s&#xff09; 原因&#xff1a;聚合查询 多表查询 表数据量过大查询 深度分页查询 方案&#xff1a;MySQL自带慢日志 需要在MySQL的配置文件&…
阅读更多...
动捕设备之惯性动作捕捉，为何是数字人活动首选的动捕设备？

动捕设备之惯性动作捕捉，为何是数字人活动首选的动捕设备？

动捕设备是一种用于捕捉、记录和分析运动的设备&#xff0c;动捕设备可以实时追踪和记录人体的运动轨迹&#xff0c;并将这些动作捕捉数据传输到计算机上&#xff0c;赋予数字人身体姿态。而其中基于惯性动作捕捉技术的动捕设备VDSuit Full&#xff0c;是通过传感器实时测量人体…
阅读更多...
【Hello Network】DNS协议 NAT技术 代理服务器

【Hello Network】DNS协议 NAT技术 代理服务器

本篇博客简介&#xff1a;介绍DNS协议 NAT技术和代理服务器 网络各协议补充 DNSDNS背景DNS介绍DNS总结域名简介 NAT技术NAT技术背景NAT IP转换过程NAPTNAT技术缺陷NAT和代理服务器 网络协议总结应用层传输层网络层数据链路层 DNS DNS是一整套从域名映射到IP的系统 DNS背景 为…
阅读更多...
【产品应用】一体化无刷电机在无泵罐装中的应用

【产品应用】一体化无刷电机在无泵罐装中的应用

随着科技的不断发展&#xff0c;电动化和智能化成为现代工业发展的两大趋势。在液体灌装领域&#xff0c;无泵罐装技术逐渐受到广泛关注。这种技术取消了传统的泵送系统&#xff0c;通过一体化无刷电机的应用&#xff0c;实现了更为高效、精确的灌装过程。本文将详细介绍一体化…
阅读更多...
ICS PA1

ICS PA1

ICS PA1 init.shmake 编译加速ISA计算机是个状态机程序是个状态机准备第一个客户程序parse_argsinit_randinit_loginit_meminit_isa load_img剩余的初始化工作运行第一个客户程序调试&#xff1a;零断点TUI 基础设施单步执行打印寄存器状态扫描内存 表达式求值词法分析递归求值…
阅读更多...
Qt 雷达模拟仿真工具3.0

Qt 雷达模拟仿真工具3.0

Qt 雷达模拟仿真工具3.0 文章目录 Qt 雷达模拟仿真工具3.0ChangeLog效果图Qt交流群 ChangeLog 原有功能1.0版本原有功能2.0版本增加百度在线地图;增加百度离线地图&#xff1b;增加地图街道图卫星图切换&#xff1b;增加地图缩放与雷达图距离联动&#xff1b;增加地图定位&…
阅读更多...
icon图标一键制作,这个免费在线工具超好用!

icon图标一键制作,这个免费在线工具超好用!

图标设计看似微小,实则意义非凡。它能直观地表达抽象概念,减轻用户认知负担。设计师通过改变图标,可打造界面独特视觉风格。图标种类繁多,如平面、线条、玻璃、3D等。应用广泛,因此在线制作图标的设计工具备受设计师青睐。今天就来看看获取免费图标素材和快速在线制作图标的技巧…
阅读更多...
CTFshow——web入门——反序列化web254-web278 详细Writeup

CTFshow——web入门——反序列化web254-web278 详细Writeup

前言 在做题之前先简要总结一下知识点 private变量会被序列化为&#xff1a;\x00类名\x00变量名 protected变量会被序列化为: \x00\*\x00变量名 public变量会被序列化为&#xff1a;变量名__sleep() &#xff1a;//在对象被序列化之前运行__wakeup() //将在反序列化之后立即…
阅读更多...
DIFFEDIT-图像编辑论文解读

DIFFEDIT-图像编辑论文解读

文章目录 摘要算法Step1&#xff1a;计算编辑maskStep2&#xff1a;编码Step3&#xff1a;使用mask引导进行解码理论分析&#xff1a; 实验数据集&#xff1a;扩散模型&#xff1a;ImageNet数据集上实验消融实验IMAGEN数据集上实验COCO数据集上实验 结论 论文&#xff1a; 《D…
阅读更多...
abap table control控制屏幕字段显示/隐藏

abap table control控制屏幕字段显示/隐藏

需求&#xff1a;隐藏TABEL CONTROL的某一列或者多列&#xff0c;其实针对这样子的需求&#xff0c;我们最常想到的就是通过设置字段属性为ACTIVE或INVISIBLE&#xff0c;经过测试&#xff0c;发现&#xff0c;此方法无效。 解决方法&#xff1a;通过CODING修改tabctrl-cols下…
阅读更多...
Delphi 11.3 FMX 多设备平台中使用 TGrid 实现类似 TDBGrid 的效果

Delphi 11.3 FMX 多设备平台中使用 TGrid 实现类似 TDBGrid 的效果

Delphi Firemonkey 中 TDBGrid 这个控件已经没有了。如何实现类似这个效果呢。其实可以用TGrid 来实现。以下用 11.3 来讲解。 查询里面用到的 connection 和 query 等控件那些一般的数据库用法&#xff0c;就不做过多描述了。请参考其他资料。 方法一.通过界面配置来实现 在…
阅读更多...
SocketTools.NET 11.0.2148.1554 Crack

SocketTools.NET 11.0.2148.1554 Crack

添加新功能以简化使用 URL 建立 TCP 连接的过程。 2023 年 8 月 23 日 - 12:35新版本 特征 添加了“HttpGetTextEx”函数&#xff0c;该函数在返回字符串缓冲区中的文本内容时提供附加选项。添加了对“FileTransfer”.NET 类和 ActiveX 控件中的“GetText”和“PutText”方法的…
阅读更多...
尚硅谷大数据项目《在线教育之离线数仓》笔记004

尚硅谷大数据项目《在线教育之离线数仓》笔记004

视频地址&#xff1a;尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili 目录 第9章 数仓开发之DWD层 P049 P050 P051 P052 P053 P054 P055 P056 P057 P058 P059 P060 P061 P062 P063 P064 P065 P066 P067 P068 P069 P070 第9章 数仓开发之DWD…
阅读更多...
java学习网站_Java程序员必看的学习网站

java学习网站_Java程序员必看的学习网站

哔哩哔哩 B 站动力节点官方视频 https://space.bilibili.com/76542346?spm_id_from333.337.0.0 超多视频免费白嫖 专注 java 培训的动力节点 毕业学员业内高薪就业&#xff0c;逐渐得到了业界广大的好评&#xff0c;被业界誉为 “口口相传的 Java 黄埔军校 “。 网址&#x…
阅读更多...
开机自启CPU设置定频

开机自启CPU设置定频

sudo apt-get install expect sudo apt-get install cpufrequtils具体步骤如下&#xff1a; 安装 cpufrequtils 工具 ⚫ sudo apt-get install cpufrequtils ⚫ 需要联网下载修改配置文件 ⚫ sudo vi /etc/init.d/cpufrequtils ⚫ 将 GOVERNOR“ondemand” 改为&#xff1a; &g…
阅读更多...
Java 四种访问控制权限

Java 四种访问控制权限

1.背景&#xff1a; 针对java的类成员访问控制权限理解 2.Java有四种访问控制权限&#xff1a; private&#xff0c;protected&#xff0c;public&#xff0c;default 他们的具体访问权限都是什么呢&#xff1f;用例子来分析一下&#xff1a; 这里要分几个情景&#xff1a;内…
阅读更多...
VR直播现场直击，让你的眼界无限扩大

VR直播现场直击，让你的眼界无限扩大

近日&#xff0c;日本核废水入海闹的沸沸扬扬&#xff0c;我们可以看到有多个直播是在直击日本福岛核污染水排海实时画面&#xff0c;由此可见&#xff0c;直播让我们民众的眼界无限扩大。直播行业现在也是一大热门&#xff0c;但是VR直播则更胜一筹&#xff0c;犹如亲临现场的…
阅读更多...
【瑞吉外卖】所遇问题及解决方法

【瑞吉外卖】所遇问题及解决方法

太菜了实习之余瑞吉外卖补充一下基础知识&#xff08;&#xff0c;不然真啥也不会了。 请输入正确的手机号&#xff01; 是因为我测试了我的手机号&#xff0c;爆红&#xff0c;以为方法有错。但其实是前端代码检查手机号是否符合规范的语句有点&#xff08;&#xff09;啊啊…
阅读更多...
年中盘点2023最佳中概股：AI东风能加成几分？

年中盘点2023最佳中概股：AI东风能加成几分？

互联网中概股有了摘掉“终丐股”帽子的盼头。2023年第二个财报季&#xff0c;阿里、腾讯、百度、网易等头部互联网公司都传来了好消息&#xff0c;营收、利润实现显著增长&#xff0c;释放出积极的信号。而且经历了长达两三年的漫长探底&#xff0c;7月纳斯达克中国金龙指数迎来…
阅读更多...
openGauss学习笔记-49 openGauss 高级特性-索引推荐

openGauss学习笔记-49 openGauss 高级特性-索引推荐

文章目录 openGauss学习笔记-49 openGauss 高级特性-索引推荐49.1 单query索引推荐49.2 虚拟索引49.3 workload级别索引推荐 openGauss学习笔记-49 openGauss 高级特性-索引推荐 openGauss的索引推荐的功能&#xff0c;共包含三个子功能&#xff1a;单query索引推荐、虚拟索引…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023