这一节我们将来解析 media.codec 这个 HIDL service 究竟提供了什么服务,服务是如何启动的。
1、main 函数
我们先来看 frameworks/av/services/mediacodec/main_codecservice.cpp:
int main(int argc __unused, char** argv)
{
strcpy(argv[0], "media.codec");
LOG(INFO) << "mediacodecservice starting";
signal(SIGPIPE, SIG_IGN);
android::ProcessState::initWithDriver("/dev/vndbinder");
android::ProcessState::self()->startThreadPool();
::android::hardware::configureRpcThreadpool(64, false);
// Default codec services
using namespace ::android::hardware::media::omx::V1_0;
sp<IOmx> omx = new implementation::Omx();
if (omx == nullptr) {
LOG(ERROR) << "Cannot create IOmx HAL service.";
} else if (omx->registerAsService() != OK) {
LOG(ERROR) << "Cannot register IOmx HAL service.";
} else {
LOG(INFO) << "IOmx HAL service created.";
}
sp<IOmxStore> omxStore = new implementation::OmxStore(
property_get_int64("vendor.media.omx", 1) ? omx : nullptr);
if (omxStore == nullptr) {
LOG(ERROR) << "Cannot create IOmxStore HAL service.";
} else if (omxStore->registerAsService() != OK) {
LOG(ERROR) << "Cannot register IOmxStore HAL service.";
}
::android::hardware::joinRpcThreadpool();
}
main 函数中创建了 IOmx 和 IOmxStore 两个对象,说明这一个进程有两个服务。
我会对这里的代码有一点疑问,media.codec 这个进程作为 HIDL service 应该使用 /dev/hwbinder
,main函数一开始为什么打开的是 /dev/vndbinder
呢?
观察可以看到 IOmx 会调用 registerAsService 方法,这个方法可以在 HIDL 编译生成文件中找到:
::android::status_t IOmx::registerAsService(const std::string &serviceName) {
return ::android::hardware::details::registerAsServiceInternal(this, serviceName);
}
内部调用了 registerAsServiceInternal 方法将服务对象注册到了 /dev/hwbinder
,至于为什么要打开 /dev/vndbinder
我猜测可能是为了给 vendor 进程调用吧…
2、IOmx
Omx 的构造函数创建了一个 OMXStore
用于加载、创建、管理所有的 OMX 组件,以及一个 MediaCodecsXmlParser
用于加载 Media 相关的 xml 配置文件。
Omx::Omx() :
mStore(new OMXStore()),
mParser() {
(void)mParser.parseXmlFilesInSearchDirs();
(void)mParser.parseXmlPath(mParser.defaultProfilingResultsXmlPath);
}
接下来对 IOmx 提供的其他服务接口做简单的功能介绍:
Return<void> listNodes(listNodes_cb _hidl_cb) override;
Return<void> allocateNode(
const hidl_string& name,
const sp<IOmxObserver>& observer,
allocateNode_cb _hidl_cb) override;
Return<void> createInputSurface(createInputSurface_cb _hidl_cb) override;
// Method from hidl_death_recipient
void serviceDied(uint64_t cookie, const wp<IBase>& who) override;
// Method for OMXNodeInstance
status_t freeNode(sp<OMXNodeInstance> const& instance);
- listNodes:给 IOmxStore 使用,列出所有可用的组件;
- allocateNode:根据组件名创建 OMX 组件;
- createInputSurface:暂未使用到,后期碰到了再来记录;
- freeNode:释放创建的 OMX 组件。
OMXStore 是 IOmx 服务的大管家,创建销毁组件最终都由 OMXStore 来完成。这里不会去了解具体的如何创建销毁的过程,重在先了解设计结构。
3、OMXStore
OMXStore 的构造函数加载了两个 lib(libstagefrighthw.so, libstagefright_softomx_plugin.so)
,第一个lib 是硬件平台需要实现的,也就是我们所说的硬件解码实现,第二个 lib 是Android平台提供的默认的软件编解码实现,现在它已经被移除,并且用 CCodec 来替代。
我们这一系列笔记重点要研究的是硬件编解码的框架,所以只研究 libstagefrighthw.so 的部分。
这里之所以用 dlopen 和 dlsym 加载库是因为,不是所有的平台都会实现硬件编解码库,如果用动态链接这里就会出错了。
OMXStore::OMXStore() {
......
addVendorPlugin();
addPlatformPlugin();
}
void OMXStore::addVendorPlugin() {
addPlugin("libstagefrighthw.so");
}
void OMXStore::addPlatformPlugin() {
addPlugin("libstagefright_softomx_plugin.so");
}
在进入 OMXStore 了解之前,我们先对这部分的实现结构做一个简单了解,这样学习起来会更轻松。Android 源码中已经有了高通的 demo 实现可供我们参考,位于:
hardware/qcom/media/msm8998/libstagefrighthw
hardware/qcom/media/msm8998/mm-core/src/common
这里主要涉及了两个库,libstagefrighthw.so
已经在 OMXStore 中看到过了,还有另一个重要的库 libOmxCore.so
它实现了获取调用 OMX 服务的标准接口。
这里会由下自上来描述每一层的作用:
编解码库实现
:厂商会提供多个硬件编解码实现,这些库以 OMX 开头,接下来的问题是如何使用这些库?;libOmxCore.so
:所有的硬件编解码库实现都会以列表的形式存储在 libOmxCore.so 中,libOmxCore.so 库实现了 OMX 框架提供的标准接口,上层可以通过这些接口获取底层硬件编解码库的实现;当然,libOmxCore这个库的名字可以由 vendor 自己定义;libstagefrighthw.so
:libstagefrighthw 对 libOmxCore 提供的接口调用进行了封装,并且提供标准接口给上层使用,这一层同样由 vendor 来实现,如果上面的 libOmxCore 名称发生变化,那么 libstagefrighthw 加载的库名也要变化;OMXStore
:如果可以成功加载 libstagefrighthw.so,那么就调用它的标准接口获取底层 OMX 提供的服务细节。
3.1、addPlugin
接下来一起了解 libstagefrighthw 的加载过程:
void OMXStore::addPlugin(const char *libname) {
// 1. 获取 vendor.media.omx ,如果是0则退出
if (::android::base::GetIntProperty("vendor.media.omx", int64_t(1)) == 0) {
return;
}
// 2. 加载 libstagefrighthw.so
void *libHandle = android_load_sphal_library(libname, RTLD_NOW);
if (libHandle == NULL) {
return;
}
// 3. 获取lib 中的方法
typedef OMXPluginBase *(*CreateOMXPluginFunc)();
CreateOMXPluginFunc createOMXPlugin =
(CreateOMXPluginFunc)dlsym(
libHandle, "createOMXPlugin");
if (!createOMXPlugin)
createOMXPlugin = (CreateOMXPluginFunc)dlsym(
libHandle, "_ZN7android15createOMXPluginEv");
// 4. 调用方法创建实例
OMXPluginBase *plugin = nullptr;
if (createOMXPlugin) {
plugin = (*createOMXPlugin)();
}
// 5. 存储创建的实例
if (plugin) {
mPlugins.push_back({ plugin, libHandle });
// 6. 从实例中读取提供的服务内容
addPlugin(plugin);
} else {
android_unload_sphal_library(libHandle);
}
}
- 首先获取
vendor.media.omx
属性,默认是 1,如果设置了0,则硬件编解码将不会再走 OMX 一路,这应该是在为切换到 CCodec 做准备; - 加载libstagefrighthw.so,dlsym 获取 createOMXPlugin 接口;
- 调用 createOMXPlugin 创建 OMXPluginBase 实例;
- 存储实例,从实例中获取提供的服务内容。
从上面的流程中我们可以知道,libstagefrighthw 需要实现 createOMXPlugin 接口,该接口会创建一个 OMXPluginBase 对象。
createOMXPlugin
接口声明位于
frameworks/native/headers/media_plugin/media/hardware/HardwareAPI.h
OMXPluginBase
声明位于 frameworks/native/headers/media_plugin/media/hardware/OMXPluginBase.h
struct OMXPluginBase {
OMXPluginBase() {}
virtual ~OMXPluginBase() {}
// 创建组件实例
virtual OMX_ERRORTYPE makeComponentInstance(
const char *name,
const OMX_CALLBACKTYPE *callbacks,
OMX_PTR appData,
OMX_COMPONENTTYPE **component) = 0;
// 销毁组件实例
virtual OMX_ERRORTYPE destroyComponentInstance(
OMX_COMPONENTTYPE *component) = 0;
// 列出组件信息
virtual OMX_ERRORTYPE enumerateComponents(
OMX_STRING name,
size_t size,
OMX_U32 index) = 0;
// 获取组件 role
virtual OMX_ERRORTYPE getRolesOfComponent(
const char *name,
Vector<String8> *roles) = 0;
private:
OMXPluginBase(const OMXPluginBase &);
OMXPluginBase &operator=(const OMXPluginBase &);
};
3.2、addPlugin Inner
这里又有一个 addPlugin,但是它的功能和上面3.1节中的是完全不同的,这里的 addPlugin 参数为 OMXPluginBase,用于加载 OMX 组件信息的。
void OMXStore::addPlugin(OMXPluginBase *plugin) {
Mutex::Autolock autoLock(mLock);
// 获取当前设备类型,获取设备api level
bool typeTV = isTV();
int firstApiLevel = getFirstApiLevel();
OMX_U32 index = 0;
char name[128];
OMX_ERRORTYPE err;
// 循环读取 OMXPluginBase 中的组件信息,传出参数为字符串
while ((err = plugin->enumerateComponents(
name, sizeof(name), index++)) == OMX_ErrorNone) {
String8 name8(name);
Vector<String8> roles;
// 根据字符串再从 OMXPluginBase 解析出 role
OMX_ERRORTYPE err = plugin->getRolesOfComponent(name, &roles);
if (err == OMX_ErrorNone) {
bool skip = false;
for (String8 role : roles) {
// 根据当前的 API level 来判断是否要加载当前组件
if (role.find("video_decoder") != -1 || role.find("video_encoder") != -1) {
if (firstApiLevel >= __ANDROID_API_T__) {
skip = true;
break;
} else if (!typeTV && firstApiLevel >= __ANDROID_API_S__) {
skip = true;
break;
}
}
if (role.find("audio_decoder") != -1 || role.find("audio_encoder") != -1) {
if (firstApiLevel >= __ANDROID_API_T__) {
skip = true;
break;
}
}
}
if (skip) {
continue;
}
}
// 判断是否有重复
if (mPluginByComponentName.indexOfKey(name8) >= 0) {
ALOGE("A component of name '%s' already exists, ignoring this one.",
name8.string());
continue;
}
mPluginByComponentName.add(name8, plugin);
}
}
- 获取设备类型以及api level;
- 调用 OMXPluginBase 的方法读取组件信息(组件名称);
- 获取组件名称对应的 role,如果是 video 组件,并且满足 api level 高于 Android T 或者 不是电视并且 api level 高于 Android S 的条件,则不会将该组件加载到 OMXStore 当中;如果是 audio 组件并且 api level 高于 Android T,则同样不会将该组件加载到 OMXStore 当中;
- 否则将组件名称存储到容器当中。
从这里我们可以了解到,从 Android 13 开始要弃用 OMX 框架了,如果 vendor 还没有实现 CCodec,则需要修改这边的内容,我们切到 Android S 上来看 OMXStore 的代码,是没有这部分的判断的。
虽然说从 Android T 开始要弃用 OMX 框架了,但是我们仍然用该版本的代码来学习它。
4、QComOMXPlugin
从上面我们可以知道 OMXStore 会打开 libstagefrighthw.so,并且调用内部方法 createOMXPlugin 创建一个 OMXPluginBase 对象,接着会调用该对象的方法读取 OMX 组件信息。之前我们只看了 OMXPluginBase 的接口声明,这一小节,我们一起来了解下 OMXPluginBase 的高通实现,代码位于:
hardware/qcom/media/msm8998/libstagefrighthw/QComOMXPlugin.cpp
QComOMXPlugin::QComOMXPlugin()
: mLibHandle(dlopen("libOmxCore.so", RTLD_NOW)),
mInit(NULL),
mDeinit(NULL),
mComponentNameEnum(NULL),
mGetHandle(NULL),
mFreeHandle(NULL),
mGetRolesOfComponentHandle(NULL) {
if (mLibHandle != NULL) {
mInit = (InitFunc)dlsym(mLibHandle, "OMX_Init");
mDeinit = (DeinitFunc)dlsym(mLibHandle, "OMX_Deinit");
mComponentNameEnum =
(ComponentNameEnumFunc)dlsym(mLibHandle, "OMX_ComponentNameEnum");
mGetHandle = (GetHandleFunc)dlsym(mLibHandle, "OMX_GetHandle");
mFreeHandle = (FreeHandleFunc)dlsym(mLibHandle, "OMX_FreeHandle");
mGetRolesOfComponentHandle =
(GetRolesOfComponentFunc)dlsym(
mLibHandle, "OMX_GetRolesOfComponent");
if (!mInit || !mDeinit || !mComponentNameEnum || !mGetHandle ||
!mFreeHandle || !mGetRolesOfComponentHandle) {
dlclose(mLibHandle);
mLibHandle = NULL;
} else
(*mInit)();
}
}
QComOMXPlugin 的构造函数里打开了 libOmxCore.so
,并且动态加载了内部的方法,并且在最后调用了 OMX_Init
方法。
看到这里,如果我们要实现自己的底层硬件编解码库,首先要写一个 libstagefrighthw.so,内部要包含 createOMXPlugin 方法,该方法要返回 OMXPluginBase 对象,该对象的构造函数里同样也要打开一个类似 libOmxCore.so 的库,库里面封装有 OMX_GetHandle,OMX_FreeHandle 等方法。
5、IOmxStore
我们这里不会去详细展开 IOmxStore 的内容,IOmxStore 我看到的只在一个地方有使用:在 MediaCodecList 加载时,加载 OMX 组件时会用到 IOmxStore。IOmxStore 里的信息怎么来的?
IOmx 的构造函数中有三句和 xml 相关的内容,codec 信息就是在这里被加载的:
mParser() {
(void)mParser.parseXmlFilesInSearchDirs();
(void)mParser.parseXmlPath(mParser.defaultProfilingResultsXmlPath);
我们这里主要看 parseXmlFilesInSearchDirs:
status_t parseXmlFilesInSearchDirs(
const std::vector<std::string> &xmlFiles = getDefaultXmlNames(),
const std::vector<std::string> &searchDirs = getDefaultSearchDirs());
static std::vector<std::string> getDefaultSearchDirs() {
return { "/product/etc",
"/odm/etc",
"/vendor/etc",
"/system/etc" };
}
std::vector<std::string> MediaCodecsXmlParser::getDefaultXmlNames() {
static constexpr char const* prefixes[] = {
"media_codecs",
"media_codecs_performance"
};
static std::vector<std::string> variants = {
android::base::GetProperty("ro.media.xml_variant.codecs", ""),
android::base::GetProperty("ro.media.xml_variant.codecs_performance", "")
};
static std::vector<std::string> names = {
prefixes[0] + variants[0] + ".xml",
prefixes[1] + variants[1] + ".xml",
// shaping information is not currently variant specific.
"media_codecs_shaping.xml"
};
return names;
}
可以看到默认情况下,会到 “/product/etc”, “/odm/etc”, “/vendor/etc”, “/system/etc” 这四个目录下查找 media_codecs.xml 和 media_codecs_performance.xml 以及 media_codecs_shaping.xml。
如果我们的文件名称不是使用的默认的,那么需要用属性 ro.media.xml_variant.codecs 和 ro.media.xml_variant.codecs_performance 来自定义文件名。
具体如何加载以及解析 xml 文件的,可以参考:MediaCodecsXmlParser.cpp。
我们要注意的是,IOmxStore 这里存储的所有的 codec 信息均是来自于 xml 文件,并不会从 OMX 去读取。如果 xml 文件中没有某个组件相关的配置,则无法从 MediaCodecList 中获取到该组件信息,因此也就无法创建该组件;如果 OMX某个组件的信息没有加载到 OMXStore 中,那么就算可以从 MediaCodecList 中获取到组件信息,那么也是无法创建该组件的。所以 xml 文件需要和 libOmxCore 中的内容保持一致。