Intel MediaSDK sample_decode 官方GPU解码流程学习(一) - DirectX11 D3D11和Vulkan共享资源

news2024/12/28 20:52:14

很久以前研究过 用NV_DX_interop扩展让D3D和OpenGL共享资源 ， OpenGL在当初设计的时候电脑和操作系统还是个相对比较简单的东西，因此OpenGL API设计没有考虑到现在计算机架构的一些特性，比如多核编程和多显卡并发。最近几年出来个Vulkan来接OpenGL的班，所以继续走起研究下D3D11和Vulkan的共享。

Vulkan主程序用了vulkan tutorial下面的一个教程Combined image sampler ， 这段代码演示了把一个纹理vkImage贴到一个3D的四边形面上.

接下来是尝试打通一个D3D11 Texture2D和这个vkImage存放图像数据的buffer, 这样我可以通过修改Texture2D的内容来让显示的vkImage的内容也发生变化。D3D11 Texture2D和vkImage共享的代码流程主要参考自这个github VulkanSdkDemos/BindImageMemory2.cpp at d3d11-image-interop · roman380/VulkanSdkDemos · GitHub

要让vulkan和D3d11共享资源，大致需要这么五步:

  • 在include glfw头文件前，加上#define VK_USE_PLATFORM_WIN32_KHR
#define GLFW_INCLUDE_VULKAN
#define VK_USE_PLATFORM_WIN32_KHR
#include <GLFW/glfw3.h>

  • 初始化vk device的时候，多打开4个extension扩展

        VK_KHR_DEDICATED_ALLOCATION_EXTENSION_NAME,

        VK_KHR_GET_MEMORY_REQUIREMENTS_2_EXTENSION_NAME,

        VK_KHR_EXTERNAL_MEMORY_EXTENSION_NAME,

        VK_KHR_BIND_MEMORY_2_EXTENSION_NAME


const std::vector<const char*> deviceExtensions = {
    VK_KHR_SWAPCHAIN_EXTENSION_NAME,
    VK_KHR_DEDICATED_ALLOCATION_EXTENSION_NAME,
    VK_KHR_GET_MEMORY_REQUIREMENTS_2_EXTENSION_NAME,
    VK_KHR_EXTERNAL_MEMORY_EXTENSION_NAME,
    VK_KHR_BIND_MEMORY_2_EXTENSION_NAME
};

...

createInfo.enabledExtensionCount = static_cast<uint32_t>(deviceExtensions.size());
createInfo.ppEnabledExtensionNames = deviceExtensions.data();

if (vkCreateDevice(physicalDevice, &createInfo, nullptr, &device) != VK_SUCCESS) {
        throw std::runtime_error("failed to create logical device!");
}

  •  创建vkImage对象的时候, VkExternalMemoryImageCreateInfo要声明使用外部的内存对象VK_EXTERNAL_MEMORY_HANDLE_TYPE_D3D11_TEXTURE_BIT

        /* add for DX11/vulkan interop*/
        VkPhysicalDeviceExternalImageFormatInfo PhysicalDeviceExternalImageFormatInfo = { VK_STRUCTURE_TYPE_PHYSICAL_DEVICE_EXTERNAL_IMAGE_FORMAT_INFO };
        PhysicalDeviceExternalImageFormatInfo.handleType = VK_EXTERNAL_MEMORY_HANDLE_TYPE_D3D11_TEXTURE_BIT;
        VkPhysicalDeviceImageFormatInfo2 PhysicalDeviceImageFormatInfo2 = { VK_STRUCTURE_TYPE_PHYSICAL_DEVICE_IMAGE_FORMAT_INFO_2 };
        PhysicalDeviceImageFormatInfo2.pNext = &PhysicalDeviceExternalImageFormatInfo;
        PhysicalDeviceImageFormatInfo2.format = VK_FORMAT_R8G8B8A8_UNORM;
        PhysicalDeviceImageFormatInfo2.type = VK_IMAGE_TYPE_2D;
        PhysicalDeviceImageFormatInfo2.tiling = VK_IMAGE_TILING_OPTIMAL;
        PhysicalDeviceImageFormatInfo2.usage = VK_IMAGE_USAGE_TRANSFER_DST_BIT;
        VkExternalImageFormatProperties ExternalImageFormatProperties = { VK_STRUCTURE_TYPE_EXTERNAL_IMAGE_FORMAT_PROPERTIES };
        VkImageFormatProperties2 ImageFormatProperties2 = { VK_STRUCTURE_TYPE_IMAGE_FORMAT_PROPERTIES_2 };
        ImageFormatProperties2.pNext = &ExternalImageFormatProperties;

        if (vkGetPhysicalDeviceImageFormatProperties2(physicalDevice, &PhysicalDeviceImageFormatInfo2, &ImageFormatProperties2) != VK_SUCCESS) {
            throw std::runtime_error("failed to vkGetPhysicalDeviceImageFormatProperties2!");
        }
        assert(ExternalImageFormatProperties.externalMemoryProperties.externalMemoryFeatures & VK_EXTERNAL_MEMORY_FEATURE_DEDICATED_ONLY_BIT);
        assert(ExternalImageFormatProperties.externalMemoryProperties.externalMemoryFeatures & VK_EXTERNAL_MEMORY_FEATURE_IMPORTABLE_BIT);
        assert(ExternalImageFormatProperties.externalMemoryProperties.compatibleHandleTypes & VK_EXTERNAL_MEMORY_HANDLE_TYPE_D3D11_TEXTURE_BIT);
        /*******************************/

        VkExternalMemoryImageCreateInfo ExternalMemoryImageCreateInfo = { VK_STRUCTURE_TYPE_EXTERNAL_MEMORY_IMAGE_CREATE_INFO };
        ExternalMemoryImageCreateInfo.handleTypes = VK_EXTERNAL_MEMORY_HANDLE_TYPE_D3D11_TEXTURE_BIT;

        VkImageCreateInfo imageInfo{};

        imageInfo.pNext = &ExternalMemoryImageCreateInfo;

        imageInfo.sType = VK_STRUCTURE_TYPE_IMAGE_CREATE_INFO;
        imageInfo.imageType = VK_IMAGE_TYPE_2D;
        imageInfo.extent.width = width;
        imageInfo.extent.height = height;
        imageInfo.extent.depth = 1;
        imageInfo.mipLevels = 1;
        imageInfo.arrayLayers = 1;
        imageInfo.format = format;
        imageInfo.tiling = tiling;
        imageInfo.initialLayout = VK_IMAGE_LAYOUT_UNDEFINED;
        imageInfo.usage = usage;
        imageInfo.samples = VK_SAMPLE_COUNT_1_BIT;
        imageInfo.sharingMode = VK_SHARING_MODE_EXCLUSIVE;

        if (vkCreateImage(device, &imageInfo, nullptr, &image) != VK_SUCCESS) {
            throw std::runtime_error("failed to create image!");
        }

  • 创建D3D11Texture2D时， MiscFlags要包含 D3D11_RESOURCE_MISC_SHARED_NTHANDLE以及D3D11_RESOURCE_MISC_SHARED_KEYEDMUTEX 或D3D11_RESOURCE_MISC_SHARED

CD3D11_TEXTURE2D_DESC TextureDesc(DXGI_FORMAT_R8G8B8A8_UNORM, imageInfo.extent.width, imageInfo.extent.height, 1, 1);
#ifdef USE_KEYEDMUTEX
        TextureDesc.MiscFlags = D3D11_RESOURCE_MISC_SHARED_KEYEDMUTEX | D3D11_RESOURCE_MISC_SHARED_NTHANDLE;
#else
        TextureDesc.MiscFlags = D3D11_RESOURCE_MISC_SHARED | D3D11_RESOURCE_MISC_SHARED_NTHANDLE;
#endif
        

        VERIFY(SUCCEEDED(D3d11Device->CreateTexture2D(&TextureDesc, &Data, &Texture)));

  • 最后把D3D11Texture2D的NTHandle传给vkAllocateMemory，这样AllocateMemory就会复用这个Texture2D的memory, 然后vkBindImageMemory给vkImage
        VERIFY(SUCCEEDED(Texture->QueryInterface(&DxgiResource1)));
        VERIFY(SUCCEEDED(DxgiResource1->CreateSharedHandle(nullptr, GENERIC_ALL, nullptr, &Handle)));

        VkMemoryDedicatedAllocateInfo MemoryDedicatedAllocateInfo = { VK_STRUCTURE_TYPE_MEMORY_DEDICATED_ALLOCATE_INFO };
        MemoryDedicatedAllocateInfo.image = image;
        VkImportMemoryWin32HandleInfoKHR ImportMemoryWin32HandleInfo = { VK_STRUCTURE_TYPE_IMPORT_MEMORY_WIN32_HANDLE_INFO_KHR };
        ImportMemoryWin32HandleInfo.pNext = &MemoryDedicatedAllocateInfo;
        ImportMemoryWin32HandleInfo.handleType = VK_EXTERNAL_MEMORY_HANDLE_TYPE_D3D11_TEXTURE_BIT;
        ImportMemoryWin32HandleInfo.handle = Handle;
        VkMemoryAllocateInfo MemoryAllocateInfo = { VK_STRUCTURE_TYPE_MEMORY_ALLOCATE_INFO };
        MemoryAllocateInfo.pNext = &ImportMemoryWin32HandleInfo;
        MemoryAllocateInfo.allocationSize = MemoryRequirements.size;
        // WARN: MemoryAllocateInfo.memoryTypeIndex remains zero
        VkDeviceMemory ImageMemory;
        VERIFY(vkAllocateMemory(device, &MemoryAllocateInfo, nullptr, &ImageMemory) == VK_SUCCESS);
        VkBindImageMemoryInfo BindImageMemoryInfo = { VK_STRUCTURE_TYPE_BIND_IMAGE_MEMORY_INFO };
        BindImageMemoryInfo.image = image;
        BindImageMemoryInfo.memory = ImageMemory;
        VERIFY(vkBindImageMemory2(device, 1, &BindImageMemoryInfo) == VK_SUCCESS);

这样这个vkImage里面存放像素的那块内存其实就是D3D11Texture2D里存放像素的那个内存区了。接下来只要用D3D11的API对这个Texture2D的像素做改动，vkImage的像素也会相应变化。

代码里有个编译参数

#define USE_KEYEDMUTEX
分别对应创建D3D11 texture2D时候的MiscFlags包含D3D11_RESOURCE_MISC_SHARED_KEYEDMUTEX或者D3D11_RESOURCE_MISC_SHARED的情况

主要区别是

  • 用D3D11_RESOURCE_MISC_SHARED_KEYEDMUTEX创建的Texture2D是自带一个mutex锁的，可能是用来同步d3d11多线程之间不要同时访问这块Texture2D/vkImage内存用的。
  • D3D11_RESOURCE_MISC_SHARED创建的Texture2D资源没有互斥锁的限制，所有线程可以随时随地的访问。

总的来说，粗粗的学习了一下vkImage部分，没有发现什么官方建议的API用来防止D3D11和Vulkan之间同时访问共享资源导致数据完整性错误的机制。所以真正设计程序的时候，可能需要借用windows自己的mutex机制来保证这块。

PS: 这段原始参考代码是有坑的， 简单的说代码的原作者在注释里提到了一个问题，就是这段代码如果在vulkan初始化的时候打开了validation layer, 在后面获取vkImage所需存放像素的buffer大小 vkGetImageMemoryRequirements2()的时候就会出现memory access violation的错误。这段代码是他为了复现问题专门写的，他当时是在AMD的显卡上发现的，我这边用Intel显卡也有一样的问题。我也没搞懂导致这个问题的原因是什么，可能是vulkan库里面的某段代码或者显卡驱动里有错误吧 （当时没看懂代码里作者的注释，后来费了好大劲调试找问题无果，最后发现代码用release模式就能跑，最后定位在了debug模式编译时打开了validation layer) 这个还希望有明白的大佬能指点一下...

最后验证一下，在主循环里，每循环30帧就给Texture2D对象刷一个纯色（红，黄，蓝），这段代码因为没有D3D11的显示部分，而CopyResource()是一个异步操作，函数返回的时候相关的copy命令序列并不一定会进入GPU的command queue并且运行完毕，所以窗口里的贴图的颜色变化会有很明显的延迟 (有些D3D11相关的函数会自动做Flush GPU Command Queue的操作,比如Map()/UnMap(), Present()之类）。因此需要在每次做完CopyResource()以后调用Flush()一下，把拷贝命令刷进GPU的Command Queue里，这样延迟就不是很明显了。

    void mainLoop() {
        unsigned long frame_counter = 0;
        while (!glfwWindowShouldClose(window)) {
            glfwPollEvents();
            drawFrame();
#if 1
            frame_counter++;
            if ((frame_counter % 90 )==0)
            {
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->AcquireSync(1, INFINITE);
                Texture_R_Mutex->AcquireSync(1, INFINITE);
#endif
                //texture刷红色
                D3d11DeviceContext->CopyResource(Texture, Texture_R);
                std::cout << "D3d11DeviceContext->CopyResource(Texture, Texture_R); : " << frame_counter << std::endl;
                D3d11DeviceContext->Flush();
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->ReleaseSync(1);
                Texture_R_Mutex->ReleaseSync(1);
#endif

            }
            else if ((frame_counter % 60) == 0)
            {
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->AcquireSync(1, INFINITE);
                Texture_G_Mutex->AcquireSync(1, INFINITE);
#endif
                //texture刷绿色
                D3d11DeviceContext->CopyResource(Texture, Texture_G);
                std::cout << "D3d11DeviceContext->CopyResource(Texture, Texture_G); : " << frame_counter << std::endl;
                D3d11DeviceContext->Flush();
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->ReleaseSync(1);
                Texture_G_Mutex->ReleaseSync(1);
#endif
            }
            else if ((frame_counter % 30) == 0)
            {
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->AcquireSync(1, INFINITE);
                Texture_B_Mutex->AcquireSync(1, INFINITE);
#endif
                //texture刷蓝色
                D3d11DeviceContext->CopyResource(Texture, Texture_B);
                std::cout << "D3d11DeviceContext->CopyResource(Texture, Texture_B); : " << frame_counter << std::endl;
                D3d11DeviceContext->Flush();
#ifdef USE_KEYEDMUTEX
                Texture_Mutex->ReleaseSync(1);
                Texture_G_Mutex->ReleaseSync(1);
#endif
            }
#endif
        }

        vkDeviceWaitIdle(device);
    }

运行一下, 一切正常，搞定收工

最后还是老规矩，源码奉上，仅供参考

https://gitee.com/tisandman/d3d11_vulkan_sharing

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/25565.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Androguard Documentation：官方文档阅读笔记

Androguard Documentation：官方文档阅读笔记

打算快速阅读下官方文档&#xff0c;然后做一个笔记方便查阅&#xff0c;文章目录按照官方文档目录来的 DOCUMENTATION Getting Started 使用 androguard axml和androguard arsc解码分析AndroidManifest.xml或者resources.arsc。 创建call graphs可以使用androguard cg&…
阅读更多...
快消品b2b电子商务网站建设方案

快消品b2b电子商务网站建设方案

互联网在改造电商行业商业运作模式和提升运营效率作用方面功不可没&#xff0c;目前B2B电商发展正处在交易上升期特别是B2B快消品电商&#xff0c;这个以万亿为单位的流通规模市场必将掀起巨大的社会价值和运营效率。当然在讨论快消品流通B2B电商行业之前&#xff0c;我们先简单…
阅读更多...
C++语言的return语句的一点说明

C++语言的return语句的一点说明

C语言的return语句的一点说明 为了完成某一功能的程序指令&#xff08;语句&#xff09;的集合&#xff0c;称为函数。在程序中&#xff0c;编写函数的主要目的是将一个需要很多行代码的复杂问题分解为一系列简单的任务来解决&#xff0c;而且&#xff0c;同一个任务&#xff0…
阅读更多...
程序员副业之无货源闲鱼

程序员副业之无货源闲鱼

我将从以下这些方面来介绍闲鱼副业。 1. 闲鱼平台能不能挣钱? 2. 闲鱼平台都有哪几种挣钱方式&#xff1f; 3. 小白在闲鱼上怎么挣钱&#xff1f; 4. 能挣多少&#xff1f; 5. 如何养号&#xff1f; 6. 得到高权重的账号闲鱼上架该选什么商品&#xff1f; 7. 卖…
阅读更多...
城市消费券，拒绝恶意爬取

城市消费券，拒绝恶意爬取

作为提振经济的重要把手&#xff0c;城市消费券的作用不言而喻。公开数据显示&#xff0c;2022 年全国各地公布的消费券累计超 100 万亿&#xff0c;在撬动各地消费的过程中起到了举足轻重的作用。 然而&#xff0c;仔细分析各地的核销率就会发现&#xff0c;有很大一部分消费…
阅读更多...
Zookeeper系列文章—入门

Zookeeper系列文章—入门

目录 前言 测试 创建节点 更改节点 删除节点 前言 遵照前文已经对Zookeeper进行了安装 linux安装Zookeeper3.5.7详解_兜兜转转m的博客-CSDN博客 接下来我们从整体架构方面了解一下Zookeeper&#xff1a; ZooKeeper 是一个树形目录服务,其数据模型和Unix的文件系统目录树很类…
阅读更多...
安装完Vmware-tools后找不到共享文件夹的解决办法-Ubuntu 18有效

安装完Vmware-tools后找不到共享文件夹的解决办法-Ubuntu 18有效

首先确认VMware-tools安装好了 如果VMware-tools一直灰色&#xff0c;可以根据这篇文章的方式解决&#xff1a;解决VMware Tools灰色的方法 设置共享文件夹 如果找不到共享文件夹&#xff0c;可以先尝试这个方法&#xff1a;共享文件夹设置方式 特殊情况解决方法 在VMware…
阅读更多...
Java：阻塞队列BlockingQueue与应用场景

Java：阻塞队列BlockingQueue与应用场景

目录 阻塞队列 BlockingQueue的常用方法 生产者消费者应用场景 阻塞队列 阻塞队列BlockingQueue继承自父类Queue&#xff0c;该队列是线程安全的&#xff0c;可以安全的与多个生产者和消费者线程一起使用。 与阻塞队列相对的&#xff0c;存在“非阻塞队列”的概念&#xff0c…
阅读更多...
Python采集某购物软件数据信息，轻松拿捏千元外包项目

Python采集某购物软件数据信息，轻松拿捏千元外包项目

前言 嗨嗨&#xff0c;想必知道外包这个词的人应该不少吧 话说&#xff0c;接外包有多的也有少的&#xff0c;少的几十&#xff0c;多的emm上限我就不说了&#xff0c;嘿嘿 今天要不要来看看一个千元的外包项目&#xff1f; 是采集某购物软件的一些数据信息 咋说&#xff…
阅读更多...
Excel常用图表，看看哪个还不会？

Excel常用图表，看看哪个还不会？

图表是指可以直接展示数据关于时间、数量等关系&#xff0c;对知识挖掘和信息直观生动感起关键作用的图形结果&#xff0c;是对数据关系进行形象“可视化”的手段。所以将数据转换为图表能使数据更为直观。 常见图表 Excel为用户提供了10几种图表&#xff0c;包括柱形图、折线…
阅读更多...
【网安神器篇】——Crunch字典生成工具

【网安神器篇】——Crunch字典生成工具

作者名&#xff1a;Demo不是emo 主页面链接&#xff1a;主页传送门 创作初心&#xff1a;舞台再大&#xff0c;你不上台&#xff0c;永远是观众&#xff0c;没人会关心你努不努力&#xff0c;摔的痛不痛&#xff0c;他们只会看你最后站在什么位置&#xff0c;然后羡慕或鄙夷座…
阅读更多...
小啊呜产品读书笔记001：《邱岳的产品手记-07》第13讲 无用却必要：产品规划【上】 第14讲 留白与节奏：产品规划【下】

小啊呜产品读书笔记001：《邱岳的产品手记-07》第13讲 无用却必要：产品规划【上】 第14讲 留白与节奏：产品规划【下】

小啊呜产品读书笔记001&#xff1a;《邱岳的产品手记-07》第13讲 无用却必要&#xff1a;产品规划【上】 & 第14讲 留白与节奏&#xff1a;产品规划【下】一、今日阅读计划二、泛读&知识摘录1、第13讲 无用却必要&#xff1a;产品规划【上】2、第14讲 留白与节奏&#…
阅读更多...
Linux set 命令的使用方法

Linux set 命令的使用方法

Linux set 命令的使用方法 set 语句是内置的 shell 命令&#xff0c;可以显示并设置 shell 和 Linux 的环境变量。在这篇文章中&#xff0c;我们将尝试使用 set 命令&#xff0c;并且进行一些简单的剖析。 预备工作 请登录您的终端&#xff0c;或者打开虚拟机并且连接&#x…
阅读更多...
出海淘金TikTok，正确姿势是什么？

出海淘金TikTok，正确姿势是什么？

提起海外版抖音TikTok&#xff0c;相信大家并不陌生。TikTok在继美国封禁风波之后&#xff0c;虽然在美国市场的扩张受到了一定阻碍&#xff0c;但并不妨碍它的电商领域在英国市场以及东南亚市场混得风生水起。据统计&#xff0c;TikTok目前是Apple App Store上下载次数最多的应…
阅读更多...
显示DataFrame中每行(或列)中，每个位置以前出现过的最小值：cummin()函数

显示DataFrame中每行(或列)中，每个位置以前出现过的最小值：cummin()函数

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 显示DataFrame中每行(或列)中 每个位置以前出现过的最小值 cummin()函数 选择题 下列说法错误的是? import pandas as pd myDF pd.DataFrame({"A":[5,2,6], "B":[9…
阅读更多...
通用后台管理系统前端界面Ⅸ——数据表格渲染及处理+前端分页

通用后台管理系统前端界面Ⅸ——数据表格渲染及处理+前端分页

1、找 在页面添加table表格&#xff0c;从element-ui官网查找&#xff0c;包括数据一起复制过来&#xff0c;查看显示没有问题后&#xff0c;把tableData清空为空数组。 <template><div><el-table :data"tableData" height"auto" border …
阅读更多...
智慧燃气解决方案-最新全套文件

智慧燃气解决方案-最新全套文件

智慧燃气解决方案-最新全套文件一、建设背景二、建设思路三、建设方案四、获取 - 智慧燃气全套最新解决方案合集一、建设背景 近年来城市燃气取得了巨大的发展&#xff0c;我们在享受清洁能源带来方便的同时&#xff0c;也带来了新的问题&#xff1a; ● 居民用户数量的大量增…
阅读更多...
想知道如何图片转文字？这几个方法你别错过

想知道如何图片转文字？这几个方法你别错过

工作中我们经常要处理很多含有文字的图片&#xff0c;并且大多数时候我们都需要里面的文字内容&#xff0c;如果你一个一个对照着码出来的话&#xff0c;这是很费时费力的工程&#xff0c;其实我们可以想办法将图片内容转换成文字&#xff0c;然后直接复制就可以使用了。那么你…
阅读更多...
第十章：字典树（trie）与并查集

第十章：字典树（trie）与并查集

第十章&#xff1a;字典树&#xff08;trie&#xff09;与并查集一、字典树&#xff08;trie&#xff09;引入1、什么是字典树&#xff1f;2、思路分析3、复杂度分析4、模板&#xff08;1&#xff09;问题&#xff1a;&#xff08;2&#xff09;模板&#xff1a;&#xff08;3&…
阅读更多...
vscode开发高频、通用插件集合（精选15个）

vscode开发高频、通用插件集合（精选15个）

vscode开发通用插件集合1.Live Serve2. Chinese3. GitLens4. Color Highlight5. Highlight Matching Tag6. any-rule7. Time Master 或 Code Time8. Vetur9. ESLint10. Vue-format11. ENV12. background13. Code Runner14. Local History15. Postcode此文仅是本人多年的一些经验…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023