函数直接返回bool值和返回bool变量差异
背景
在工作中遇到一个比较诡异的问题，场景是给业务方提供的SDK有一个获取状态的函数GetStatus，函数的返回值类型是bool，在测试过程中发现，SDK返回的是false，但是业务方拿到的返回值是true。SDK是C语言和C++语言编写的，C语言编写接口层， C++语言编写实际逻辑，业务方是unity，使用C#语言，通过DllImport引用SDK DLL。
- DllImport声明如下
[DllImport("SDK.dll", EntryPoint="GetStatus", CharSet=CharSet.Ansi,
CallingConventin=CallingConvention.Cdec1)]
public static extern bool GetStatus([MarshalAs(UnmanagedType.LPStr)] string key);
- C语言接口层
// 声明
__declspec(dllexport) bool GetStatus(const char* key);
// 定义
bool GetStatus(const char *key)
{
return cpp_instance->GetStatus(key);
}
- C++实现
C++ 将key对应的状态保存到一个map中，key类型为std::string，值为std::any
template<class typename T>
T GetStatus(const std::string &key)
{
if(!status_map_.count(key)) {
return {};
}
const auto &value = status_map_.at(key);
if(!value.has_value()) {
return {};
}
try {
return std::any_cast<T>(value);
} catch (const std::exception &e) {
return {};
}
}
排查
C++侧排查
通过 SDK的 unity demo 调试未能复现问题，将SDK Attach到业务进程调试问题复现，由于代码中没有中间变量保留结果，都是直接将结果返回。调试不方便。在代码中增加了一行日志打印。结果问题不复现了。
- 增加一行日志后的代码
bool GetStatus(const char *key)
{
auto ret = cpp_instance->GetStatus(key);
std::cout << "get status result " << ret << std::endl;
return ret;
}
百思不得其解，决定反汇编调试看下，看下增加日志前和增加日志后的汇编代码。
为了方便调试和说明，这里编写了复现的简单demo，如下：
#include <iostream>
typedef int (*GetBoolFuncPtr)();
static bool GetBool1()
{
return {};
}
static bool GetBool2()
{
/* bool ret = GetBool1();
std::cout << "ret:" << ret << std::endl;
return ret;*/
return GetBool1();
}
int main()
{
/*GetBoolFuncPtr booll = reinterpret_cast<int (*)()>(GetBool1);
GetBoolFuncPtr bool2 = reinterpret_cast<int (*)()>(GetBool2);
std::cout << booll() << " " << bool2() << std::endl;*/
std::cout << GetBool2() << std::endl;
int input;
std::cin >> input;
return 0;
}
未增加日志打印的反汇编代码如下
可以看到GetBool2()函数中直接返回了GetBool1()函数的结果，return {}的反汇编代码为xor al,al，al表示RAX寄存的低8位， 而函数的返回值就是保存在RAX寄存中，所以对于返回值是bool的C++函数，直接return {}是将RAX寄存器的低8位清零，RAX的其他位数是残值。之所以只清零低8位是因为在C++中bool 占1个字节。
增加日志的输出代码
static bool GetBool2()
{
bool ret = GetBool1();
std::cout << "ret:" << ret << std::endl;
return ret;
}
反汇编代码
可以看到GetBool2()函数中通过一个中间变量ret保存了GetBool1()的返回值，并且打印ret的值，然后将ret返回，通过反汇编代码可以看到move byte ptr [ret], al将GetBool1()的保存在al的值保存在了ret指向的地址，return ret对应的反汇编代码movezx eax, byte ptr [ret]将ret的值保存到 eax寄存器，eax寄存器是RAX寄存器的低32位。这里的重点是movezx指令，movezx指令可以将较小的值用0扩展到较大的值。所以这里eax的高24位被清零。
C++侧排查总结
return {}返回bool值将清零RAX寄存器的低8位return ret返回bool值将清零RAX寄存器的低32位
可以看到 增加了一行日志和没有这行日志的差别在于会清零返回值寄存器RAX的多少位。这个差别为什么会导致unity 拿到的结果不一样呢？需要继续排查。
unity排查
现状
-
业务unity应用出现问题
-
SDK unity demo正常
通过和业务开发沟通发现，业务unity应用后端使用的是il2cpp模式，而SDK unity demo则使用的是mono模式，也许是这里出现了问题，果然将unity demo的后端改成il2cpp模式后复现问题。那为什么在il2cpp模式下有问题呢？
il2cpp模式会将C#代码转换成cpp代码，业务同学说在
C#的DllImport地方增加解决了[return: MarshalAs(UnmanagedType.I1)]为什么增加这行代码就可以了，原来在
C#中的UnmanagedType类型中bool变量是占4个字节，而使用il2cpp模式后C#的代码会被转换成C++代码。Dllimport的代码会转换成类似下面的逻辑（这里只摘出了重要代码）typedef int32_t (CDECL * PInvokeFunc)(char*); static PInvokeFunc il2cppPInvokeFunc; if(il2cppPInvokeFunc == NULL) { il2cppPInvokeFunc = il2cpp_codegen_resolve_pinvoke<PInvokeFunc>(IL2CPP_NATIVE_STRING("SDK.dll"), "GetStatus", ....); }
结论
从转换后的代码可以看到，il2cpp C++代码解析的GetStatus函数的返回值是int32_t，也就是说SDK内部返回bool的函数，这里被解析成int32_t了，返回int32_t会从返回值寄存器RAX中读取低32位，结合前面的C++demo分析可以解释了为什么没有打印日志拿到的返回值大概率是true，因为没有打印日志，返回 false只清零了RAX寄存器的低8位，而il2cpp中读取了32位，RAX寄存器大概率有其他函数调用的残值，导致il2cpp中读取到的值大概率为true。而打印了日志，返回false清零RAX寄存器的低32位， il2cpp代码读取正确
参考
https://stackoverflow.com/questions/20035826/why-dllimport-for-c-bool-as-unmanagedtype-i1-throws-but-as-byte-it-works
https://learn.microsoft.com/en-us/dotnet/api/system.runtime.interopservices.unmanagedtype?view=net-9.0
