写的很乱!
BRDF(Bidirectional Reflectance Distribution Function)全称双向反射分布函数。辐射量单位非常多,这里为方便直观理解,会用非常不严谨的光照强度来解释说明。
BRDF光照模型,上反射率公式:
计算的是在法线所在半球上的所有入射光线,在出射方向的光强总和,公式有俩个部分。
即BRDF,从特定的入射方向到出射方向,在某个表面上,光强的衰减比率。
有了比率,还需要知道在物体表面接收到的某个方向上的光强,所以前半部分是光线沿入射方向到p点发射的光线强度,后半部分用表面与入射方向的夹角计算实际接收到的光线强度(因为这里虽然是一个点,但同时也需要当做一个极小的平面区域处理)。
关于几何函数
为什么GXX有俩个?只考虑一次反射能成功的,其实就是简单的认为入射方向能不被遮挡的光线比例 × 出射方向能不被遮挡的光线比例 = 整条光路上不会被遮挡的光线比例。
Cook-Torrance BRDF
🔻如果在渲染结果中发现了类似以下的问题或变,极大概率是法线没有在片元着色器中标准化。
SRP中实现的Cook-Torrance BRDF效果(无法线贴图,未进行gamma调整):
增加支持多光源
有很多免费的材质素材:Hundreds of 3D Texture Downloads - Free PBR Materials
这部分是没什么难度的,将相关变量设置为数组即可。
🔻但问题就出现在这,在Unity 2022.3.45f1c1中,如果先实现了.SetGlobalVector然后修改成.SetGlobalVectorArray,那么恭喜你完犊子了。修改后传入GPU的数据还是按.SetGlobalVector处理的,Dubug半天你会发现GPU就是拿不到完整的数组。
解决方法:Unity!重启!😎
🔻如果遇到CullingResults.lightIndexCount在某些视角下会返回非常奇怪的(错误)值的情况,例如明明只有2个可见光源,但返回4个。用CullingResults.visibleLights.Length来获取可见光源数组的个数,而不是CullingResults.lightIndexCount即可。
🔻Shader error in 'Custom/BRDF': Unexpected directive '';这种错多半是用了中文分号或者其他的全半角问题。
支持法线贴图,如果想要在切线空间引用法线贴图后再转到世界坐标系下,需要用TBN矩阵的逆矩阵实现。具体见:TBN矩阵的使用
🔻应用贴图实现的BRDF效果很抽象,我以为是TNB出问题了(甚至怀疑unity默认切线有问题,还从blender中导了个正确的球模型过来),整了很久发现是采样法线贴图出错了,虽然各种设置了Unity项目是线性空间,但纹理这一块疑似过于独立了,需要在贴图中应用为Normal Map才能确保纹理采样在线性空间下。
那么有朋友就要问了,unity!unity!我用Default但不勾选sRGB不就可以了吗?unity答:不行。
为什么呢?因为根据TNB矩阵的组织方式,切线空间中垂直表面的轴实际上是x轴而不是z轴,如果想直接使用原始法线贴图,需要调整颜色通道顺序。
如果只用线性空间采样,输出采样结果经过映射后其实是大红色的,即(1.0,0.0,0.0),怎么回事呢?
映射指颜色范围0~1到法线范围-1~1,而映射前是粉红色的。据说解包出的法线纹理也是粉红色的,和这个有关系吗?
法线贴图And图像压缩
贴图设置为Normal Map就可以了吗?换个法线变换明显材质试试看看😕。
输出法线,很明显少了一部分。
怎么回事呢,采访一下纹理压缩格式。
DXT5|BC3:“我不到啊。”
Unity:“他说(DXT5|BC3)他的alpha和green通道最好用,我就按他说的来了。”
言归正传,BC3是DXT5在DirectX 10中的别称,以下都以将以BC3称呼,BC是怎么压缩图像的这里就不过多解释了,直接看BC3压缩后的格式。
BC3 格式使用 5:6:5 颜色(5 位红色、6 位绿色、5 位蓝色)存储颜色数据,使用一个字节存储 alpha 数据。 更多的位数意味着更大的颜色深度,即更好的颜色表现。对法线来说,其归一化后长度为1,知道x,y即可计算z,所以当选择Texture为NormalMap时,Unity会自动处理成alpha和green通道以帮助我们得到最佳的图像效果。
在压缩大多数 RGBA 纹理时最好使用此格式。对于 RGB(无 Alpha)纹理,DXT1 更适合。当针对 DX11 类硬件(新版 PC、PS4、XboxOne)时,使用 BC7 可能很有用,因为压缩品质通常更好。
拓展一下,Unity中RGBA默认用BC3或BC7,BC7有八种模式,但RGBA支持模式下位数最多(之一)的还是alpha通道,颜色三通道则相同,所以用alpha加green通道也是最优解。
虽然法线贴图是RGB图,但还是用了RGBA的处理方式。
此外,Unity法线贴图也支持用BC5进行压缩,不过对应的采样代码就要修改了,反正怎么压缩怎么采样即可。
所以如果想得到正确的法线贴图采样结果,就需要手动提取alpha和green通道作为yz,再求解出x,这里的对应关系很重要。
通过UV检查图确定UV坐标原点为面左下角,然后只输出法线贴图上采样green通道的颜色。
可以确定green通道对应副切线,输出alpha通道。
可知alpha通道对应切线,那么法线方向的值就是要算的了,计算出法线方向输出值输出结果如下。
说明前面的推测是正确的,又由于TNB矩阵的组织方式是world normal,world tangent,world bitangent,所以alpha和green通道作为yz,再求解出最后一个值作为x。
float3x3 TNB = float3x3(normalize(v2p.normal), normalize(v2p.tangent), normalize(v2p.bitangent));
处理一下就能够将原法线贴图绘制出来,右图颜色更深是由于右图在线性颜色空间下+显示屏Gamma2.2调整,左图在线性空间下+Unity自动Gamma0.45调整+显示屏Gamma2.2调整。
修正后效果:
🔻Gamma问题,光照对了但球的颜色很淡很淡。原因是Color Space选择Linear时,Unity会自动对渲染窗口做一次Gamma0.45。而我参考LearnOpen GL在Shader中也实现了一次Gamma 0.45,所以结果是两次Gamma0.45,加上显示器的一次Gamma2.2,最终输出颜色还是Gamma 0.45,所以会感觉很淡(如果Color Space选Gamma,就需要手动校正)。
参考:Gamma 和 Linear Space的设置 Unity
然后终终终终于实现成功了“网图”的效果!
Unity中显示法线,切线,副切线(附代码)
先前为了查看切线是否有问题,写了个非常简单的脚本显示各顶点的切线坐标轴(使用前要reset对象的transform),结果显示模型非常健康。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class ShowNormalsAndTangents : MonoBehaviour
{
[SerializeField]
float normalLength = 0.03f;
// Update is called once per frame
void OnDrawGizmosSelected()
{
Mesh mesh = GetComponent<MeshFilter>().sharedMesh;
Vector3[] v = mesh.vertices;
Vector3[] n = mesh.normals;
Vector4[] t = mesh.tangents;
for (int i = 0; i < v.Length; i++) {
Gizmos.color = Color.red;
Gizmos.DrawRay(v[i], n[i] * normalLength);
Gizmos.color = Color.green;
Gizmos.DrawRay(v[i], new Vector3(t[i].x, t[i].y, t[i].z) * normalLength);
Vector3 bitangent = Vector3.Normalize(Vector3.Cross(n[i], new Vector3(t[i].x, t[i].y, t[i].z)) * t[i].w);
Gizmos.color = Color.blue;
Gizmos.DrawRay(v[i], bitangent * normalLength);
}
}
}
Unity中显示法线,切线,副切线(几何着色器实现代码)
这里再补充一个用几何着色器实现的法线,切线和副切线显示。完全重叠的线只会显示一条,所以有可能会看到缺少了某条线,其实是被覆盖掉了。
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'
// Upgrade NOTE: replaced '_Object2World' with 'unity_ObjectToWorld'
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'
Shader "Custom/ShowNormals"
{
Properties
{
_LineLength("LineLength", float) = 0.03
_NormalLineColor("NormalLineColor", Color) = (1.0, 0.0, 0.0, 1.0)
_TangentLineColor("TangentLineColor", Color) = (0.0, 1.0, 0.0, 1.0)
_BitangentLineColor("BitangentLineColor", Color) = (0.0, 0.0, 1.0, 1.0)
}
SubShader
{
Pass
{
HLSLPROGRAM
#pragma vertex VS_Main
#pragma fragment FS_Main
#pragma geometry GS_Main
float4x4 unity_MatrixVP;
float4x4 unity_ObjectToWorld;
float4x4 unity_WorldToObject;
float _LineLength;
float4 _NormalLineColor;
float4 _TangentLineColor;
float4 _BitangentLineColor;
struct VS_INPUT{
float3 m_pos:POSITION;
float3 normal:NORMAL;
float4 tangent:TANGENT;
};
struct GS_INPUT
{
float4 pos:POSITION;
float3 w_normal:NORMAL;
float3 w_tangent:TANGENT;
float3 w_bitangent:TEXCOORD0;
};
struct FS_INPUT
{
float4 pos:POSITION;
float4 lineColor:TEXCOORD0;
};
//step1
GS_INPUT VS_Main(VS_INPUT input)
{
GS_INPUT output;
output.pos = mul(unity_ObjectToWorld, float4(input.m_pos, 1.0));
output.w_normal = mul(transpose((float3x3)unity_WorldToObject), input.normal);
output.w_tangent = mul((float3x3)unity_ObjectToWorld, input.tangent.xyz);
output.w_bitangent = cross(output.w_normal, output.w_tangent) * input.tangent.w;
return output;
}
[maxvertexcount(18)] //GS单次调用可以输出的最大顶点数量,这里每个顶点会变成俩顶点所以是3*2;
void GS_Main(triangle GS_INPUT gsIn[3], inout LineStream<FS_INPUT> triStream)
{
for(uint i = 0; i < 3; ++i){
FS_INPUT pIn;
pIn.pos = mul(unity_MatrixVP, gsIn[i].pos);
FS_INPUT pIn1;
float4 pos= gsIn[i].pos + float4(normalize(gsIn[i].w_normal), 0.0) * _LineLength;
pIn1.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _NormalLineColor;
pIn1.lineColor = _NormalLineColor;
triStream.Append(pIn);
triStream.Append(pIn1);
triStream.RestartStrip();
FS_INPUT pIn2;
pos = gsIn[i].pos + float4(normalize(gsIn[i].w_tangent), 0.0) *_LineLength;
pIn2.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _TangentLineColor;
pIn2.lineColor = _TangentLineColor;
triStream.Append(pIn);
triStream.Append(pIn2);
triStream.RestartStrip();
FS_INPUT pIn3;
pos = gsIn[i].pos + float4(normalize(gsIn[i].w_bitangent), 0.0) *_LineLength;
pIn3.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _BitangentLineColor;
pIn3.lineColor = _BitangentLineColor;
triStream.Append(pIn);
triStream.Append(pIn3);
triStream.RestartStrip();
}
}
//step3
float4 FS_Main(FS_INPUT input) : SV_TARGET0
{
return input.lineColor;
}
ENDHLSL
}
}
}
手动计算TNB
当然也可以手动计算切线空间的坐标系,但这样计算就会使得每个三角形面片都有自己独立的切线空间。例如,左图是模型默认切线空间,法线和切线由该顶点所参与的6个片元的法线和切线平均得到(平滑着色),右图是只根据法线在各片元内重新计算的切线和副切线(如果法线也各片元重新计算,就是平直着色)。【学习TNB矩阵过程中写的意义不明的Shader,而且法线用平均的但切线又重新算这是什么迷惑操作啊】
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'
// Upgrade NOTE: replaced '_Object2World' with 'unity_ObjectToWorld'
// Upgrade NOTE: replaced '_World2Object' with 'unity_WorldToObject'
// Upgrade NOTE: replaced 'mul(UNITY_MATRIX_MVP,*)' with 'UnityObjectToClipPos(*)'
Shader "Custom/ShowNormals"
{
Properties
{
_LineLength("LineLength", float) = 0.03
_NormalLineColor("NormalLineColor", Color) = (1.0, 0.0, 0.0, 1.0)
_TangentLineColor("TangentLineColor", Color) = (0.0, 1.0, 0.0, 1.0)
_BitangentLineColor("BitangentLineColor", Color) = (0.0, 0.0, 1.0, 1.0)
}
SubShader
{
Pass
{
HLSLPROGRAM
#pragma vertex VS_Main
#pragma fragment FS_Main
#pragma geometry GS_Main
float4x4 unity_MatrixVP;
float4x4 unity_ObjectToWorld;
float4x4 unity_WorldToObject;
float _LineLength;
float4 _NormalLineColor;
float4 _TangentLineColor;
float4 _BitangentLineColor;
struct VS_INPUT{
float3 m_pos:POSITION;
float2 uv:TEXCOORD;
float3 normal:NORMAL;
};
struct GS_INPUT
{
float4 pos:POSITION;
float2 uv:TEXCOORD0;
float3 normal:NORMAL;
};
struct FS_INPUT
{
float4 pos:POSITION;
float4 lineColor:TEXCOORD0;
};
GS_INPUT VS_Main(VS_INPUT input)
{
GS_INPUT output;
output.pos = mul(unity_ObjectToWorld, float4(input.m_pos, 1.0));
output.normal = normalize(mul(transpose((float3x3)unity_WorldToObject), input.normal));
output.uv = input.uv;
return output;
}
[maxvertexcount(18)] //GS单次调用可以输出的最大顶点数量,这里每个顶点会变成俩顶点所以是3*2;
void GS_Main(triangle GS_INPUT gsIn[3], inout LineStream<FS_INPUT> triStream)
{
float3 edge1 = gsIn[1].pos - gsIn[0].pos;
float3 edge2 = gsIn[2].pos - gsIn[0].pos;
float2 deltaUV1 = gsIn[1].uv - gsIn[0].uv;
float2 deltaUV2 = gsIn[2].uv - gsIn[0].uv;
float f = 1.0 / (deltaUV1.x * deltaUV2.y - deltaUV2.x * deltaUV1.y);
float3 tangent;
tangent.x = f * (deltaUV2.y * edge1.x - deltaUV1.y * edge2.x);
tangent.y = f * (deltaUV2.y * edge1.y - deltaUV1.y * edge2.y);
tangent.z = f * (deltaUV2.y * edge1.z - deltaUV1.y * edge2.z);
float3 bitangent;
bitangent.x = f * (-deltaUV2.x * edge1.x + deltaUV1.x * edge2.x);
bitangent.y = f * (-deltaUV2.x * edge1.y + deltaUV1.x * edge2.y);
bitangent.z = f * (-deltaUV2.x * edge1.z + deltaUV1.x * edge2.z);
for(uint i = 0; i < 3; ++i){
float3 m_tangent = normalize(tangent - gsIn[i].normal * dot(gsIn[i].normal, tangent));
float3 m_bitangent = normalize(cross(tangent, gsIn[i].normal));
FS_INPUT pIn;
pIn.pos = mul(unity_MatrixVP, gsIn[i].pos);
FS_INPUT pIn1;
float4 pos= gsIn[i].pos + float4(gsIn[i].normal, 0) *_LineLength;
pIn1.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _NormalLineColor;
pIn1.lineColor = _NormalLineColor;
triStream.Append(pIn);
triStream.Append(pIn1);
triStream.RestartStrip();
FS_INPUT pIn2;
pos = gsIn[i].pos + float4(m_tangent, 0) *_LineLength;
pIn2.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _TangentLineColor;
pIn2.lineColor = _TangentLineColor;
triStream.Append(pIn);
triStream.Append(pIn2);
triStream.RestartStrip();
FS_INPUT pIn3;
pos = gsIn[i].pos + float4(m_bitangent, 0) *_LineLength;
pIn3.pos = mul(unity_MatrixVP, pos);
pIn.lineColor = _BitangentLineColor;
pIn3.lineColor = _BitangentLineColor;
triStream.Append(pIn);
triStream.Append(pIn3);
triStream.RestartStrip();
}
}
float4 FS_Main(FS_INPUT input) : SV_TARGET0
{
return input.lineColor;
}
ENDHLSL
}
}
}
TNB矩阵和UV坐标关系
(不确定!)使用默认切线,在网格形变时可能会有问题?
把平面网格左下角的顶点移动到平面中心,世界空间下的法线出现了大问题(如下),左图的斜边应该是同样的颜色才对(即法线方向相同)。
梳理梳理TNB和法线贴图采样的过程导致问题的原因其实很明确,个人感觉对于会产生形变的网格,需要手动计算TBN矩阵时,考虑到TNB正交化对UV采样法线贴图的影响,需要对采样后的法线再增加一个和TNB正交化有关系的变换,可能后面会补充一下这部分的实现。
几何着色器:
https://zhuanlan.zhihu.com/p/585436751
DirectX11 With Windows SDK--15 几何着色器初探 - X_Jun - 博客园
渲染管线(主要是重新了解几何着色器):
一文读懂什么是渲染管线(7k字) - 天份& - 博客园