有机会用瑞芯微做EP，X86做RC ，调试两者建立连接。
环境配置
如图所示，两块单板，期望瑞芯微做EP，X86做RC，两者能够互联。
LINK 配置过程
主要配置瑞芯微
瑞芯微的芯片配置，在配置EP模式时，分为控制器和PHY两部分，两部分都需要配置为EP模式。
由于软件代码的bug，导致PHY的部分时钟工作的RC模式，并且配置时钟来自芯片本身，而非对端送过来的。于是乎导致实际环境中两个RC进行互联。
现象之瑞芯微EP侧
通过对瑞芯微单板进行复位，通过寄存器查看PCIE连接已经建立，相关寄存器为：
值为 0x4407，也就是物理层和数据链路层都被设置为1，都link了，并且LTSSM为0x11，根据瑞芯微手册说明，
也就是进入了连接状态。
现象之X86 RC侧
x86侧相关寄存器
在瑞芯微单板复位过程或者复位过后的2分钟左右的时间内，我们看到此寄存器的变化情况如下：
50: 00 00 11 38 00 b2 5c 00 00 00 48 01 08 00 00 00 （8 表示在link traing，3 bit29 表示已经link active）
50: 00 00 11 30 00 b2 5c 00 00 00 48 01 08 00 00 00 （link training为0，同时link up为1，表示已经进入L状态）
50: 00 00 11 38 00 b2 5c 00 00 00 48 01 08 00 00 00 （此处很快又进入link traing状态）
50: 00 00 11 30 00 b2 5c 00 00 00 48 01 08 00 00 00
50: 00 00 11 38 00 b2 5c 00 00 00 48 01 08 00 00 00
50: 00 00 11 38 00 b2 5c 00 00 00 48 01 08 00 00 00
50: 00 00 11 38 00 b2 5c 00 00 00 48 01 08 00 00 00
50: 00 00 11 10 00 b2 5c 00 00 00 48 01 08 00 00 00 后续一直link traing ，直到此时没有再traing，说明对端已经起来了。没又link traing的对象了！
通过上述寄存器变化，可以得知，X86侧看到的PCIE link状态为短暂的link （offset 0x53值为0x30时），而后大部分时间在0x38这个状态，也就是一直在link training。
LTSSM状态变化与对应寄存器的关系
翻看PCIE协议，其中 当link up 1 并且 link training 也为1时，只有configuration和recovery两个状态。
而通过上面65标识文字及下面转换图，可以得到从Recovery进入configuration时才被设置为1。
于是我们想是什么导致 LINK 从Lx 状态变化到了Recovery状态 ？
Recovery状态进入
通过上述发现后，我们在瑞芯微一侧持续跟踪连接状态，发现其LTSSM也在recovey的几个状态和L0之间转换
速率、带宽的改变是主要功能
然而我们已经配置X1 GEN1。
X86 桥片NSR功能
PCI Power Management Control
在实验过程钟，怀疑PCIE端口的电源状态相关，于是将其改配
setpci -s 0:1c.0 a4.b=0x8
如果写0，则下挂设备会跟着复位。注意。
rescan功能
1）在第二节的配置，LINK不稳定的情况下，我们通过lspci -vt命令可以看到对应的桥片端口信息如下：
+-1c.0-[01]----
虽然看到了桥片PCIE端口，但是看不到设备。
2）在第二节看到连接状态为0x30 0x38时，我们通过下面命令，
/sys/bus/pci/devices/0000:00:1c.0# echo 1 >rescan
此时，再查看lspci -vt
+-1c.0-[01]----00.0 Fuzhou Rockchip Electronics Co., Ltd Neural Network Processor Card
3）即可以看到设备信息，进而可以读取此设备的配置空间寄存器信息
lspci -xxx -s 1:0.0
10: 00 00 00 3c 00 00 00 00 00 00 00 00 00 00 00 00
20: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
4） 此时虽然看到了设备，但是0x10 bar0 寄存器的值并非X86地址空间的地址，而是原始瑞芯微芯片的地址。说明rescan并没有给设备分配地址，这也情有可原，毕竟其上游端口也没地址可分。
总结
我们纠结于 LTSSM状态机苦寻无果，而最终走读代码发现由于两侧都配置为RC导致了上述的现象。
至于为什么在此种配置下会llink training几分钟，而不是几十分钟后续再进一步探索。
intel 是否有寄存器直接指示LTSSM状态变化？还好此款桥片支持LINK状态查询，即寄存器的link active 位。
