Xen-Trap

xen的虚拟化实现有一个很重要的机制就是tarp，中文可以暂且叫做陷入。在ARMv8中，trap就是异常等级的一个切换。

当发生trap的时候，就会进入设定好的异常向量表中，硬件自动判断属于哪种类型的异常。

一、异常处理

ARM v8有4个异常级别，每一个异常级别对应一个 VBAR(Vector Base Address Register) 寄存器，用来指向异常向量表的基地址，每一个异常向量表的大小为128个字节，也即可以存放32条指令（ARM v8指令集里一条指令的位宽是32bit的，而不是64bit）；同时每一个异常向量表会分为4组，每一组包含4 种异常，如图所示：

这里的图对应上面的hyp_traps_vector

整理了一下，xen对于发生的异常，最后会调用如下函数进行处理：

function	action
do_trap_hyp_sync	brk指令处理、当前异常等级产生的数据abort（用于由数据访问产生的 MMU 故障、由堆栈指针未对齐引起的对齐故障以及同步外部中止，包括同步奇偶校验或 ECC 错误）、当前异常等级产生的指令abort（用于指令访问和同步外部中止生成的 MMU 故障）
do_trap_hyp_serror	在EL2，发生了Serror是不安全的，直接输出panic信息
do_trap_guest_sync	WFI/WFE指令、cp15/cp14/cp10协处理访问、SVE相关指令、SMC指令、HVC指令、访问系统寄存器、从低异常等级产生的数据&指令abort
do_trap_guest_serror	通过置位HCR_EL2的VSE（bit 8）来产生Virtual SError interrupt，由EL1的异常向量表做进一步处理
do_trap_irq	处理中断

二、trap处理的事情（挑重点）

1. guest os的同步异常 — do_trap_guest_sync(关注点)

①SMC调用

function	action
do_trap_smc：	处理来自EL1的SMC指令（由于xen修改了dom的dts，所以os的开核方式不是使用smc）
monitor_smc
vsmccc_handle_call（handle SMC/HVC call according to ARM SMCCC）	handle_existing_apis —> do_vpsci_0_1_call
	handle_sssc —> do_vpsci_0_2_call

②HVC调用

function	action
do_trap_hvc_smccc：	执行vsmccc_handle_call（handle SMC/HVC call according to ARM SMCCC），xen修改了dts，让每个dom的psci开核方法为hvc：method = “hvc”;
handle_existing_apis	do_vpsci_0_1_call
handle_arch
handle_hypervisor
handle_sssc	do_vpsci_0_2_call：PSCI_0_2_FN64_CPU_ON
platform_smc
do_trap_hypercall：
do_memory_op	XENMEM_increase_reservation对应balloon的放气，增加guest的内存
	XENMEM_decrease_reservation对应balloon的吹气，减少guest的内存
	XENMEM_populate_physmap，给page分配mfn
	XENMEM_exchange，内存交换
	XENMEM_maximum_ram_page，获取最大的页数
	XENMEM_current_reservation，获取当前预留内存总页数
	XENMEM_maximum_reservation，获取预留内存最大总页数
	XENMEM_maximum_gpfn，获取最大guest pfn数
	XENMEM_add_to_physmap，增加页面映射
	XENMEM_add_to_physmap_batch，增加页面映射，不支持iommu？
	XENMEM_remove_from_physmap，删除页面映射
	XENMEM_access_op，内存访问权限设置&获取
	XENMEM_claim_pages，检查页的权限等信息
	XENMEM_get_vnumainfo，获取vNUMA的拓扑信息
	XENMEM_reserved_device_memory_map，获取外设预留的内存情况？看代码arm并没有实现相关的函数
	XENMEM_acquire_resource，获取内存资源情况
do_domctl	XEN_DOMCTL_setvcpucontext，设置vcpu的上下文
	XEN_DOMCTL_pausedomain，暂停domain，调用domain_pause
	XEN_DOMCTL_unpausedomain，取消暂停domain，调用domain_unpause
	XEN_DOMCTL_resumedomain，恢复domain，也会调用domain_pause和domain_unpause，涉及vcpu的操作
	XEN_DOMCTL_createdomain，创建domain
	XEN_DOMCTL_max_vcpus，设置vcpu数量为max_vcpus
	XEN_DOMCTL_soft_reset，domain软复位
	XEN_DOMCTL_destroydomain，销毁domain
	XEN_DOMCTL_setnodeaffinity，设置与guest具有亲和力的 NUMA 节点
	XEN_DOMCTL_getnodeaffinity，获取与guest具有亲和力的 NUMA 节点
	XEN_DOMCTL_setvcpuaffinity，设置vpu的亲和度
	XEN_DOMCTL_getvcpuaffinity，获取vcpu的亲和度
	XEN_DOMCTL_scheduler_op，调整domain的调度参数
	XEN_DOMCTL_getdomaininfo，获取domain的相关信息
	XEN_DOMCTL_getvcpucontext，获取vcpu的上下文信息
	XEN_DOMCTL_getvcpuinfo，获取vcpu的信息
	XEN_DOMCTL_max_mem，设置max_pages最大内存数
	XEN_DOMCTL_setdomainhandle，设置domain操作句柄
	XEN_DOMCTL_setdebugging，设置debugger_attached标志位，判断guest是否被dom0调试中
	XEN_DOMCTL_irq_permission，设置domain对于给定irq的访问权限
	XEN_DOMCTL_iomem_permission，设置domain对应给定io内存的访问权限
	XEN_DOMCTL_memory_mapping，映射memory
	XEN_DOMCTL_settimeoffset，设置domain的timeoffset（CNTVOFF_EL2？）
	XEN_DOMCTL_set_target，设置该guest对给定guest的特权
	XEN_DOMCTL_subscribe，设置suspend_evtchn
	XEN_DOMCTL_set_access_required，设置p2m表的访问权限
	XEN_DOMCTL_set_virq_handler，设置虚拟中断的中断服务函数
	XEN_DOMCTL_setvnumainfo，设置vNUMA的拓扑信息
	XEN_DOMCTL_monitor_op，启用/禁用监视各种 VM 事件
do_sched_op	调度相关的操作（yeiled、shutdown等操作），这里不一一列举了，直接看代码
do_console_io	CONSOLEIO_write，guest对于console的写操作
	CONSOLEIO_read，guest对于console的读操作
do_xen_version	获取xen版本
do_xsm_op	xen的Xen Security Modules（安全模块）相关操作，是个钩子
do_event_channel_op	xen事件通道的相关操作
do_physdev_op	这是是对于一些物理外设的具体操作，目前只实现了pci_physdev_op：pci_device_add、pci_device_remove
do_sysctl	XEN_SYSCTL_readconsole，读取console
	XEN_SYSCTL_tbuf_op，trace buffers上的 sysctl 操作
	XEN_SYSCTL_sched_id，获取当前调度程序的 ID
	XEN_SYSCTL_getdomaininfolist，获取所有domain的信息
	XEN_SYSCTL_debug_keys，设置debug_key，模拟在xen按下按键，产生对应的调试信息
	XEN_SYSCTL_getcpuinfo，获取cpu信息
	XEN_SYSCTL_availheap，获取可用的heap内存信息
	XEN_SYSCTL_page_offline_op，设置page的状态，online或者offline
	XEN_SYSCTL_cpupool_op，做 cpupool 相关的 sysctl 操作
	XEN_SYSCTL_scheduler_op，调度相关的sysctl操作
	XEN_SYSCTL_physinfo，获取当前的一些物理信息：cpu数量、内存node数量、总页数等等
	XEN_SYSCTL_numainfo，获取numa的相关信息
	XEN_SYSCTL_cputopoinfo，获取xen_sysctl_cputopo结构体信息
	XEN_SYSCTL_coverage_op，@TODO，没看懂
	XEN_SYSCTL_livepatch_op，@TODO，没看懂
	XEN_SYSCTL_overlay，在给定的设备树目标节点做add或者remove节点操作
do_hvm_op	HVMOP_set_param，设置xen_hvm_param结构体参数
	HVMOP_get_param，获取xen_hvm_param结构体参数
do_grant_table_op (Xen通过提供grant_table_op一系列hypercall以供DomU使用来实现内存共享)	GNTTABOP_map_grant_ref，映射一个gref
	GNTTABOP_unmap_grant_ref，取消gref的映射
	GNTTABOP_unmap_and_replace，撤销对gref的映射，并替换为其他的映射
	GNTTABOP_setup_table，建立grant table
	GNTTABOP_transfer，移交一个页
	GNTTABOP_copy，拷贝一些页/gref对应的页
	GNTTABOP_query_size，查询grant table的当前/最大大小
	GNTTABOP_set_version，设置grant table的版本
	GNTTABOP_get_status_frames，获取用于存储dom授权状态的帧列表
	GNTTABOP_get_version，获取grant table的版本
	GNTTABOP_swap_grant_ref，交换gref
	GNTTABOP_cache_flush，刷cache（gref对应的mfn）
do_multicall	调用arch_do_multicall_call来执行多次hypcall
do_platform_op	目前只实现了XENPF_settime64，设置墙上时钟（wall clock）
do_vcpu_op	VCPUOP_initialise，初始化vcpu
	VCPUOP_up，上线vcpu
	VCPUOP_down，下线vpcu
	VCPUOP_is_up，判断vpcu是否上线
	VCPUOP_get_runstate_info，获取vcpu的运行状态信息
	VCPUOP_set_periodic_timer，设置周期定时器
	VCPUOP_stop_periodic_timer，停止周期定时器
	VCPUOP_set_singleshot_timer，设置单次定时器
	VCPUOP_stop_singleshot_timer，停止单次定时器
	VCPUOP_register_vcpu_info，在客户地址空间中为vcpu_info结构注册一个内存位置
	VCPUOP_register_runstate_memory_area，注册一个共享内存区域

③访问系统寄存器

function	action
do_sysreg	HSR_SYSREG_ACTLR_EL1：EL1阶段访问ACTLR_EL1寄存器
	HSR_SYSREG_DCISW：EL1阶段访问DCISW、DCCSW、DCCISW寄存器（三个都是和cache相关的）
	EL1阶段访问SCTLR_EL1、TTBR0_EL1、TTBR1_EL1、TCR_EL1、ESR_EL1、FAR_EL1、AFSR0_EL1、AFSR1_EL1、MAIR_EL1、AMAIR_EL1、CONTEXTIDR_EL1寄存器
	HSR_SYSREG_MDRAR_EL1：EL1阶段访问MDRAR_EL1寄存器：Monitor Debug ROM Address Register
	HSR_SYSREG_OSLAR_EL1：EL1阶段访问OSLAR_EL1寄存器：OS Lock Access Register
	HSR_SYSREG_OSDLR_EL1：EL1阶段访问OSDLR_EL1寄存器：OS Double Lock Register
	HSR_SYSREG_OSLSR_EL1：EL1阶段访问OSLSR_EL1寄存器：OS Lock Status Register
	HSR_SYSREG_MDSCR_EL1：EL1阶段访问MDSCR_EL1寄存器：Monitor Debug System Control Register
	HSR_SYSREG_MDCCSR_EL0：EL0阶段访问MDCCSR_EL0寄存器：Monitor DCC Status Register
	下面是关于性能监视器相关的寄存器：
	HSR_SYSREG_PMINTENSET_EL1：EL1阶段访问PMINTENSET_EL1寄存器：Performance Monitors Interrupt Enable Set register
	HSR_SYSREG_PMINTENCLR_EL1：EL1阶段访问PMINTENCLR_EL1寄存器：Performance Monitors Interrupt Enable Clear register
	HSR_SYSREG_PMUSERENR_EL0：EL0阶段访问PMUSERENR_EL0寄存器：Performance Monitors User Enable Register
	HSR_SYSREG_PMCR_EL0：EL0阶段访问PMCR_EL0寄存器：Performance Monitors Control Register
	HSR_SYSREG_PMCNTENSET_EL0：EL0阶段访问PMCNTENSET_EL0寄存器：Performance Monitors Count Enable Set register
	HSR_SYSREG_PMCNTENCLR_EL0：EL0阶段访问PMCNTENCLR_EL0寄存器：Performance Monitors Count Enable Clear register
	HSR_SYSREG_PMOVSCLR_EL0：EL0阶段访问PMOVSCLR_EL0寄存器：Performance Monitors Overflow Flag Status Clear Register
	HSR_SYSREG_PMSWINC_EL0：EL0阶段访问PMSWINC_EL0寄存器：Performance Monitors Software Increment register
	HSR_SYSREG_PMSELR_EL0：EL0阶段访问PMSELR_EL0寄存器：Performance Monitors Event Counter Selection Register
	HSR_SYSREG_PMCEID0_EL0：EL0阶段访问PMCEID0_EL0寄存器：Performance Monitors Common Event Identification register 0
	HSR_SYSREG_PMCEID1_EL0：EL0阶段访问PMCEID1_EL0寄存器：Performance Monitors Common Event Identification register 1
	HSR_SYSREG_PMCCNTR_EL0：EL0阶段访问PMCCNTR_EL0寄存器：Performance Monitors Cycle Count Register
	HSR_SYSREG_PMXEVTYPER_EL0：EL0阶段访问PMXEVTYPER_EL0寄存器：Performance Monitors Selected Event Type Register
	HSR_SYSREG_PMXEVCNTR_EL0：EL0阶段访问PMXEVCNTR_EL0寄存器：Performance Monitors Selected Event Count Register
	HSR_SYSREG_PMOVSSET_EL0：EL0阶段访问PMOVSSET_EL0寄存器：Performance Monitors Overflow Flag Status Set register
	下面是和定时器相关的寄存器：
	HSR_SYSREG_CNTP_CTL_EL0：EL0阶段访问CNTP_CTL_EL0寄存器：Counter-timer Physical Timer Control register
	HSR_SYSREG_CNTP_TVAL_EL0：EL0阶段访问CNTP_TVAL_EL0寄存器：Counter-timer Physical Timer TimerValue register
	HSR_SYSREG_CNTP_CVAL_EL0：EL0阶段访问CNTP_CVAL_EL0寄存器：Counter-timer Physical Timer CompareValue register
	下面是和GIC中断控制器相关的寄存器：
	HSR_SYSREG_ICC_SGI1R_EL1：EL1阶段访问ICC_SGI1R_EL1寄存器：Interrupt Controller Software Generated Interrupt Group 1 Register Generates Group 1 SGIs for the current Security state
	HSR_SYSREG_ICC_ASGI1R_EL1：EL1阶段访问ICC_ASGI1R_EL1寄存器：Interrupt Controller Alias Software Generated Interrupt Group 1 Generates Group 1 SGIs for the Security state that is not the current Security state
	HSR_SYSREG_ICC_SGI0R_EL1：EL1阶段访问ICC_SGI0R_EL1寄存器：Interrupt Controller Software Generated Interrupt Group 0 Register Generates Secure Group 0 SGIs
	HSR_SYSREG_ICC_SRE_EL1：EL1阶段访问ICC_SRE_EL1寄存器：Interrupt Controller System Register Enable register (EL1)
	下面是guest os用来识别处理器功能的大多数Identification寄存器：
	ID_PFR0_EL1 ~ ID_PFR2_EL1：AArch32 Processor Feature Register 0、1、2
	ID_DFR0_EL1、ID_DFR1_EL1：AArch32 Debug Feature Register 0、1
	ID_AFR0_EL1：AArch32 Auxiliary Feature Register 0
	ID_MMFR0_EL1 ~ ID_MMFR5_EL1：AArch32 Memory Model Feature Register 0、1、2、3、4、5
	ID_ISAR0_EL1 ~ ID_ISAR6_EL1：AArch32 Instruction Set Attribute Register 0、1、2、3、4、5、6
	MVFR0_EL1 ~ MVFR2_EL1： AArch32 Media and VFP Feature Register 0、1、2
	ID_AA64PFR0_EL1、ID_AA64PFR1_EL1：AArch64 Processor Feature Register 0、1
	ID_AA64DFR0_EL1、ID_AA64DFR1_EL1：AArch64 Debug Feature Register 0、1
	ID_AA64ISAR0_EL1、ID_AA64ISAR1_EL1：AArch64 Instruction Set Attribute Register 0、1
	ID_AA64MMFR0_EL1 ~ ID_AA64MMFR2_EL1：AArch64 Memory Model Feature Register 0、1、2
	ID_AA64AFR0_EL1、ID_AA64AFR1_EL1：AArch64 Auxiliary Feature Register 0
	ID_AA64ZFR0_EL1：AArch64 SVE Feature ID register 0
	EL1访问 group 3 ID registers：

④低异常等级产生的数据&指令abort

function	action
do_trap_stage2_abort_guest（数据&指令abort都是调用这个函数）	FSC_FLT_PERM：0b0011xx：L1/L2/L3页表访问权限错误
	p2m_mem_access_check，这里会去配置页表项，设置权限位
	FSC_FLT_TRANS：0b0001xx：L0/L1/L2/L3页表翻译错误，IPA —> PA的页表没有正确配置（VA —> IPA的翻译已经在guest os的EL1处理了）
	check_p2m —> p2m_resolve_translation_faul或者try_map_mmio
	try_decode_instruction —> 指令abort
	try_handle_mmio（IO trap or Device emulation，解决多个guest os访问一个外设的情况）

2. hypervisor同步异常 — do_trap_hyp_sync

function	action
do_trap_hyp_sync	HSR_EC_BRK：断点指令异常，调试用
	HSR_EC_DATA_ABORT_CURR_EL：同异常等级产生的数据abort：dump_hyp_walk。xen的页表错误
	HSR_EC_INSTR_ABORT_CURR_EL：同异常等级产生的指令abort：dump_hyp_walk