最近在看CMU15-418,LECTURE10-11就是讲两个缓存一致性协议,刚好这部分内容在实验中学习过,在实验中监听式协议提到的是MSI协议(modified,shared,invalid),lecture中还讲了优化的版本MESI(应该是实际使用的协议),在MSI协议中,modified也被称为exclusive,因此在实验中我都写成独占态了,MESI协议则明确区分了独占态和修改状态。
一.实验目的
熟悉cache一致性模拟器(监听法和目录法)的使用,并且理解监听法和目录法的基本思想,加深对多cache一致性的理解。
做到给出指定的读写序列,可以模拟出读写过程中发生的替换、换出等操作,同时模拟出cache块的无效、共享和独占态的相互切换。
二.实验内容
1.缓存一致性问题
多核处理器可能既有共享级别的缓存,又有专用级别的缓存。多个处理器如果共享存储器上的数据,就可能在自己专有的缓存上缓存共享数据,不同的处理器在自己的缓存中可能存有同一数据的不同值,这就是缓存一致性问题。
如果存储器系统满足以下条件,则说它是一致的:
- 处理器P读取X,此前P写入X,如果读写之间没有其他处理器对X操作,此读取操作总是返回P写入的值
- 处理器P写入X,另一个处理器读取该位置,如果两个操作间隔够长,并且中间没有其他处理器写入X,则该读取操作返回写入值
- 对同一位置执行的写入操作被串行化。任意两个处理器对同一位置写入的顺序,对于所有处理器来说看到的顺序都是相同的
为多个处理器保持缓存一致性的协议被称为缓存一致性协议,协议的关键在于跟踪数据块的共享状态,目前使用的协议有两种:
- 目录式:将物理存储器块的共享状态保存在一个称为目录的位置
- 监听式:如果一个缓存有一个物理存储器块的副本,则跟踪该块的共享状态。所有缓存都可以通过某种广播介质访问,所有缓存控制器都监听这一介质。
监听一致性协议
实现监听一致性协议有两种方法,一种是写入失效协议,处理器执行写入操作时使其他副本失效;另一种是写入更新协议,处理器执行写入时更新所有缓存副本,这种方法要占用相当多的带宽(写入操作要广播到共享缓存线),因此不常用,多处理器都选择实现写入失效协议。
监听一致性协议通常是通过有限状态控制器实施的,控制器可以改变所选缓存块的状态,并使用总线访问数据或使其失效。可以看作每一个块有一个关联的独立控制器。
在协议中,规定每个CPU的每个块有三种状态:
- 无效:所有缓存中都没有此块的有效副本
- 已修改(独占):该块仅在该CPU缓存中有副本,并且被修改过
- 共享:该块在一个或多个缓存中有副本且未修改过
每个CPU都独立控制每个块的状态,通过监听总线转换块的状态,并进行读写操作。
假设一个CPUA中产生了一个对一个缓存块的读写请求,根据读写是否命中,CPU会有不同的处理方式,并改变该块的状态。已修改状态直接称为独占。
- 读命中:状态不需要发生改变。无效态不会产生读命中,而独占和共享态,读自己缓存中的块不会引起一致性的问题。
- 读不命中:发生读不命中,则CPUA要从主存读取该块,但是主存中的块不一定是最新的,所以CPU还会向总线发送一个读不命中信号和当前块的地址,其他CPU的控制器监听到该信号,如果都没有这个块或者有共享态的该块,说明主存中是最新的,那么从主存中读取到该块,并将其设置为共享态;如果一个CPUB发现自己有独占的该块,则终止CPUA读取主存,因为自己的数据是最新的,CPUB将提供给A这个块,并将其写回内存,此时A和B都有块的最新版本,且主存中的也是最新版本,A和B中该块的状态设置为共享态。(注意,CPUB是独占该块的,A和B以外的CPU一定是没有这个块的,所以也不需要改变状态。)
- 写命中:如果该块在CPUA上是共享态,那么要修改为独占态,且向总线发出写入失效信号,其他CPU中的该块都将无效;如果该块在CPUA是独占态,那么状态不变。
- 写不命中:将该块设置为独占态,并向总线发出写入失效信号,使其他CPU的该块无效,如果其他CPU独占该块,则要写回内存(这保证了写入操作的串行化)。
通过以上的分析,CPU改变一个块的信号的原因可能是读写事件,也可能是从总线监听到的其他CPU的读写事件。一个块在被写入后就会被修改为独占态,通过向总线发送信号使其他CPU的该块失效。在读取时,如果发生了不命中,则读不命中和地址被广播,独占块的CPU要给出该块,并将该块写回。这两个关键的工作保证了任何CPU总是能读取到最新的块,保证了一致性。
最后,以上所有的操作都没有考虑缓存替换的问题,如果发生了缓存替换,被替换的块如果是独占态,则要写回主存,只有自己有被替换块的数据,不需要发出其他信号。
目录一致性协议
总线式系统的带宽存在限制,采用分布式系统可以降低对存储器的带宽要求。在分布式系统中,采用分布式的存储器,多个节点可以同时读取或写入数据,提高了存储器的带宽,不受单一存储器总线的限制。分布式系统没有总线,通过网络互连,为了避免监听式一致性协议的广播,分布式存储器系统采用目录式协议替代监听式一致性协议。
目录式一致性协议中,每个处理器都有一个目录,目录中保存了每个可缓存块的状态,信息包括哪些缓存拥有这个块的副本,是否需要更新等等。存储器的每一块都在目录中有对应的一项,每个目录项由访问状态和位向量组成,位向量记录了各个处理器是否有这个块的副本。在目录式一致性协议中,仍然使用三种状态,采用写失效策略。状态转换也和监听式是一样的,只是不再通过广播告知其他处理器一个块失效,而是根据位向量,通知相应的CPU该块失效或完成更新该块的工作。并且由块所在的存储器所属的CPU作为宿主与需要沟通的处理器沟通,完成写失效通知和写回的操作。
2.监听法模拟
按照实验给出的操作序列,各个操作执行的状态如下表:
进行的访问 | 是否发生替换 | 是否发生写回 | 监听协议进行的操作与块状态的改变 | 事件 |
---|---|---|---|---|
CPUA读块5 | 否 | 否 | CPUA的块5设置为共享态 | 读不命中,发送读不命中信号,将块5从主存读入Cache A1 |
CPUB读块5 | 否 | 否 | CPUB的块5设置为共享态 | 读不命中,发送读不命中信号,将块5从主存读入CacheB1 |
CPUC读块5 | 否 | 否 | CPUC的块5设置为共享态 | 读不命中,发送读不命中信号,将块5从主存读入CacheC1 |
CPUB写块5 | 否 | 否 | CPUB的块5设置为独占态,发送写入失效信号,CPUA和CPUC的该块失效 | 写命中,让其他CPU的块5失效 |
CPUD读块5 | 否 | 是 | CPUB中断CPUD访问主存,将块5写回并交给CPUD,CPUD和CPUB中的块5都转为共享态 | 读不命中,发送读不命中信号,CPUB接收到该信号,发送给CPUD块5,CPUD将块5读入CacheD1 |
CPUB写块21 | 是 | 否 | CPUB的块21设置为独占态,块5失效 | 写不命中,将块21写入CacheB1,替换块5,发送写失效信号 |
CPUA写块23 | 否 | 否 | CPUA的块23设置为独占态 | 写不命中,将块23写入CacheA3,发送写失效信号 |
CPUC写块23 | 否 | 是 | CPUC的块23设置为独占态,发送写失效信号,CPUA的块失效 | 写不命中,将块23写入CacheA3,发送写失效信号,CPUA将块写回主存 |
CPUB读块29 | 是 | 否 | CPUB的块23设置为共享态,块21失效 | 读不命中,发送读不命中信号,将块29从主存读入CacheB1,替换掉块21 |
CPUB写块5 | 是 | 是 | CPUB的块5设置为独占态,发送写失效信号,CPUD的块5失效 | 写不命中,发送写不命中信号,将块5写入CacheB1,替换掉块29,块29为独占,先将其写回。写入块5后发送写失效信号 |
执行完以上操作后,Cache的状态为:
3.目录法模拟
访问操作 | 监听协议进行的操作与块状态的改变 |
---|---|
CPUA读块6 | 读不命中,块6在A的存储器中,读取到缓存,共享态。在CPUA的目录进行记录。 |
CPUB读块6 | 读不命中,块6在A的存储器中,读取到缓存,共享态,在CPUA的目录进行记录。 |
CPUD读块6 | 读不命中,块6在A的存储器中,读取到缓存,共享态,在CPUA的目录进行记录。 |
CPUB写块6 | 写命中,更新CPUA的目录的块6为CPUB独占,CPUA告知处理器A,D该块失效。 |
CPUC读块6 | 读不命中,访问目录得知CPUB独占块6,CPUA从CPUB的缓存取回块6写回,将该块交给CPUC,并在目录中修改块6为CPUB和C共享。 |
CPUD写块20 | 写不命中,块20在C的存储器上,读取到缓存并写入新块,更新CPUC的目录的块20为CPUD独占。 |
CPUA写块20 | 写不命中,块20在C的存储器上,读取目录发现CPUD独占该块,CPUC先从CPUD取回块20写回,再设置为CPUA独占,新块写入CPUA的缓存。 |
CPUD写块6 | 写不命中,块6在A的存储器上,读取目录发现B和C共享此块20,CPUA通知B和C该块写失效,设置为CPUD独占,新块写入CPUD的缓存。 |
CPUA读块12 | 读不命中,将块20写回C的存储器并清除目录中对块20的独占态。读取B的存储器上的块12,并更新相应目录,以共享态拥有块12。 |
执行完以上操作后,整个Cache系统的状态:
4.思考题
目录法和监听法分别是集中式和基于总线,两者优劣是什么?
监听法基于总线,通过广播信号来实现写失效,优点是不需要额外的存储空间维护一致性信息,缺点是可扩展性差,处理器数量越多,总线通信的压力就越大。
目录法采用集中式的目录维护一致性信息,增加了存储开销。一致性信息是集中式的存储在目录中,但目录结构本身是分布式的,因此具有可拓展性。目录法最大的优点是可以实现在分布式的系统中,不需要总线。