高速缓存

简介
高速缓存是主内存与处理器之间的硬件，其容量小于主存，但存取速率远高于主存。因此处理器在执行读写操作时，可直接和高速缓存交互，提高响应速度。
我们常见的变量名相当于内存地址，变量值相当于内存中的数据，而高速缓存相当于是为每个变量保留了一份副本。但其容量较小，不能长时间保存。

数据结构
高速缓存相当于一个容量极小的hashTable，key是内存地址，value是变量的值。从结构上来看，其由桶和缓存条目组成。其结构大致如下：

每一个缓存条目可继续划分为Tag、DataBlock、Flag三部分。DataBlock被称为缓存行，它是高速缓存与主存之间数据交换的最小单元；Tag包含了与缓存行中数据内存地址的部分信息；Flag用来表示缓存行的状态信息。

缓存命中
现在来简单说一下缓存命中的流程；当处理器在进行读取时，会先进行内存地址解码操作，解码结果包括tag、index、offset三部分数据；index相当于桶的编号，用来定位内存结构中桶的编号；tag用来定位桶对应的缓存条目，根据缓存条目的Tag进行比较；offset时缓存条目里缓存行内的位置偏移量，它用来定位一个变量在一个缓存行中存储起始位置。根据这三个来定位缓存数据，如果能找到缓存条目中的Flag，则说明缓存命中了，否则为缓存未命中。

现在处理器一般都具有多个层次的高速缓存，分为一级缓存、二级缓存、三级缓存等，一级缓存集中在cpu的内核中，访问效率极高，一般分为两部分，一部分用于存储指令，另一部分用于存储数据。离cpu越近的高速缓存，存取速率越快，但其制造成本也就越高，因此容量越小。
（图片来源百度）

缓存一致性协议

当多个线程在访问同一变量时，其中一个线程更新了该变量，需要其他线程立刻察觉到。为了解决这个问题，处理器之间需要一种通信机制------缓存一致性协议。
MESI（Modified-Exclusive-Shared-Invalid）协议是一种广为使用的缓存一致性协议。它可以保证多个线程在读共享数据时是支持并发的，但写操作是独占的。
正如它的名字一样，MESI将缓存条目状态划分为如下4种，并在此基础上定义了一组消息用于协调各个处理器读写内存的操作。
一个缓存条目中的Flag值具有以下4种可能：

状态	含义	是否与其他处理器中缓存中值一致	是否与主存中值一致
Invalid（无效的，标记为I）	该状态表示缓存行中不包含任何内存地址对应的值，也就是缓存未命中，它是缓存条目的初始状态。	否	否
Shared（共享的，标记为S	该状态表示缓存行中存在相应内存地址的变量值的副本。且其他处理器缓存中可能也具有相同的副本。因此，如果状态为Shared，则说明其他处理器中高速缓存的值与本处理器缓存的值一样，且都为Shared。该状态表示当前处理器缓存中的值与主存一致。	是	是
Exclusive（独占的，标记为E）	该状态表示缓存行存在相应内存地址的变量值的副本。且该处理器以独占的方式保留了内存地址数据的副本，其他处理器缓存中不具有该副本。该状态表示当前处理器缓存中的值与主存一致。	否	是
Modified（更改过的，标记为M	该状态表示相应缓存行中存在内存地址更新后的数据。由于MESI协议只能在同一时刻有一个处理器对主存进行更新操作，因此同一时刻，多个处理器中只能有一个处理器中的缓存条目是该状态。该状态的缓存条目，其中缓存数据与主内存中的数据不一致。	否	否

现在来描述一下使用MESI协议的处理器是如何是先读写操作的。假设内存地址A上的数据为S可能是处理器P1和P2共享的数据。
先来看下MESI中的消息体的消息类型：

消息名称	消息类型	描述
read	请求	通知其他处理器、主存，表示当前处理器准备读取地址中的数据。该消息包含待读取数据中的内存地址
Read Response	响应	该消息由主存或者其他处理器提供，包含被请求读取的数据。
Invalidate	请求	通知其他处理器将对应的缓存条目状态置为I，表示删除指定内存地址的副本数据
Invalidate Acknowledge	响应	接收到Invalidate消息的处理器必须回复该消息，表示删除了其高速缓存上相应的副本数据
Read Invalidate	请求	该消息是由Read 和Invalidate消息组合的复合消息。告知其他处理器要更新一个数据，并且要其他处理器删除其高速缓存中相应的副本数据。

当P0要读取数据S时，会根据地址A找到本处理器上的缓存条目，如果P0找到的缓存条目中的Flag为M、S、E，则P0可以直接读取本处理器中地址A对应的数据S，其无需向总线中发送任何消息。如果P0找到的缓存条目为I，则说明本处理器中高速缓存不存在S的副本，此时需要向总线中发送Read消息来读取地址A的数据，其他处理器P1或者主存需要灰度Read Response以提供相应的数据。
P0接收到Read Response 时，会将其中携带的数据S存入相应的缓存行中并将缓存条目中的状态更新为S。当P0发送Respone时，P1会嗅探总线中的消息，然后从消息体中取出待读取的内存地址，找到本处理器中的缓存条目，如果状态不为I，则说明存在数据的副本，则P1构造 Read Respone消息并将数据副本所在的整块数据塞入消息中。
如果P1找到的相应缓存条目状态为M，则P1可能在向Read Response消息前将相应缓存行中的数据写入主内存，先保证主内存中的数据时最新的。发送完Read Response后，相应的缓存条目状态会更新为S。
如果P1找到的相应缓存条目状态为I，则P1不做任何处理，发送Read Response消息的可能是主内存。

当P0向地址A中写数据时，它先会根据A来找到本处理器中的缓存条目，如果缓存条目的状态为E或者M，则说明该处理器已经拥有了该数据的写权限，则P0会将数据直接写入到缓存行中，并将缓存条目更新为M。
如果P0找到的缓存条目状态不为E、M，则需要向总线中发送Invalidate消息来获取数据的所有权，其他处理器接收到Invalidate消息后会将本处理器高速缓存相应的缓存条目状态更新为I(相当于删除变量的副本)并回复Invalidate Acknowledge消息。P0必须在接收到所有处理器的消息后才能更新缓存条目。
如果P0找到的状态为S，说明P1的高速缓存可能也保留了A对应的数据副本。此时P0需要向总线中发送Invalidate消息，在接收到所有处理器回复的Invalidate Acknowledge 消息之后会将相应的缓存条目状态改为E，然后将数据写入相应的缓存条目，之后把状态更新为M。
如果P0找到的状态为I，则表示处理器不包含地址A对应的数据副本，此时P0需要向总线中发送Read Invalidate消息，P0在接收到所有处理器返回的 Read Response和Invalidate Acknowledge 消息之后会将相应的缓存条目的状态更新为E，然后将数据写入相应的缓存条目，之后把状态更新为M。

写缓冲区和无效化队列

更新中。。。