多处理器

• 常规的单处理器属于SISD
• 常规多处理器属于MIMD

单指令单数据流SISD结构

• SingleInstructionSingleData
• SISD是传统的串行计算机结构
• 这种计算机仅包含一个处理器和一个存储器
• 存储器在一段时间内仅执行一条指令
• 按指令流规定的顺序,串行执行指令流中的若干条指令
• 提高速度
  • 采用流水线方式执行指令
  • SISD处理器有时会设置多个功能部件,采用多模块交叉方式组织存储器

单指令流多数据流SIMD结构

• singleInstructionMultipleData

  • Single instruction, multiple data - Wikipedia
  • 

• SIMD是指,一个指令流同时对多个数据流进行处理,一般称为**数据级并行技术**

• 这种结构的计算机通常有

  • 一个指令控制部件
  • 多个处理单元

• 每个处理单元执行的是同一条指令

• 但是每个单元都有自己的地址寄存器,(每个单元都有不同的数据地址)

• 也就是,不同的处理单元执行的同一条指令所处理的数据是不同的

• 一个顺序应用程序被编译后

  • 可能按照SISD组织,运行在串行硬件上
  • 也可能按SIMD组织,运行在并行硬件上

• SIMD对于for循环处理最为有效

  • 比如执行整形数组((16个元素)的各个元素倍乘运算,那么如果有16个ALU,那么可以在只需要计算一次的时间就可以完成16个元素的计算
  • 如果是串行计算,则需要耗费16次计算的时间(16倍)

• SIMD对于switch-case语句效率低

  • 妹纸执行单元必须根据不同的数据执行不同的操作

向量处理器

• 向量处理器(VPU:Vector Processor)
  • 是SIMD的变体,是一种实现了直接操作 一维数组(一维向量) 指令集的cpu
    • 串行处理器则只能够处理单一数据集
  • 把从存储器中收集的一组数据按照顺序放到一组向量寄存器中,然后以流水化的方式对它们依次操作
    • 最后将结果协会寄存器
  • VPU在特定工作环境中极大提升性能(比如数值模拟)

多指令流单数据流MISD结构

• multipleInstructionInstructionData
• 同时执行多条指令处理同一个数据
• 不存在这类计算机

多指令多数据流MIMD结构

• multpleInstructionMultipleData
• 同时执行多条指令分别处理多个不同数据
• MIMD分为多计算机系统和多处理器系统
• 多计算机系统每个计算机结点都具有各自的存储器
  • 并且具有独立的主存空间地址
  • 不能够通过存取指令来访问不同结点的私有存储器
  • 而要通过消息传递进行数据传送(称为消息传递MIMD)
• 多处理器系统是共享存储器多处理器(SMP)
  • 对称多处理(Symmetrical Multi-Processing)；
  • 对称多处理器(Symmetric Multi-Processor)
  • 它具有共享的单一地址空间
  • 通过存取指令来访问系统中的所有存储器;也称为共享存储MIMD

小结

• SIMD和MIMD是两种并行计算机模式
• SIMD是一种数据级的并行模式
• MIMD是并行程度更高的线程级或以上的并行计算模式

硬件多线程

• 线程切换包含一些列开销
• 为了减少线程切换中的开销,发展除了硬件多线程
• 支持硬件多线程的cpu必须为每个线程提供单独的
  • 通用寄存器组GPRs
  • 程序计数器PC
  • …
• 线程切换只需要激活选中的寄存器,省略了与存储器数据交换的环节,减少了线程切换的开销

细粒度多线程

• 多个线程之间轮流交叉执行
• 多个线程之间的指令是不相关的
• 可以乱序并行执行
• 处理器可以在每个时钟周期切换线程

粗粒度多线程

• 仅在一个线程出现(较大开销的)阻塞时,才切换进程
  • 比如CacheMissing
• 当指令流水发生阻塞时,必须清除被阻塞的指令流水线
  • 新线程的指令开始执行前需要重载流水线
  • 因此,开销较大

同时多线程

• 同时多线程(SMT)
  • Simultaneous MultiThreading,SMT
• 在实现指令级并行的同时,还实现线程级并行
• 在同一个时钟周期内,发射多个不同线程中的多条指令执行
• 例如:Intel处理器中的超线程(HyperThreading)
  • 在一个处理器(或者单个核心)中设置了两套线程状态部件,共享告诉缓存和功能部件

多核处理器

• 将多个处理单元继承到单个cpu中
  • 每个处理单元称为核(core)
• 所有的核可能是对称的,也可能是大小核
• 多个核,可以共享cache,也可以由独立的cache
• 但是都共享主存储器
• 必须采用多线程(多进程)方式执行,才能发挥多核的最大性能
  • 同一个时每个核都有线程在运行
• 多核处理器可以实现真正物理意义上的并行执行
  • 同一个时刻可能有多个线程同时执行
• 单核处理器只能够交错执行多线程/进程
  • 同一时刻只要一个线程在执行,其他一个线程别暂停执行

共享内存多处理器

• 共享单一物理地址空间的多处理器被称为:共享内存多处理器(SMP)

• 虽然所有处理器都能够通过存取指令访问任何存储器的位置(共享物理地址空间)

  • SMP通过存储器中的共享变量进行通信
  • 但是多处理器仍然可以在自己的虚拟地址空间中单独运行程序

• SMP

  • UMA
    • 同一存储访问多处理器
    • 内存控制器在cpu外部
    • 每个处理器对所有存储单元的访问时间大致相同
    • 访问时间与处理器提出访问请求和访问的存储字无关
  • NUMA
    • 非同一存储访问多处理器
    • 主存被分割并分配个了同一个机器的不同处理器或者内存控制器
    • 进一步分为:
      • NC-NUMA
        • 处理器中不带有cache
      • CC-NUMA
        • 处理器中带有cache
    • NUMA是UMA的发展
      • 内存控制器被集成到了cpu内部
      • 解决多cpu对前端总线的争用导致的性能瓶颈
    • 内地内存
      • 每个cpu都有独立的内存控制器
      • 每个CPU都独立链接到一部分内存,这部分内存称为本地内存
    • 远程内存
      • 非本地内存称为远程内存
      • 访问速度慢于本地内存
    • cpu之间则通过QPI总线向量