1.完整的数据传输流程

• IP拥有将数据跨网络从一台主机送到另一台主机的能力，但IP并不能保证每次都能够将数据可靠的送到对端主机，因此IP需要上层TCP为其提供可靠性保证，比如数据丢包后TCP可以让IP重新发送数据，最终在TCP提供的可靠性机制下IP就能够保证将数据可靠的发送到对端主机。
• TCP除了对下层IP提供可靠性机制之外，TCP对上还提供进程到进程的服务，我们在进行socket编程时，本质就是在使用TCP或UDP为我们提供的进程到进程的服务。
• 但数据在网络传输时需要一跳一跳的从一台主机跳到另一台主机，最终才能将数据转发到目标主机，因此要将数据发送到目标主机的前提是，需要先将数据转发给与当前主机直接相连的下一跳主机，而两台主机直接相连也就意味着这两台主机属于同一网段，因此将数据转发到下一跳主机实际是属于局域网通信范畴的，而这实际就是链路层需要解决的问题。
• 也就是说，网络层IP提供的是跨网络发送数据的能力，传输层TCP是为数据发送提供可靠性保证的，而链路层解决的则是两台相连主机之间的通信问题。

2.以太网

不同局域网所采用的通信技术可能是不同的，常见的局域网技术有以下三种：

• 以太网：以太网是一种计算机局域网技术，一种应用最普遍的局域网技术。
• 令牌环网：令牌环网常用于IBM系统中，在这种网络中有一种专门的帧称为“令牌”，在环路上持续地传输来确定一个节点何时可以发送包。
• 无线LAN/WAN：无线局域网是有线网络的补充和扩展，现在已经是计算机网络的一个重要组织部分。

虽然网络中各个局域网所采用的通信技术可能的不同的，但是IP屏蔽了底层网络的差异，对于网络通信双方的IP层及其往上的协议来说，它们并不需要关心底层具体使用的是哪种局域网技术。

• 数据在发送之前会先进行数据封装，此时链路层会给数据封装上对应的局域网的报头。
• 如果数据要进行跨网络传输，那么就需要经过路由器转发。
• 当数据在路由器进行向上交付时，会将该数据对应的局域网报头去掉。
• 而当路由器该数据转发给下一跳之前，又会给该数据封装上下一跳网络所对应的局域网报头。

也就是说，网络中的路由器会不断去掉数据旧的局域网报头，并添加上新的局域网报头，因此数据在进行跨网络传输时，就算所需跨越的网络采用的是不同的局域网技术，最终也能够正确实现跨越。

以太网通信原理

• 以太网”不是一种具体的网络，而是一种技术标准，它既包含了数据链路层的内容，也包含了一些物理层的内容。例如，以太网规定了网络拓扑结构，访问控制方式，传输速率等。
• 以太网中的网线必须使用双绞线，传输速率有10M，100M，1000M等。

以太网中所有的主机共享一个通信信道，当局域网中的一台主机发出数据后，该局域网中的所有主机都能够收到该数据。

• 比如当局域网中的主机A想要发送数据给主机B时，其实局域网当中的每一台主机都能收到主机A发出去的数据，只不过最终只有主机B会将主机A发来的数据向上进行交付。
• 局域网当中的其他主机虽然也收到了主机A发出的数据，但经过识别后发现这个数据不是发送给自己的，于是就会直接将该数据丢弃而不会向上进行交付。

也就是说，在进行局域网通信的时候，局域网当中的所有主机都能够看到局域网中传输的任何数据，只不过每个主机都只关心发送给自己的数据罢了。

抓包工具

• 网络抓包不仅能够抓到发送给自己的报文数据，也能抓取到发给别人的报文数据，实际就是因为在进行网络抓包时，主机将从局域网中收到的所有报文数据都向上交付了而已。
• 网卡有一种模式叫做混杂模式，被设置为混杂模式的网卡能够接收所有经过它的数据流，而不论其目的地址是否是它。

局域网数据碰撞

由于以太网中的所有的主机共享一个通信信道，因此在同一时刻只允许有一台主机发送数据，否则各个主机发送的数据就会相互干扰。站在系统的角度来看，这里各个主机所共享的通信信道就是一种临界资源，这个临界资源同一时刻只允许一台主机使用。

碰撞避免算法

• 对于这个问题，以太网的做法就是先不限制各个主机发送数据的能力，局域网中的每个主机想发数据的时候直接发就行了，但是只要发送出去的数据与其他主机发送的数据产生了碰撞，那就得执行碰撞避免算法。
• 所谓的碰撞避免算法就是，当主机发送出去的数据产生碰撞时，该主机需要等待一段时间后再进行数据重发，在主机等待的时候就能够就能够尽可能让局域网当中的数据消散。
• 以太网通信的原理就像现实生活中开会一样，在开会过程中同一时刻只允许一个人发言，如果两个人突然同时说话，那么双方都会有礼貌的等待别人先说。

也就是说，以太网中主机发送的数据产生碰撞后该主机会执行碰撞避免算法，所以我们说以太网是基于碰撞区和碰撞检测的局域网通信标准。

碰撞避免算法就是主机等待一段时间后重新发送数据，因此以太网底层也有重传机制，只不过以太网的重传机制只是为了保证将数据从局域网中的一台主机发送到另一台主机。

以太网帧格式

• 源地址和目的地址是指网卡的硬件地址（也叫MAC地址），长度是48位，是在网卡出厂时固化的。
• 帧协议类型字段有三种值，分别对应IP协议、ARP协议和RARP协议。
• 帧末尾是CRC校验码。

如何将报头和有效载荷分离

以太网MAC帧的帧头和帧尾都是固定长度的，因此当底层收到一个MAC帧后，直接提取出MAC帧当中固定长度的帧头和帧尾，此时剩下的就是有效载荷了。

如何将有效载荷向上交付

以太网MAC帧对应的上层协议不止一种，因此在将MAC帧的报头和有效载荷分离后，还需要确定应该将分离出来的有效载荷交付给上层的哪一个协议。

在MAC帧的帧头当中有2个字节的类型字段，因此在分离出报头和有效载荷后，根据该字段将有效载荷交付给对应的上层协议即可。

假设局域网当中的主机A想要将IP数据报发送给同一局域网当中的主机B，那么主机A封装MAC帧当中的目的地址就是主机B的MAC地址，源地址就是主机A的MAC地址，而帧协议的类型对应就是0800，紧接着就是要发送的IP数据报，帧尾部分对应就是CRC校验。

当主机A将该MAC帧发送到局域网当中后，局域网当中的所有主机都可以收到这个MAC帧，包括主机A自己。

• 主机A收到该MAC帧后，可以对收到的MAC帧进行CRC校验，如果校验失败则说明数据发送过程中产生了碰撞，此时主机A就会执行碰撞避免算法，后续进行MAC帧重发。
• 主机B收到该MAC帧后，提取出MAC帧当中的目的地址，发现该目的地址与自己的MAC地址相同，于是在CRC校验成功后就会将有效载荷交付给上层IP层进行进一步处理。
• 局域网中的其他主机收到该MAC帧后，也会提取出MAC帧当中的目的地址，但发现该目的地址与自己的MAC地址不匹配，于是就会直接将这个MAC帧丢弃掉。

也就是说，当底层收到一个MAC帧后，会根据MAC帧当中的目的地址来判断该MAC帧是否是发给自己的，如果是发送给自己的则会再对其进行CRC校验，如果校验成功则会根据该MAC帧的帧协议类型，将该MAC交付给对应的上层协议进行处理。

MAC地址

• MAC地址用来识别数据链路层中相连的节点。
• 长度为48位，及6个字节，一般用16进制数字加上冒号的形式来表示，例如：08:00:27:03:fb:19。
• 在网卡出厂时就确定了，不能修改，MAC地址通常是唯一的（虚拟机中的MAC地址不是真实的MAC地址，可能会冲突；也有些网卡支持用户配置MAC地址）。

可以使用ifcondig查看服务器MAC地址

对比MAC地址和IP地址

实际数据在路由过程中会存在两套地址，一套是源IP地址和目的IP地址，还有一套是源MAC地址和目的MAC地址。

• IP地址描述的是路途总体的起点和终点。
• MAC地址描述的是路途上的每一个区间的起点和终点。

比如做公交车时，源IP地址就是我们上车的站点，目的IP地址就是我们最终要下车的站点，而源MAC地址就是公交车上一个已经到达的站点，目的MAC地址就是公交车下一个将要到达的站点。

因此数据在路由过程中，源IP地址和目的IP地址可以理解成是不会变化的，而数据每进行一跳后其源MAC地址和目的MAC地址都会变化。

实际数据在路由过程中，源IP地址和目的IP地址也可能会发生变化。（NAT技术）

MTU

MTU（Maximum Transmission Unit，最大传输单元） 描述的是底层数据帧一次最多可以发送的数据量，这个限制是不同的数据链路层对应的物理层产生的。

• 以太网对应MTU的值一般是1500字节，不同的网络类型有不同的MTU，如果一次要发送的数据超过了MTU，则需要在IP层对数据进行分片（fragmentation）。
• 此外，以太网规定MAC帧中数据的最小长度为46字节，如果发送数据量小于46字节，则需要在数据后面补填充位，比如ARP数据包的长度就是不够46字节的。

MTU与IP协议
因为数据链路层规定了最大传输单元MTU，所以如果IP层一次要发送的数据量超过了MTU，此时IP层就需要先对该数据进行分片，然后才能将分片后的数据向下交付。

• IP层会将较大的数据进行分片，并给每个分片数据包进行标记，具体就是通过设置IP报头当中的16位标识、3位标志和13位片偏移来完成的。
• 由同一个数据分片得到的各个分片报文，所对应的IP报头当中的16位标识（id）都是相同的。
  每一个分片报文的IP报头当中的3位标志字段中，第2位设置为0，表示允许分片，第3位用作结束标记（最后一个分片报文设置为0，其余分片报文设置为1）。
• 当对端IP层收到这些分片报文后，需要先将这些分片报文按顺序进行组装，拼装到一起后再向上交付给传输层。
• 如果分片后的某个报文在网络传输过程中丢包了，那么对端在进行数据组装时就会失败，此时就需要上层传输层进行数据重传。

数据的分片和组装发生在IP层，不仅源端主机可能会对数据进行分片，数据在路由过程中的路由器也可能对数据进行分片。因为不同网络的MTU是不一样的，如果传输路径上的某个网络的MTU比源端网络的MTU小，那么路由器就可能对IP数据报再次进行分片。

MTU与UDP协议
IP报头当中如果不携带选项字段，那么IP报头的长度就是20字节，而UDP采用的是定长的8字节报头，因此如果UDP一次携带的数据超过了 1500 − 20 − 8 = 1472 1500-20-8=14721500−20−8=1472 字节，此时数据就需要在IP层进行分片。

• 分片后得到的多个IP数据报中有任意一个在传输过程中丢失，都会引起接收端IP层重组失败。
  假设在网络传输时丢包的概率是万分之一，如果将数据拆分为一百份进行发送，那么此时丢包的概率就上升到了百分之一。
• 因为只要有一个分片报文丢包了也就等同于这个报文整体丢失了，因此分片会增加UDP报文丢包的概率。

MTU与TCP协议

对于TCP来说，分片也会增加TCP报文丢包的概率，但与UDP不同的是TCP丢包后还需要进行重传，因此TCP应该尽量减少因为分片导致的数据重传。

• TCP发送的数据报不能无限大，还是应该受制于MTU，我们将TCP的单个数据报的最大报文长度，称为MSS（Max Segment Size）。
• TCP通信双方在建立连接的过程中，就会进行MSS协商，最终选取双方支持的MSS值当中的较小值作为最终MSS。
• MSS的值实际就是在TCP首部的40字节的选项字段当中的（kind=2）。
• 最理想的情况下，MSS的值正好就是在数据不会在IP层进行分片的最大长度。

MSS和MTU的关系如下：

3.ARP协议

只要确定了 IP 地址，就可以向这个目标地址发送 IP 数据报文。但是在进行实际通信时，还要知道每个 IP 地址所对应的 MAC 地址。

ARP协议的作用

地址解析协议，简称 ARP 协议。是根据目的设备的 IP 地址来查询对应 MAC 地址的协议。

ARP协议的格式

• 硬件类型指链路层的网络类型，1为以太网。
• 协议类型指要转换的地址类型，0x0800为IP地址。
• 硬件地址长度对于以太网地址为6字节，因为MAC地址是48位的。
• 协议地址长度对于IP地址为4字节，因为IP地址是32位的。
• op字段为1表示ARP请求，op字段为2表示ARP应答。

从ARP的数据格式也可以看出，ARP是MAC帧协议的上层协议，ARP数据格式中的前3个字段和最后一个字段对应的就是以太网首部，但由于ARP数据包的长度不足46字节，因此ARP数据包在封装成为MAC帧时还需要补上18字节的填充字段。

ARP协议的原理

当主机 A 向同一个网段内的主机 C 发送数据，但是不知道主机 C 的 MAC 地址。

1.ARP 请求： 主机 A 以主机 C 的 IP 地址为目的 IP 地址，以广播 MAC 地址为目的 MAC 地址，在同网段内发送这个广播报文，这个报文就叫 ARP 请求报文。

二层交换机不查看 IP 地址，根据目的 MAC 地址将报文除接收端口外的所有端口发送。

2.ARP 响应： 主机 C 发现目的 IP 地址是自己的 IP 地址，于是主机 C 以自己 MAC 地址和 IP 地址作为源 MAC 地址和源 IP 地址，以主机 A 的 MAC 地址和 IP 地址作为目的 MAC 地址和目的 IP 地址，发送响应报文给主机 A ，这个报文就叫 ARP 响应报文。其它主机收到主机 A 的 ARP 请求报文，因为目的 IP 地址不是自己的 IP 地址，因此不会进行响应。

当主机 A 在发送 ARP 广播请求报文时，二层交换机已经有主机 A 的 MAC 地址表条目。当收到主机 C 发送的单播 ARP 响应报文时，二层交换机将报文从相应端口发送出去。并将主机 C 的 MAC 地址和对应端口记录到 MAC 地址表中。

3.更新 ARP 缓存表： 主机 A 收到 ARP 响应报文后，将主机 C 的 IP 地址和 MAC 地址记录到 ARP 缓存表中。下次再向主机 C 发送数据时，直接将缓存的目的 MAC 地址进行封装。