认识以太网

“以太网” 不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容. 例如: 规定了网络拓扑结构, 访问控制方式, 传输速率等;
例如以太网中的网线必须使用双绞线; 传输速率有10M, 100M, 1000M等;
以太网是当前应用最广泛的局域网技术; 和以太网并列的还有令牌环网, 无线LAN等;

认识Mac地址

MAC地址用来识别数据链路层中相连的节点;
长度为48位, 及6个字节. 一般用16进制数字加上冒号的形式来表示(例如: 08:00:27:03:fb:19)
在网卡出厂时就确定了, 不能修改. mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址, 可能会冲突; 也有些网卡支持用户配置mac地址).
IP地址描述的是路途总体的 起点 和 终点。MAC地址描述的是路途上的每一个区间的起点和终点;

一.以太网帧格式

1. 源地址和目的地址是指网卡的硬件地址(也叫MAC地址), 长度是48位,是在网卡出厂时固化的;
2. 帧协议类型字段有三种值,分别对应IP、ARP、RARP;
3. 帧末尾是CRC校验码

二.认识MTU

MTU相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对应的物理层, 产生的限制.

1. 以太网帧中的数据长度规定最小46字节,最大1500字节,ARP数据包的长度不够46字节,要在后面补填充位;
2. 最大值1500称为以太网的最大传输单元(MTU),不同的网络类型有不同的MTU;
3. 如果一个数据包从以太网路由到拨号链路上,数据包长度大于拨号链路的MTU了,则需要对数据包进行分片(fragmentation);
4. 不同的数据链路层标准的MTU是不同的;

MTU对IP的影响

由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包。

将较大的IP包分成多个小包, 并给每个小包打上标签;
每个小包IP协议头的 16位标识(id) 都是相同的;
每个小包的IP协议头的3位标志字段中, 第2位置为0, 表示允许分片, 第3位来表示结束标记(当前是否是最后一个小包, 是的话置为1, 否则置为0);
到达对端时再将这些小包, 会按顺序重组, 拼装到一起返回给传输层;
一旦这些小包中任意一个小包丢失, 接收端的重组就会失败. 但是IP层不会负责重新传输数据;

MTU对TCP的影响

TCP的一个数据报也不能无限大, 还是受制于MTU. TCP的单个数据报的最大消息长度, 称为MSS(MaxSegment Size);
TCP在建立连接的过程中, 通信双方会进行MSS协商.
最理想的情况下, MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU).
双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值.
然后双方得知对方的MSS值之后, 选择较小的作为最终MSS.
MSS的值就是在TCP首部的40字节变长选项中(kind=2);
滑动窗口的分区也是受MTU的影响。

MTU对UDP协议的影响

一旦UDP携带的数据超过1472(1500 - 20(IP首部) - 8(UDP首部)), 那么就会在网络层分成多个IP数据报.
这多个IP数据报有任意一个丢失, 都会引起接收端网络层重组失败. 那么这就意味着, 如果UDP数据报在网络层被分片, 整个数据被丢失的概率就大大增加了

三.ARP协议

虽然我们在这里介绍ARP协议, 但是需要强调, ARP不是一个单纯的数据链路层的协议, 而是一个介于数据链路层和网络层之间的协议;

ARP协议建立了主机 IP地址 和 MAC地址 的映射关系:

1. 在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却不知道目的主机的硬件地址;
2. 数据包首先是被网卡接收到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃;
3. 因此在通讯前必须获得目的主机的硬件地址，APR协议就是帮助找到Mac地址的;

1.ARP协议的工作流程

1. 源主机发出ARP请求,询问“IP地址是192.168.0.1的主机的硬件地址是多少”, 并将这个请求广播到本地网段(以太网帧首部的硬件地址填FF:FF:FF:FF:FF:FF表示广播);
2. 目的主机接收到广播的ARP请求,发现其中的IP地址与本机相符,则发送一个ARP应答数据包给源主机,将自己的硬件地址填写在应答包中;
3. 每台主机都维护一个ARP缓存表,可以用arp -a命令查看。缓存表中的表项有过期时间(一般为20分钟),如果20分钟内没有再次使用某个表项,则该表项失效,下次还要发ARP请求来获得目的主机的硬件地址

2.ARP数据报的格式

1. 注意到源MAC地址、目的MAC地址在以太网首部和ARP请求中各出现一次,对于链路层为以太网的情况是多余的,但如果链路层是其它类型的网络则有可能是必要的。
2. 硬件类型指链路层网络类型,1为以太网;
3. 协议类型指要转换的地址类型,0x0800为IP地址;
4. 硬件地址长度对于以太网地址为6字节;
5. 协议地址长度对于IP地址为4字节;
6. op字段为1表示ARP请求,op字段为2表示ARP应答。

3.ARP欺骗

1.arp只有在缓存失效时才会进行。
2.我可以通过我的ip和掩码，得到我的网络号，然后拼接ip地址，ping所有的主机，得到所有主机的ip和mac。
3.如果收到多次同样的arp应答，会以最新的为准。

所有主机都能接收ARP请求，那么一个入侵机就可以伪造ARP响应，多次发送给源机，源机就会以最新一次的ARP为准，那么源机就会把报文发送给入侵机，这就是ARP欺骗。

四.其他重要协议或技术

1.DNS

DNS是一整套从域名映射到IP的系统

TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是IP地址不方便记忆.
于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用hosts文件来描述主机名和IP地址的关系。

最初, 通过互连网信息中心(SRI-NIC)来管理这个hosts文件的。

如果一个新计算机要接入网络, 或者某个计算机IP变更, 都需要到信息中心申请变更hosts文件.
其他计算机也需要定期下载更新新版本的hosts文件才能正确上网

这样就太麻烦了, 于是产生了DNS系统.

一个组织的系统管理机构, 维护系统内的每个主机的IP和主机名的对应关系.
如果新计算机接入网络, 将这个信息注册到数据库中;
用户输入域名的时候, 会自动查询DNS服务器, 由DNS服务器检索数据库, 得到对应的IP地址

至今, 我们的计算机上仍然保留了hosts文件. 在域名解析的过程中仍然会优先查找hosts文件的内容(cat /etc/hosts).。

域名简介

主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称。

例如：www.baidu.com。

com: 一级域名. 表示这是一个企业域名. 同级的还有 "net"(网络提供商), "org"(非盈利组织) 等.
baidu: 二级域名, 公司名.
www: 只是一种习惯用法. 之前人们在使用域名时, 往往命名成类似于ftp.xxx.xxx/www.xxx.xxx这样的格式, 来表示主机支持的协议.
. ：域名连接符号

2.ICMP协议

ICMP协议是一个网络层协议

一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是IP协议并不提供可靠传输. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因。

ICMP正是提供这种功能的协议; ICMP主要功能包括:

1. 确认IP包是否成功到达目标地址.
2. 通知在发送过程中IP包被丢弃的原因.
3. ICMP也是基于IP协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议;
4. ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6;

ping命令

1. 注意, 此处 ping 的是域名, 而不是url! 一个域名可以通过DNS解析成IP地址.
2. ping命令不光能验证网络的连通性, 同时也会统计响应时间和TTL(IP包中的Time To Live, 生存周期).
3. ping命令会先发送一个 ICMP Echo Request给对端;
4. 对端接收到之后, 会返回一个ICMP Echo Reply;

注意：ping命令基于ICMP, 是在网络层. 而端口号, 是传输层的内容. 在ICMP中根本就不关注端口号这样的信息.

3.NAT技术（重点）

之前我们讨论了, IPv4协议中, IP地址数量不充足的问题NAT技术当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;

1. NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
2. 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器必要的服务器上设置全局IP;
3. 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的

NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
在NAT路由器内部, 有一张自动生成的, 用于地址转换的表;
当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

NAPT

那么问题来了, 如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机?这时候NAPT来解决这个问题了. 使用IP+port来建立这个关联关系.（经过转换后ip都相同，通过端口号来进行区分）

这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项。

由于NAT依赖这个转换表, 所以有诸多限制:

1. 无法从NAT外部向内部服务器建立连接;
2. 装换表的生成和销毁都需要额外开销;
3. 通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开;

4.代理服务器

路由器往往都具备NAT设备的功能, 通过NAT设备进行中转, 完成子网设备和其他子网设备的通信过程.代理服务器看起来和NAT设备有一点像. 客户端像代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端.

那么NAT和代理服务器的区别有哪些呢?

1. 从应用上讲, NAT设备是网络基础设备之一, 解决的是IP不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器, 也是使用代理服务器.
2. 从底层实现上讲, NAT是工作在网络层, 直接对IP地址进行替换. 代理服务器往往工作在应用层.
3. 从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网.
4. 从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上

代理服务器又分为正向代理和反向代理：正向代理用于请求的转发(例如借助代理绕过反爬虫).
反向代理往往作为一个缓存.

五.一些问题

访问一个网站是访问它的公有ip还是私有ip？

实际上是访问该网站的公共IP地址。

路由器是如何把私有ip转换成公有ip的？

路由器通过网络地址转换（Network Address Translation，NAT）的技术，将私有IP地址转换为公共IP地址

私有ip经过不同的路由器，它通过NAT技术推出来的公有ip是否有可能不同？

是的，私有IP地址经过不同的路由器（或者NAT设备）转发到公共互联网时，会袗映射为不同的公共IP地址。这是因为在互联网上，公共IP地址才能够唯一标识一个设备或者网络。当私有IP数据包通过路由器或NAT设备转发到互联网时，这些设备会将私有IP地址替换为自己的公共IP地址，以便在互联网上进行路由和传输。因此，不同的路由器或NAT设备可能会使用不同的公共IP地址来代表同一个私有IP地址。

既然公有ip有可能随着路由器不同而变化，为什么又会有固定的呢？

静态IP地址：一些网络服务提供商会提供静态IP地址，这意味着您的公共IP地址是固定的，不会随着路由器更改而变化。静态IP地址通常用于需要稳定IP地址的服务，如服务器托管、VPN连接等。

如果该静态ip被设置了，是否意味着其它公有ip就不能占据该ip了？

是的，一旦您的设备被分配了静态IP地址，这意味着该IP地址会一直被保留给您的设备使用，其他公共IP地址不能再占据该IP地址。静态IP地址是专门为您的设备保留的，不会在网络中被重新分配给其他设备使用

子路由器和它的上级路由器之间的ip有关联吗？

子路由器和上级路由器之间的IP地址通常是相关联的，因为子路由器需要通过上级路由器来连接到更大的网络（如互联网）。这种连接通常是通过在子路由器上设置一个静态IP地址，并将其设置为上级路由器的网关来实现的。
具体来说，通常情况下，子路由器会在其WAN口（广域网口）配置一个IP地址，这个IP地址是由上级路由器的DHCP服务器分配的。同时，子路由器的LAN口（局域网口）会分配另一个IP地址给连接到子路由器的设备。这样，子路由器就可以将局域网中的设备连接到上级路由器，并通过上级路由器访问互联网。
总的来说，子路由器和上级路由器之间的IP关联主要体现在子路由器的WAN口IP地址与上级路由器的LAN口IP地址之间的连接关系上。这种关联确保了子路由器可以在上级路由器的网络中正常工作，并实现局域网设备与互联网的连接。

既然子网ip是由上级路由器分配的，那么对于ipv4来说，实际上即使采用NAT技术，ip是否依然有可能不足？

是的，尽管NAT（网络地址转换）技术可以帮助解决IPv4地址不足的问题，但在某些情况下，IPv4地址依然可能不足。