目录
公网IP
编辑 特殊的IP地址
IP地址的数量限制
私有IP地址和公网IP地址
路由
数据链路层
认识以太网
以太网帧格式
如何解包和封装,交付及分用
重谈局域网通信原理
认识MTU
MTU对于TCP协议的影响
查看硬件地址和MTU
ARP协议
模拟ARP请求
DNS
浏览器中输入url后, 发生的事情
公网IP
全球主流的IP地址IPV4,共四十多亿IP地址, 每个国家的IP地址,在开始的时候,就已经被划分好了,国际上的路由器都有自己的路由表,可以进行国家和国家的转发。所以,我们需要将IP进行划分,之后就有了各种网络划分的方案。
IP地址分为两个部分, 网络号(可表征不同区域)和主机号。
不同的子网其实就是把网络号相同的主机放到一起.
如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网中的其他主机重复
网络号是标识网段的重要依据。同一个网络内部,大家的网络标识是一样的。主机标识在同一个网络当中不能一样。
不同的网络中,网络号一定不同,但不同网络中的主机号可以相同。
IP=网路+主机。
网络距离变长要面临俩个问题:1.可靠性——由TCP解决 2.定位目标主机——IP解决
把IP划分成网络号和主机号一方面便于定位,另一方面可以提高查找效率
通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同.
那么问题来了, 手动管理子网内的IP, 是一个相当麻烦的事情.
有一种技术叫做DHCP, 能够自动的给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便.一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器
过去曾经提出一种划分网络号和主机号的方案, 把所有IP 地址分为五类, 如下图所示(该图出 自[TCPIP]),此处的网络划分为了解部分。
A类 0.0.0.0到127.255.255.255
B类 128.0.0.0到191.255.255.255
C类 192.0.0.0到223.255.255.255
D类 224.0.0.0到239.255.255.255
E类 240.0.0.0到247.255.255.255
随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址。
例如, 申请了一个B类地址, 理论上一个子网内能允许6万5千多个主机. A类地址的子网内的主机数更多.然而实际网络架设中, 不会存在一个子网内有这么多的情况. 因此大量的IP地址都被浪费掉了。
针对这种情况提出了新的划分方案, 称为CIDR(Classless Interdomain Routing):
引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;
子网掩码也是一个32位的正整数. 通常用一串 "0" 来结尾;
将IP地址和子网掩码进行 "按位与" 操作, 得到的结果就是网络号;
网络号和主机号的划分与这个IP地址是A类、B类还是C类无关。
比如二进制下的IP地址是这样
第三行前面颜色相同的是网络号,最后四位是主机号。
给不同的路由器配置不同位数的子网掩码,就能看到不同的网络号。
IP 配置 子网掩码,就可以用目的IP&当前路由器的子网掩码=该报文要去的目的网络。不同的路由器至少要级联俩个网络,每一个网络的网络号可能是不同的,每个路由器都要给自己直接链接的网络都要配置对应的子网掩码。
可见,IP地址与子网掩码做与运算可以得到网络号, 主机号从全0到全1就是子网的地址范围;
IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0。
特殊的IP地址
将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网;
将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数
据包;
127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1(本地环回)
IP地址的数量限制
我们知道, IP地址(IPv4)是一个4字节32位的正整数. 那么一共只有 2的32次方 个IP地址, 大概是43亿左右. 而TCP/IP 协议规定, 每个主机都需要有一个IP地址.
这意味着, 一共只有43亿台主机能接入网络么?
实际上, 由于一些特殊的IP地址的存在, 数量远不足43亿; 另外IP地址并非是按照主机台数来配置的, 而是每一个网卡都需要配置一个或多个IP地址.
CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:
动态分配IP地址: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
NAT技术(后面会重点介绍);
IPv6: IPv6并不是IPv4的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6用16字节128位来表示一个IP地址; 但是目前IPv6还没有普及;
上述讲的都是公网IP
私有IP地址和公网IP地址
如果一个组织内部组建局域网,IP地址只用于局域网内的通信,而不直接连到Internet上,理论上 使用任意的IP地址都可以,但是RFC 1918规定了用于组建局域网的私有IP地址
10.*,前8位是网络号,共16,777,216个地址
172.16.到172.31.,前12位是网络号,共1,048,576个地址
192.168.*,前16位是网络号,共65,536个地址
包含在这个范围中的, 都成为私有IP, 其余的则称为全局IP(或公网IP);
默认网关是对应的路由器,默认网关一般是特定子网当中的第一台主机,所以编号为1
172.28也是上面提到的子网ip,云服务器上的IP地址是私有IP。
我们直接接触到的不是公网IP,而是私有IP ,下图方框中的就是私有IP(内网IP)。
1.家里要是上网,家里会先做什么?
a.首先要有运营商,在家附件有网络覆盖
b.联系运营商进行光纤入户
c.工作人员上门,调制解调器(猫),无线路由器
d.开户,拿到账号/密码,配置路由器(账号,密码...配置运营商认证家庭的密码)。
e.配置路由器,设置wifi的名称+密码(路由器认证人的)。
f.正常上网,按月年交费。
2.我们玩的各种APP,明明是各种APP提供的服务,如抖音刷视频不需要付费,但到了月底充话费却给了运营商。
用户数据->运营商基站->APP服务器,基础设施是运营商铺设的。
3.初步理解,我们无法访问goole,为什么?
其中是运营商在拦截我们,无论是手机还是家里的路由器都有账号,这些账号运营商也都知道,一旦欠费了,上不了网,打不了电话,但是能打通10086。
路由器会天然的构建局域网(子网)。私有网络对应的IP是局部的,可以在不同的子网中出现重复。即可解决IP不足的问题。
家用路由器:1.对内:面对自己构建的子网 2.对外:自己本身也是别人构建子网的一个主机。
路由器决定了路由器一定要有俩套地址:1.对内Lan口IP,局域网IP 2.对外:WAN口IP,自己所在的上级子网给自己分配的IP。
同一个局域网,俩台主机可以直接通信。
如果用私网IP发送数据给APP的服务器,可数据如何传回来呢?在公网当中,私网IP是无法被识别的。
为解决这个问题,路由器将请求交给运营商路由器之前会做这俩个操作:
1. 将报文中的源IP替换成为路由器的WAN口IP
2.每经过一个运营商的内网路由器,都要做这个工作(公网路由器不做)。
源IP地址在不同内网,不同层级的网络节点中转发,被替换的计数:NAT。
一个路由器可以配置两个IP地址, 一个是WAN口IP, 一个是LAN口IP(子网IP).
路由器LAN口连接的主机, 都从属于当前这个路由器的子网中.
不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). 子网内的主机IP地址不能重复. 但是子网之间的IP地址就可以重复了.
每一个家用路由器, 其实又作为运营商路由器的子网中的一个节点. 这样的运营商路由器可能会有很多级,最外层的运营商路由器, WAN口IP就是一个公网IP了.
子网内的主机需要和外网进行通信时, 路由器将IP首部中的IP地址进行替换(替换成WAN口IP), 这样逐级替换, 最终数据包中的IP地址成为一个公网IP. 这种技术称为NAT(Network Address Translation,网络地址转换).
如果希望我们自己实现的服务器程序, 能够在公网上被访问到, 就需要把程序部署在一台具有外网IP的服务器上. 这样的服务器可以在阿里云/腾讯云上进行购买
路由
在复杂的网络结构中, 找出一条通往终点的路线;
路由的过程, 就是这样一跳一跳(Hop by Hop) "问路" 的过程.所谓 "一跳" 就是数据链路层中的一个区间. 具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间。
IP数据包的传输过程也和问路一样.
当IP数据包, 到达路由器时, 路由器会先查看目的IP;
路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器;
依次反复, 一直到达目标IP地址
先找到目的网络->再找目标主机。
目的网络 设备类型 子网掩码 Flags表明状态 I face是转发接口
这台主机有两个网络接口,一个网络接口连到192.168.10.0/24网络,另一个网络接口连到
192.168.56.0/24网络;
路由表的Destination是目的网络地址,Genmask是子网掩码,Gateway是下一跳地址,Iface是发送接口,Flags中的U标志表示此条目有效(可以禁用某些 条目),G标志表示此条目的下一跳地址是某个路由器的地址,没有G标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由器转发;
转发过程例1: 如果要发送的数据包的目的地址是192.168.56.3
跟第一行的子网掩码做与运算得 到192.168.56.0,与第一行的目的网络地址不符
再跟第二行的子网掩码做与运算得 到192.168.56.0,正是第二行的目的网络地址,因此从eth1接口发送出去;
由于192.168.56.0/24正 是与eth1 接口直接相连的网络,因此可以直接发到目的主机,不需要经路由器转发;
转发过程例2: 如果要发送的数据包的目的地址是202.10.1.2
依次和路由表前几项进行对比, 发现都不匹配;
按缺省路由条目, 从eth0接口发出去, 发往192.168.10.1路由器;
由192.168.10.1路由器根据它的路由表决定下一跳地址
IP没有解决设备转发的具体功能,IP提供的是转发的策略。
1.决定将数据交付给下一个路由器的时候,下一条路由器一定和我在同一个局域网。这种一跳一跳的转发本质都是子网转发。宏观上,我们的网络本质就是一个一个子网构成的。
数据链路层
传输层和网络层是属于OS的,数据链路层属于驱动程序的一部分
认识以太网
"以太网" 不是一种具体的网络, 以太网中的网线必须是双绞线,而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容.
例如: 规定了网络拓扑结构, 访问控制方式, 传输速率等;
例如以太网中的网线必须使用双绞线; 传输速率有10M, 100M, 1000M等;
以太网是当前应用最广泛的局域网技术; 和以太网并列的还有令牌环网, 无线LAN等;
以太网帧格式
数据链路层也有标识主机唯一性的方案,MAC地址,该地址是48位的整数,上图第一行的数据就是IP报文。
如何解包和封装,交付及分用
MAC采用定长报头6 6 2,CRC 4字节,去头去尾就能拿到数据。
往上层交付的时候,依靠的是2字节的类型字段,如果是0800,代表有效载荷放的是IP报文,进而向上交付,交给IP层,即类型决定了将自己的有效载荷交付给上层谁。
重谈局域网通信原理
H1要把数据发给H6 ,MAC该这样填
当把数据发到网络之后,所有的主机都能收到该消息,每个主机用自己的MAC地址和目的地址对比,若目的地址不是自己则丢弃该报文,若目的地址是自己,则把数据向上交付。
若要把主机B的数据传给主机C,先在主机B的网络层查路由表,查到路由器F,把数据帧构建出来交给路由器F,在局域网通信的时候,构建MAC帧,路由器F收到了这个数据,之后路由器对比自己的MAC地址发现描述就是交给自己的,之后分离,向上交付到了路由器的网络层,路由器的网络层IP报头当中的目的IP,查路由器的IP地址和目标网络,之后确定给路由器G,之后继续这样,及一跳一跳。
在局域网当中当好多主机都在发数据的时候,彼此数据就会产生碰撞问题。发生碰撞时发送消息的主机能知道发送了碰撞,也能收到自己发出去之后被碰撞了的数据,其实此时局域网内的所有主机都知道发生了碰撞,也都知道碰撞后的数据是什么样子。
一旦碰撞数据就无法使用,因此我们要尽量避免碰撞问题, 一旦碰撞,我们就执行碰撞避免算法,发送主机会休息随机时间,然后,再重新发送。局域网资源本质是一个临界资源(参考线程那块的临界资源)。
在局域网通信当中,主机数量越少越好,
交换机:在局域网中可经过交换机进行数据发送,当发生数据碰撞时,交换机不把数据往接收方转。
当H1主机想把数据发给H5的时候, 交换机识别到这俩个主机在同一侧,则交换机不会把数据往右侧区域转。即交换机可划分碰撞与。
局域网数据帧发送的时候, 数据帧越长则数据在局域网中流动的时间越长,数据太长也会容易引起数据碰撞,即数据越短越好,但也有问题,越短的话,携带的有效信息越少。所以有了MTU的提出。
认识MTU
MTU相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对应的物理层, 产生的限制.以太网帧中的数据长度规定最小46字节,最大1500字节,ARP数据包的长度不够46字节,要在后面补填充位;
最大值1500称为以太网的最大传输单元(MTU),不同的网络类型有不同的MTU;
如果一个数据包从以太网路由到拨号链路上,数据包长度大于拨号链路的MTU了,则需要对数据包进行分片(fragmentation);
不同的数据链路层标准的MTU是不同的;
局域网攻击原理 :不断给局域网塞垃圾,制造数据碰撞,该情况可能会导致自己瘫痪,但是主机为了保护自己会引发碰撞避免,所以会很难影响别人。网络中有一些工具,可以绕过数据链路层,不采用碰撞避免算法,直接把数据打包到网卡上,让网卡直接塞出去。
依旧是从主机B发数据给主机C, 主机B把数据跳给主机F,向上交付到达网络层,在网络层拿到目的IP地址,之后拿这个IP地址和路由表当中子网掩码进行按位与和目的网络做对比,发现要去的是路由器G,所以将数据包从另一个接口扔出去,扔出去的时候向下交付,重新封装MAC帧,交给路由器G,之后向后交付。
在网络转发的过程中,目的IP是不变的,MAC帧报头会发生变化,因为每一台主机都有不同的MAC地址。
IP报文,被千里迢迢送到主机C的入口路由器,接下来是不是要进行交付给目标主机,必定要封装MAC报头,要封装MAC包头,就必须知道主机C的MAC地址,而路由器又是如何知道下一跳的MAC地址呢?
任何一个主机,都暂时无法得知下一跳的MAC地址,但这个又是必须知道的,要不然无法封装MAC帧。 这里就要介绍ARP协议了。
MTU对于TCP协议的影响
TCP的一个数据报也不能无限大, 还是受制于MTU. TCP的单个数据报的最大消息长度, 称为MSS(Max
Segment Size);
TCP在建立连接的过程中, 通信双方会进行MSS协商.
最理想的情况下, MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的
MTU).
双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值.
然后双方得知对方的MSS值之后, 选择较小的作为最终MSS.
MSS的值就是在TCP首部的40字节变长选项中(kind=2);
查看硬件地址和MTU
使用ifconfig命令, 即可查看ip地址, mac地址, 和MTU;
ARP协议
入口路由器如何知道下一个主机的AMC地址呢?如果我们只知道目标主机的IP地址,而不知道对方的MAC地址,在同一个网段,我们就需要目标IP,得知对方的MAC地址,就需要用到ARP协议 (地址解析协议)。
ARP的工作过程和报文格式
ARP的关键字段:1.先广播 2. 再1v1进行发送。
注意到源MAC地址、目的MAC地址在以太网首部和ARP请求中各出现一次,对于链路层为以太网的情况是多余的,但如果链路层是其它类型的网络则有可能是必要的。
硬件类型指链路层网络类型,1为以太网,这个字段固定为1;
协议类型指要转换的地址类型,0x0800为IP地址,含义是把IP转成MAC地址;
硬件地址长度对于以太网地址为6字节;
协议地址长度对于和IP地址为4字节;
任何主机可能之前向目标主机发起过ARP请求,就注定了,未来会收到对应的ARP应答。
任何一台主机,也可能被别人发起ARP请求,局域网中任何一台主机收到ARP的时候可能是一个应答,也可能是一个请求。
op字段为1表示ARP请求,op字段为2表示ARP应答
ARP协议建立了主机 IP地址 和 MAC地址 的映射关系.
在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却不知道目的主机的硬件地址;
数据包首先是被网卡接收到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃;
因此在通讯前必须获得目的主机的硬件地址;
模拟ARP请求
主机HA发数据给HD,FFFFFF代表不知道目标的以太网地址。
之后HA的ARP要交付给MAC帧,即要添加MAC帧的报头,
MAC帧报头如下所示
添加完MAC帧后,在MAC帧中目标地址是全FFF,代表目标地址是一个广播地址。
当主机A把数据扔到局域网之后,局域网中的所有主机都收到了ARP请求,即先将数据在局域网内进行广播。任何一个主机收到该数据后都要做处理,拿到数据后先对报头和有效载荷进行分离,然后发现了是0806(arp)请求,并把数据向上(arp协议层)交付,交付之后先看OP字段。先区分是请求还是应答。
看完OP之后,再看目的IP地址是不是自己,如果不是就抛弃,此时只有主机D对比成功,主机D此时就收到了一个arp请求。
接下来主机D进行应答,。
主机D的ARP封装好之后,在数据链路层继续封装MAC帧,不管是请求还是应答,帧类型都是0806.
封装好了
之后主机D将数据发送到了局域网,所有主机都会收到请求,这些主机不会处理这些数据,因为通过对比发现MAC目的地址不是自己,直接进行丢弃。
注意第一次丢弃是不确定目的MAC,在ARP丢弃,第二次知道了目的MAC,在MAC直接丢弃。
主机A收到了MAC帧之后,先看的是OP,即判断是请求还是应答,再直接在ARP提取发送端MAC地址和发送端IP地址 ,主机A就拿到了对端主机的MAC地址MAC_D,主机A就可以继续给主机D发数据了,这就是ARP协议。
ARP前提是我们需要知道对方的目的IP,根据目的IP得到对方的MAC地址。
ARP看起来至少要进行一个请求和一个应答,是不是每一次发送数据都要这么干呢?
不是,ARP请求成功之后,请求方会暂时将IP和MAC地址的映射关系暂时保存下来(该保存是有时间的,超时了,就会去掉保存的对方的数据)。
是不是只会在目标最终的子网中进行ARP,其它地方也不会也发生ARP呢?
会,ARP的过程会在网络路径中可能会随时发生,即只要在局域网中一个主机想转数据给另一个主机,就有可能发起ARP。
查看自己主机的ARP缓存
对于缓存只要有新的应答,缓存就会被更新。
之后主机A发消息,C接收后转发给B,即C在A,B不知情的情况下,成为了中间人。这种方式就叫ARP欺骗。
DNS
域名解析采用的协议是UDP协议。
DNS是一整套从域名映射到IP的系统
TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是IP地址不方便记忆.
于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用hosts文件来描述主机名和IP地址的关系.
域名简介
主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称
com: 一级域名. 表示这是一个企业域名. 同级的还有 "net"(网络提供商), "org"(非盈利组织) 等.
baidu: 二级域名, 公司名.
www: 只是一种习惯用法. 之前人们在使用域名时, 往往命名成类似于ftp.xxx.xxx/www.xxx.xxx这样的格式, 来表示主机支持的协议.
浏览器中输入url后, 发生的事情
1.回答整体结构,重点放在应用层http,https
2.再和面试官沟通,是否需要进一步讨论细节,针对细节,再进行讨论和表述。