互联网的基础结构大体上经历了三个阶段的演进。但这三个阶段在时间划分上并非截然分开而是有部分重叠的，这是因为网络的演进是逐渐的而不是在某个日期突然发生了变化。
第一个阶段是从单个网络ARPANET向互连网方向发展。这一阶段的主要特点是TCP/IP协议初步成型。1969年美国国防部创建的第一个分组交换网ARPANET最初只是一个单个的分组交换网（并不是一个互连的网络)。所有要连接在ARPANET 上的主机都直接与就近的结点交换机相连。但到了20世纪70年代中期，人们已认识到不可能仅使用一个单独的网络来满足所有的通信需求。于是ARPA开始研究多种网络（如分组无线电网络）互连的技术，这就导致了后来互连网的出现。
这样的互连网就成为现在互联网(Internet)的雏形。1983年，TCP/IP 协议成为ARPANET上的标准协议，使得所有使用TCP/IP 协议的计算机都能利用互联网相互通信，因而人们就把1983年作为互联网的诞生时间。1990年，ARPANET正式宣布关闭，因为它的实验任务已经完成。
第二个阶段是建成三级结构的互联网。这一阶段的主要特点是将互联网分为了主干网、地区网和校园网(企业网)。从1985年起，美国国家科学基金会NSF(National Science Foundation)就围绕六个大型计算机中心建设计算机网络，即国家科学基金网NSFNET。它是一个三级计算机网络，分为主干网、地区网和校园网(或企业网)。这种三级计算机网络覆盖了全美国主要的大学和研究所，并且成为互联网中的主要组成部分。1991年，NSF 和美国的其他政府机构开始认识到，互联网必将扩大其使用范围，不应仅限于大学和研究机构。世界上的许多公司纷纷接入到互联网，文网网生交绘私人公司来经营，并开始对接已满足不了需要。于是美国政府决定将互联网的主干网转交给私人公司来经营，并开始对接入互联网的单位收费。1992年互联网上的主机超过100万台。1993年互联网主干网的速率提高到45 Mbit/s (T3速率)。
第三个阶段是形成多层次ISP结构的互联网。这一阶段的主要特点是ISP首次出现。从1993年开始，由美国政府资助的NSFNET逐渐被若干个商用的互联网主干网替代，而政府机构不再负责互联网的运营。这样就出现了一个新的名词:互联网服务提供者ISP(Internet Service Provider)。在许多情况下，互联网服务提供者ISP就是一个进行商业活动的公司，因此ISP又常译为互联网服务提供商。ISP拥有从互联网管理机构申请到的多个IP地址，同时拥有通信线路（大的ISP自己建造通信线路，小的ISP则向电信公司租用通信线路）以及路由器等连网设备，因此任何机构和个人只要向ISP交纳规定的费用，就可从ISP得到所需的IP地址，并通过该ISP接入到互联网。我们通常所说的“上网”就是指“(通过某个ISP)接入到互联网”，因为ISP向连接到互联网的用户提供了IP地址。IP地址的管理机构不会把一个单个的IP地址分配给单个用户(不“零售”IP地址)，而是把一批IP地址有偿分配给经审查合格的ISP(只“批发”IP地址)。从以上所讲的可以看出,现在的互联网已不是某个单个组织所拥有而是全世界无数大大小小的ISP所共同拥有的。
