Linux 13：网络编程1

1. 预备知识

1-1. 理解源IP地址和目的IP地址

在IP数据包头部中，有两个IP地址，分别叫做源IP地址，和目的IP地址。
我们光有IP地址就可以完成通信了嘛？想象一下发qq消息的例子，有了IP地址能够把消息发送到对方的机器上，但是还需要有一个其他的标识来区分出，这个数据要给哪个程序进行解析。

1-2. 认识端口号

端口号(port)是传输层协议的内容

端口号是一个2字节16位的整数。
端口号用来标识一个进程，告诉操作系统，当前的这个数据要交给哪一个进程来处理。
IP地址 + 端口号能够标识网络上的某一台主机的某一个进程。
一个端口号只能被一个进程占用。
一个进程可以绑定多个端口号。

1-3. 理解 "端口号" 和 "进程ID"

我们之前在学习系统编程的时候, 学习了 pid 表示唯一一个进程; 此处我们的端口号也是唯一表示一个进程. 那么这两者之间是怎样的关系?
端口号专用于网络进程绑定关联：

其他模块(进程管理) 和网络进行解耦
port用来专用进行网络通信

1-4. 理解源端口号和目的端口号

传输层协议（TCP和UDP）的数据段中有两个端口号，分别叫做源端口号和目的端口号。就是在描述 "数据是谁发的，要发给谁"。

1-5. 认识TCP协议

此处我们先对TCP(Transmission Control Protocol 传输控制协议)有一个直观的认识；后面我们再详细讨论TCP的一些细节问题。

传输层协议
有连接
可靠传输
面向字节流

1-6. 认识UDP协议

此处我们也是对UDP(User Datagram Protocol 用户数据报协议)有一个直观的认识; 后面再详细讨论。

传输层协议
无连接
不可靠传输
面向数据报

1-7. 网络字节序

我们已经知道，内存中的多字节数据相对于内存地址有大端和小端之分，磁盘文件中的多字节数据相对于文件中的偏移地址也有大端小端之分，网络数据流同样有大端小端之分。那么如何定义网络数据流的地址呢?

发送主机通常将发送缓冲区中的数据按内存地址从低到高的顺序发出。
接收主机把从网络上接到的字节依次保存在接收缓冲区中，也是按内存地址从低到高的顺序保存。
因此，网络数据流的地址应这样规定：先发出的数据是低地址，后发出的数据是高地址。
TCP/IP协议规定，网络数据流应采用大端字节序，即低地址高字节。
不管这台主机是大端机还是小端机，都会按照这个TCP/IP规定的网络字节序来发送/接收数据。
如果当前发送主机是小端，就需要先将数据转成大端，否则就忽略，直接发送即可。

为使网络程序具有可移植性，使同样的C代码在大端和小端计算机上编译后都能正常运行，可以调用以下库函数做网络字节序和主机字节序的转换。

#include <arpa/inet.h>
uint32_t htonl(uint32_t hostlong);

uint16_t htons(uint16_t hostshort);

uint32_t ntohl(uint32_t netlong);

uint16_t ntohs(uint16_t netshort);

这些函数名很好记，h表示host，n表示network，l表示32位长整数，s表示16位短整数。
例如htonl表示将32位的长整数从主机字节序转换为网络字节序。
如果主机是小端字节序，这些函数将参数做相应的大小端转换然后返回。
如果主机是大端字节序，这些函数不做转换，将参数原封不动地返回。

2. socket编程接口

2-1. socket 常见API

// 创建 socket 文件描述符 (TCP/UDP, 客户端 + 服务器)

int socket(int domain, int type, int protocol);

// 绑定端口号 (TCP/UDP, 服务器)

int bind(int socket, const struct sockaddr *address, socklen_t address_len);

// 开始监听socket (TCP, 服务器)

int listen(int socket, int backlog);

// 接收请求 (TCP, 服务器)

int accept(int socket, struct sockaddr* address, socklen_t* address_len);

// 建立连接 (TCP, 客户端)

int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

2-2. sockaddr结构

socket API是一层抽象的网络编程接口，适用于各种底层网络协议，如IPv4、IPv6，以及后面要讲的UNIX Domain Socket。然而，各种网络协议的地址格式并不相同。

IPv4和IPv6的地址格式定义在netinet/in.h中，IPv4地址用sockaddr_in结构体表示，包括16位地址类型，16位端口号和32位IP地址。
IPv4、IPv6地址类型分别定义为常数AF_INET、AF_INET6。这样，只要取得某种sockaddr结构体的首地址，不需要知道具体是哪种类型的sockaddr结构体，就可以根据地址类型字段确定结构体中的内容。
socket API可以都用struct sockaddr *类型表示, 在使用的时候需要强制转化成sockaddr_in；这样的好处是程序的通用性，可以接收IPv4、IPv6，以及UNIX Domain Socket各种类型的sockaddr结构体指针做为参数。

sockaddr 结构

sockaddr_in 结构

虽然socket api的接口是sockaddr，但是我们真正在基于IPv4编程时，使用的数据结构是sockaddr_in; 这个结构里主要有三部分信息：地址类型，端口号，IP地址。

in_addr结构

in_addr用来表示一个IPv4的IP地址。其实就是一个32位的整数。

2-3. 地址转换函数

本节只介绍基于IPv4的socket网络编程，sockaddr_in中的成员struct in_addr sin_addr表示32位的IP地址但是我们通常用点分十进制的字符串表示IP地址，以下函数可以在字符串表示和in_addr表示之间转换。

字符串转in_addr的函数：

#include <arpa/inet.h>
int inet_aton(const char *strptr,struct in_addr *addrptr);

in_addr_t inet_addr(const char *strptr);

int inet_pton(int family,const char *strptr,void *addrptr);

in_addr转字符串的函数:

char *inet_ntoa(struct in_addr inaddr);
const char *inet_ntop(int family,const void *addrptr,char *strptr,size_t len);

其中inet_pton和inet_ntop不仅可以转换IPv4的in_addr，还可以转换IPv6的in6_addr，因此函数接口是void *addrptr。

2-3-1. 关于inet_ntoa

inet_ntoa这个函数返回了一个char*，很显然是这个函数自己在内部为我们申请了一块内存来保存ip的结果。那么是否需要调用者手动释放呢?

man手册上说，inet_ntoa函数，是把这个返回结果放到了静态存储区。这个时候不需要我们手动进行释放。那么问题来了，如果我们调用多次这个函数，会有什么样的效果呢? 参见如下代码：

#include <stdio.h>
#include <netinet/in.h>
#include <arpa/inet.h>
int main(){
    struct sockaddr in addr1;
    struct sockaddr in addr2;
    addr1.sin_addr.s_addr = 0;
    addr2.sin_addr.s_addr = 0xffffffff;
    char* ptrl=inet_ntoa(addr1.sin_addr);
    char* ptr2=inet_ntoa(addr2.sin addr);
    printf("ptr1:%s,ptr2:%s\n",ptr1,ptr2);
    return 0;
}

运行结果如下:

因为inet_ntoa把结果放到自己内部的一个静态存储区，这样第二次调用时的结果会覆盖掉上一次的结果。

思考: 如果有多个线程调用 inet_ntoa，是否会出现异常情况呢?
在APUE中, 明确提出inet_ntoa不是线程安全的函数。
但是在centos7上测试，并没有出现问题，可能内部的实现加了互斥锁。
有兴趣可以在自己写程序验证一下在自己的机器上inet_ntoa是否会出现多线程的问题。
在多线程环境下，推荐使用inet_ntop，这个函数由调用者提供一个缓冲区保存结果，可以规避线程安全问题。

多线程调用inet_ntoa代码示例如下：

#include <stdio.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <pthread.h>
void *Func1(void *p)
{
  struct sockaddr_in *addr = (struct sockaddr_in *)p;
  while (1)
  {
    char *ptr = inet_ntoa(addr->sin_addr);
    printf("addr1: %s\n", ptr);
  }
  return NULL;
}
void *Func2(void *p)
{
  struct sockaddr_in *addr = (struct sockaddr_in *)p;
  while (1)
  {
    char *ptr = inet_ntoa(addr->sin_add);
    printf("addr2: %s\n", ptr);
  }
  return NULL;
}
int main()
{
  pthread_t tid1 = 0;
  struct sockaddr_in addr1;
  struct sockaddr_in addr2;
  addr1.sin_addr.s_addr = 0;
  addr2.sin_addr.s_addr = 0xffffffff;
  pthread_create(&tid1, NULL, Func1, &addr1);
  pthread_t tid2 = 0;
  pthread_create(&tid2, NULL, Func2, &addr2);
  pthread_join(tid1, NULL);
  pthread_join(tid2, NULL);
  return 0;
}

2-4. TCP socket API 详解

2-4-1. socket()

socket()打开一个网络通讯端口，如果成功的话，就像open()一样返回一个文件描述符。
应用程序可以像读写文件一样用read/write在网络上收发数据。
如果socket()调用出错则返回-1。
对于IPv4，family参数指定为AF_INET。
对于TCP协议，type参数指定为SOCK_STREAM，表示面向流的传输协议
protocol参数的介绍从略,指定为0即可。

2-4-2. bind()

服务器程序所监听的网络地址和端口号通常是固定不变的，客户端程序得知服务器程序的地址和端口号后就可以向服务器发起连接; 服务器需要调用bind绑定一个固定的网络地址和端口号。
bind()成功返回0，失败返回-1。
bind()的作用是将参数sockfd和myaddr绑定在一起，使sockfd这个用于网络通讯的文件描述符监听myaddr所描述的地址和端口号。
前面讲过，struct sockaddr *是一个通用指针类型，myaddr参数实际上可以接受多种协议的sockaddr结构体，而它们的长度各不相同，所以需要第三个参数addrlen指定结构体的长度。

我们的程序中对myaddr参数是这样初始化的：

servaddr.sin family=AF_INET;
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_addr.s_addr= htonl(INADDR_ANY);//INADDR_ANY是一个宏，系统随机分配端口号
servaddr.sin port=htons(SERV PORT);

2-4-3. listen()

listen()声明sockfd处于监听状态，并且最多允许有backlog个客户端处于连接等待状态，如果接收到更多的连接请求就忽略，这里设置不会太大(一般是5)，具体细节可以寻找其他文章深入研究。
listen()成功返回0，失败返回-1。

2-4-4. accept()

三次握手完成后，服务器调用accept()接受连接。
如果服务器调用accept()时还没有客户端的连接请求，就阻塞等待直到有客户端连接上来。
addr是一个输出型参数，accept()返回时传出客户端的地址和端口号。
如果给addr参数传NULL，表示不关心客户端的地址。
addrlen参数是一个传入传出参数(value-result argument)，传入的是调用者提供的，缓冲区addr的长度以避免缓冲区溢出问题，传出的是客户端地址结构体的实际长度(有可能没有占满调用者提供的缓冲区)。

2-4-5. connect()

客户端需要调用connect()连接服务器.
connect和bind的参数形式一致，区别在于bind的参数是自己的地址，而connect的参数是对方的地址。
connect()成功返回0，出错返回-1。

3. TCP协议通讯流程

下图是基于TCP协议的客户端/服务器程序的一般流程:

服务器初始化：

调用socket，创建文件描述符。
调用bind，将当前的文件描述符和ip/port绑定在一起; 如果这个端口已经被其他进程占用了，就会bind失败。
调用listen，声明当前这个文件描述符作为一个服务器的文件描述符，为后面的accept做好准备。
调用accecpt，并阻塞，等待客户端连接过来。

建立连接的过程：

调用socket，创建文件描述符。
调用connect，向服务器发起连接请求。
connect会发出SYN段并阻塞等待服务器应答。(第一次)
服务器收到客户端的SYN，会应答一个SYN-ACK段表示"同意建立连接"。 (第二次)
客户端收到SYN-ACK后会从connect()返回，同时应答一个ACK段。(第三次)

这个建立连接的过程，通常称为三次握手。

数据传输的过程：

建立连接后，TCP协议提供全双工的通信服务；所谓全双工的意思是，在同一条连接中，同一时刻，通信双方可以同时写数据；相对的概念叫做半双工，同一条连接在同一时刻，只能由一方来写数据。
服务器从accept()返回后立刻调用read()，读socket就像读管道一样，如果没有数据到达就阻塞等待。
这时客户端调用write()发送请求给服务器，服务器收到后从read()返回，对客户端的请求进行处理，在此期间客户端调用read()阻塞等待服务器的应答。
服务器调用write()将处理结果发回给客户端，再次调用read()阻塞等待下一条请求。
客户端收到后从read()返回，发送下一条请求，如此循环下去。

断开连接的过程: