1.Netty的特点

Netty是一个高性能, 异步事件驱动的网络编程框架, 基于Nio, 提供了简单易用的Api, 用于构建各种类型的网络应用程序。

高性能: Netty使用异步I/O, 非阻塞处理方式, 可处理大量并发连接, 提高系统性能。
易于使用: Netty提供了高度抽象的Api, 可以快速构建各种类型的网络应用程序, web服务, 消息推送, 实时游戏
灵活可扩展: Netty提供了许多可插拔的组件, 可以自由组合。

2.Netty应用场景

服务器间高性能通信: RPC, HTTP, WebSocket协议的实现
分布式系统的消息传输: Kafka等MQ
游戏服务器: 支持高并发的游戏服务端开发
实时流数据的处理: 音频处理, 实时数据传输

阿里分布式服务框架 Dubbo, RocketMQ使用 Netty 作为通讯的基础

3. Netty核心组件

4.Netty的线程模型

Netty的线程模型是基于事件驱动的Reactor模型, 它使用少量的线程来处理大量的连接和数据传输, 以提高性能和吞吐量。

在Netty中, 每个连接都分配了一个单独的EventLoop线程, 该线程负责处理所有与该连接相关的事件, 包括数据传输、握手和关闭等。

多个连接可以共享同一个EventLoop线程, 从而减少线程的创建和销毁开销，提高资源利用率。

Netty提供了一些线程模型和线程池配置选项, 可以使用不同的EventLoopGroup实现不同的线程模型, 如单线程模型、多线程模型和主从线程模型等。

还可以设置不同的线程池参数, 如线程数、任务队列大小、线程优先级等, 以调整线程池的工作负载和性能表现。

还可以通过优化网络协议、数据结构、业务逻辑等方面来提高Netty的性能。例如可以使用零拷贝技术避免数据拷贝, 使用内存池减少内存分配和回收的开销, 避免使用阻塞IO和同步操作。

5. EventloopGroup和EventLoop

EventLoopGroup和EventLoop是 Netty 中两个重要的组件。EventLoopGroup 表示一组EventLoop, 它们共同负责处理客户端连接的I/O 事件。

EventLoop 是 Netty 中的一个核心组件, 代表不断循环的 I/O 线程。负责处理一个或多个 Channel 的 I/O 操作, 比如数据的读取, 写入和状态的更改。一个EventLoop可以处理多个 Channel, 一个Channel只会被一个 EventLoop 所处理。

一个应用程序通常会创建两个 EventLoopGroup, 一个用于处理客户端连接, 一个用于处理服务端连接, 当客户端连接到服务器时, 服务端的EventLoopGroup 会将连接分配给一个EventLoop 处理, 以保证所有IO操作得到及时的处理。

6.Netty 的零拷贝

Netty 通过使用 Direct Memory 和 FileChannel 的方式实现零拷贝。

当应用程序将数据写入 Channel 时, Netty 会将数据直接写入到内存缓冲区中, 然后通过操作系统提供的 sendfile 或者 writev 等零拷贝技术, 将数据从内存缓冲区中传输到网络中, 避免中间的多次拷贝操作。当应用程序从 Channel 中读取数据时, Netty 也会将数据直接读取到内存缓冲区中, 然后通过零拷贝技术将数据从内存缓冲区传输到用户空间。

通过零拷贝技术, Netty 可以避免在数据传输过程中对数据进行多次的拷贝操作, 提高了数据传输的效率。

7.Netty 长连接和心跳机制

长连接可以避免频繁建立和关闭连接的开销, Netty 提供了一种长连接的实现方式, Channel的keepalive选项保持连接的状态, 启动Keepalive选项后, 客户端和服务器之间的连接将会自动保持一段时间, 如果在这段时间内没有数据交换, 关闭连接。

Netty 还提供了一种心跳机制来保持连接的状态, 心跳机制可以通过定期向对方发送心跳消息去检测连接是否正常。Netty 提供了一个 IdleStateHandler 类, 实现心态机制, IdleStateHandler 可以设置多个超时时间, 当连接空闲时间超过设定的时间时, 触发事件, 在事件处理方法中进行相应的处理, 比如发送心跳消息。

通过使用长连接和心跳机制, 保证客户端与服务器之间的连接处于正常的状态, 提高了数据传输的效率和性能。

8.Netty 服务端和客户端的启动过程

1. 创建 EventLoopGroup 对象, 用于管理和调度事件的处理。通过 EventLoopGroup 创建多个 EventLoop, 并将每个 EventLoop 与一个线程绑定。服务端, 一般会创建两个 EventLoopGroup 对象, 用于接收客户端的连接请求和处理客户端的数据。
2. 创建 ServerBootstrap 或 Bootstrap 对象。ServerBootstrap 和 Bootstrap 是 Netty 提供的服务端和客户端启动器, 它们封装了启动过程中的各种参数和配置, 在创建 ServerBootstrap 或 Bootstrap 对象时, 需要指定相应的 EventLoopGroup 对象, 并进行一些基本的配置, 比如传输协议、端口号、处理器。
3. 配置Channel的参数, 比如传输协议、缓冲区大小、心跳检测等。
4. 绑定 ChannelHandler, ChannelHandler 是用于处理事件的组件, 它可以处理客户端的连接请求、接收客户端的数据、发送数据给客户端等。需要将 ChannelHandler 绑定到相应的 Channel 上。
5. 启动服务端或客户端, 进行一些基本的初始化, 比如注册监听器, 绑定端口。

9.Netty 的 Channel 和 EventLoop

Channel代表一个开放的网络连接, 可以用来读取和写入数据, EventLoop则代表一个执行任务的线程, 负责处理Channel上所有的事件和操作。

每个Channel都与一个EventLoop关联, 而一个EventLoop可以关联多个Channel。当一个Channel 有事件发生时, 比如数据读写, 会将事件提交给关联的EventLoop 处理。EventLoop会将该事件加入到它自己的任务队列中, 顺序处理队列的任务。

一个EventLoop实例可能会被多个Channel所共享, 因此它需要能够处理多个Channel上的事件, 并确保在处理每个Channel的事件时不会被阻塞。为此, Netty 采用了事件循环模型, 通过异步IO和事件驱动方式, 实现了高效, 可扩展的网络编程。

10.Netty 的 ChannelPipeline

Netty中, 每个Channel都有一个与之关联的ChannelPipeline, 用于处理该Channel上的事件和请求。ChannelPipeline是一种基于事件驱动的处理机制, 它由多个处理器（Handler）组成, 每个处理器负责处理一个或多个事件类型, 将事件转换为下一个处理器所需的数据格式。

当一个事件被触发时, 从第一个处理器 InboundHandler 开始流经所有的处理器, 直到到达最后一个处理器或者被中途拦截, 通过抛出异常或调用ChannelHandlerContext.fireXXX()方法实现。

1. 入站（Inbound）事件：由Channel接收到的事件，例如读取到新的数据、连接建立完成等等。入站事件将从ChannelPipeline的第一个InboundHandler开始流动，直到最后一个InboundHandler。
2. 出站（Outbound）事件：由Channel发送出去的事件，例如向对端发送数据、关闭连接等等。出站事件将从ChannelPipeline的最后一个OutboundHandler开始流动，直到第一个OutboundHandler。
3. ChannelHandlerContext：表示处理器和ChannelPipeline之间的关联关系。每个ChannelHandler都有一个ChannelHandlerContext，通过该对象可以实现在ChannelPipeline中的事件流中向前或向后传递事件，也可以通过该对象访问Channel、ChannelPipeline和其他ChannelHandler等。

通过使用ChannelPipeline，Netty实现了高度可配置和可扩展的网络通信模型，使得开发人员可以根据自己的需求选择和组合不同的处理器，以构建出高效、稳定、安全的网络通信系统。

11.Netty 中的 ByteBuf

Netty 的 ByteBuf 是一个可扩展的字节容器

容量可扩展：ByteBuf的容量可以动态扩展，而 ByteBuffer 的容量是固定的。
内存分配：ByteBuf 内部采用了内存池的方式，可以有效地减少内存分配和释放的开销。
读写操作：ByteBuf 提供了多个读写指针，可以方便地读写字节数据。
零拷贝：ByteBuf 支持零拷贝技术，可以减少数据复制的次数。

12.Netty 高性能表现

• IO 线程模型: 通过多线程Reactor反应器模式, 在应用层实现异步非阻塞（异步事件驱动）架构, 用最少的资源做更多的事。
• 内存零拷贝: 尽量减少不必要的内存拷贝, 实现了高效的传输。
• 内存池设计: 申请的内存可以重用, 指的是直接内存, PooledByteBufAllocator
• 对象池设计: Recycler, Java对象可以重用, 指Minior GC非常频繁的对象, 如ByteBuffer。对象池使用无锁架构, 和FastThreadLocal
• mpsc无锁编程: 串形化处理读写, 避免使用锁带来的性能开销。
• 高性能序列化协议: 支持 protobuf 等高性能序列化协议。

13.Netty 和 Tomcat 的区别

1. 作用不同: Tomcat 是 Servlet 容器, 可以作为web 服务器, 而Netty 是异步事件驱动的网络应用程序框架和工具用于简化网络编程, 例如TCP和UDP套接字服务器。
2. 协议不同: Tomcat 是基于 http 协议的 Web 服务器, 而 Netty 能通过编程自定义各种协议, 因为 Netty 本身自己能编码/解码字节流, 所有 Netty 可以实现: HTTP 服务器、FTP 服务器、UDP 服务器、RPC 服务器、WebSocket 服务器、Redis 的 Proxy 服务器、MySQL 的 Proxy 服务器等等。

14.I/O模型

1. 阻塞I/O: 传统阻塞型I/O(BIO)
   

2. I/O复用模型
   

3. Netty的非阻塞I/O的实现关键是基于I/O复用模型
   

15.TCP 粘包/拆包的原因及解决方法

TCP是以流的方式来处理数据

应用层协议, 比如HTTP协议、DNS协议、FTP协议、POP3协议等。
传输层包含两个协议, TCP和UDP, 指定端口号。
网络层包括ARP协议、IP协议、ICMP协议、IGMP协议等等。
以太网, 每个以太网帧最小64字节, 最大为1500字节。

16.序列化协议

序列化（编码）是将对象序列化为二进制形式（字节数组）, 主要用于网络传输、数据持久化等, 而反序列化（解码）则是将从网络、磁盘等读取的字节数组还原成原始对象, 主要用于网络传输对象的解码, 以便完成远程调用。

影响序列化性能的因素: 序列化后的码流大小（网络带宽的占用）、序列化的性能（CPU资源占用）、是否支持跨语言（异构系统的对接和开发语言切换）。

Java默认提供的序列化, 无法跨语言, 序列化后的码流比较大, 序列化性能差

1. XML: 序列化数据只包含数据本身以及类的结构, 不包括公共属性和字段, 不可以序列化方法, 文件大, 格式复杂, 传输占带宽。
2. JSON: 是一种轻量级的数据交换格式。
3. FastJson: 采用一种“假定有序快速匹配”的算法。
4. Thrift: 不仅是序列化协议, 还是RPC框架。
5. Avro: Hadoop的一个子项目, 解决了JSON的冗长和没有IDL的问题。
6. ProtoBuf: 将数据结构以.proto文件进行描述, 通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。
   序列化后码流小, 性能高, 结构化数据存储格式 XML JSON, 通过标识字段的顺序, 实现协议的向前兼容, 结构化的文档更容易管理和维护。
7. ProtoStuff: 基于protobuf协议, 不需要配置proto文件, 直接导包即可。
8. Jboss marshaling: 可以直接序列化java类, 无需实现java.io.Serializable接口
9. Message pack: 一个高效的二进制序列化格式
10. Hessian: 采用二进制协议的轻量级remoting onhttp工具
11. Kryo: 基于protobuf协议, 只支持java语言, 需要注册（Registration）然后序列化和反序列化。