第三章 第一节JavaNIO编程
1. Java NIO基本介绍
- Java NIO(Non-blocking IO)指JDK提供新的API.从JDK1.4开始，java提供了一系列改进IO的新特性，被统称为NIO,是同步非阻塞的。
- NIO相关类和接口都放在java.nio包及其子包下面，并且对java.io包中很多类进行了改写。
- NIO有三大核心部分：Channel(通道)， Buffer（缓冲区）， Selector(选择器)
- NIO是面向缓冲区的。数据读取到一个稍后处理的缓冲区中去，需要的时候可在缓冲区中前后移动，这就增加了处理过程中的灵活性，使用他可以提供非阻塞性的高伸缩性网络。
- Java NIO的非阻塞模式，使一个线程从某通道发送请求或者读取数据，但是它仅能得到目前可用的数据，如果么有数据可读，就什么也不用处理，而不是保持线程阻塞，该线程可以做其他的事情。
- NIO可以一个线程处理多个操作。1000个请求过来，分配50-100个线程处理就够了，不需要像NIO那样，非得分配1000个。
- HTTP2.0 使用了多路复用技术，一个连接并发处理多个请求。
2. NIO和BIO的比较
- BIO以流的方式处理数据，NIO以块（缓存区）的方式处理数据，块的效率高
- BIO是阻塞的，NIO是非阻塞的
- BIO是基于字节流和字符流进行操作。而NIO是基于Channel和Buffer进行操作。数据总是从通道读取到缓存区。或者从缓存区写入到通道中。Selector用于监听多个通道的事件（连接请求，数据到达等），因此使用单个线程就可以监听多个客户端通道。
3. NIO三大核心原理示意图
一张图描述NIO中selector和channel和buffer的关系。
说明：
- 每个channel都会对应一个buffer
- 一个线程对应一个selector,对应多个channel(连接)
- 该图反应了有三个channel注册到selector
- 线程切到哪个channel是事件event决定的。
- selector根据不同的事件在通道上切换
- channel是双向的，可以返回底层操作系统的情况，比如linux,底层的os通道就是双向的。
- buffer就是一个内存块，底层是一个数组。
- 数据的读写是通过buffer。读写切换通过flip.
4. 缓冲区（Buffer）
4.1 基本介绍
缓存区就是一个可以读写数据的内存块，理解为一个容器对象，对象提供了一组方法，可以方便操作内存块，能够跟踪记录缓存区的状态变化情况。channel提供了从文件，网络读取数据的渠道，但是读取或者写入的数据都必须经过buffer.
4.2 buffer类和其子类
5. 通道（Channel）
5.1 基本介绍
- 通道类似于流，有些区别如下：
- 通道可以同时进行读写，而流只能读或者只能写
- 通道可以实现异步读写数据
- 通道可以从缓冲读数据，也可以写数据到缓冲:
- BIO 中的 stream 是单向的，例如 FileInputStream 对象只能进行读取数据的操作，而 NIO 中的通道(Channel)是双向的，可以读操作，也可以写操作。
- 常用的 Channel 类有：FileChannel、DatagramChannel、ServerSocketChannel 和 SocketChannel。【ServerSocketChanne 类似 ServerSocket , SocketChannel 类似 Socket】
- FileChannel 用于文件的数据读写，DatagramChannel 用于 UDP 的数据读写，ServerSocketChannel 和 SocketChannel 用于 TCP 的数据读写。
ByteBuffer我们用的比较多：
5.2 FileChannel
FileChannel主要用来对本地文件进行 IO 操作，常见的方法有
- public int read(ByteBuffer dst) ，从通道读取数据并放到缓冲区中**(对channel读)**
- public int write(ByteBuffer src) ，把缓冲区的数据写到通道中 （对channel写）
- public long transferFrom(ReadableByteChannel src, long position, long count)，从目标通道中复制数据到当前通道
- public long transferTo(long position, long count, WritableByteChannel target)，把数据从当前通道复制给目标通道
5.2.1 实例1-本地文件写数据
使用前面学习后的ByteBuffer(缓冲) 和 FileChannel(通道)， 将 “hello,尚硅谷” 写入到file01.txt 中
流程：
- ByteBuffer对象中写入”hello,尚硅谷”。
- FileOutputStream关联文件夹，并获取channel对象
- 将bytebuffer写入到channel中（写入channel就自动写入到文件了）
注：Channel可以看做是流包装的对象，见下图。
代码：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19public class NIOFileChannel01 {
public static void main(String[] args) throws Exception{
String str = "hello,尚硅谷";
//创建一个输出流->channel
FileOutputStream fileOutputStream = new FileOutputStream("d:\\file01.txt");
//通过 fileOutputStream 获取 对应的 FileChannel
//这个 fileChannel 真实 类型是 FileChannelImpl
FileChannel fileChannel = fileOutputStream.getChannel();
//创建一个缓冲区 ByteBuffer
ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
//将 str 放入 byteBuffer
byteBuffer.put(str.getBytes());
//对byteBuffer 进行flip
byteBuffer.flip();
//将byteBuffer 数据写入到 fileChannel
fileChannel.write(byteBuffer);//写入channel就自动就写入文件里了。
fileOutputStream.close();
}
}
5.2.2 实例2-本地文件读数据
使用前面学习后的ByteBuffer(缓冲) 和 FileChannel(通道)， 将 file01.txt 中的数据读入到程序，并显示在控制台屏幕
流程：
- FileInputStream关联文件夹，并获取到channel
- 定义bytebuffer用来读取channel中的值，放到bytebuffer中
- 通过bytebuffer转换为string输出
代码：1
2
3
4
5
6
7
8
9
10
11
12
13
14public static void main(String[] args) throws Exception {
//创建文件的输入流
File file = new File("d:\\file01.txt");
FileInputStream fileInputStream = new FileInputStream(file);
//通过fileInputStream 获取对应的FileChannel -> 实际类型 FileChannelImpl
FileChannel fileChannel = fileInputStream.getChannel();
//创建缓冲区
ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());
//将 通道的数据读入到Buffer
fileChannel.read(byteBuffer);
//将byteBuffer 的 字节数据 转成String
System.out.println(new String(byteBuffer.array()));
fileInputStream.close();
}
5.2.3 实例3-使用一个Buffer完成文件读取
使用 FileChannel(通道) 和 方法 read , write，完成文件的拷贝。将file1.txt拷贝file2.txt
流程：
- 通过FileInputStream关联file1.txt,并获取channel1
- 通过FileOutputStream关联file2.txt，并获取channel2
- 循环
- 读取前清空bytebuffer
- 读取channel1的内容，读取大小为bytebuffer申请的大小：channel1.read(bytebuffer)
- bytebuffer.flip() 从写模式转化到读模式
- 将读取到bytebuffer中的内容写入到channel2中去：channel2.write(bytebuffer)
代码：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30public static void main(String[] args) throws Exception {
FileInputStream fileInputStream = new FileInputStream("1.txt");
FileChannel fileChannel01 = fileInputStream.getChannel();
FileOutputStream fileOutputStream = new FileOutputStream("2.txt");
FileChannel fileChannel02 = fileOutputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocate(512);
while (true) { //循环读取
//这里有一个重要的操作，一定不要忘了
/*
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
*/
byteBuffer.clear(); //清空buffer因为之前是读状态，postion = limit。再写会导致read = 0。因此用clear重置position
int read = fileChannel01.read(byteBuffer);
System.out.println("read =" + read);
if(read == -1) { //表示读完
break;
}
//将buffer 中的数据写入到 fileChannel02 -- 2.txt
byteBuffer.flip();
fileChannel02.write(byteBuffer);
}
//关闭相关的流
fileInputStream.close();
fileOutputStream.close();
}
5.2.4 实例4-拷贝文件transferFrom 方法
使用 FileChannel(通道) 和 方法 transferFrom ，完成文件的拷贝。a.jpg拷贝到b.jpg
流程：
- FileInputStream关联a.jpg,获取sourceChannel
- FileOutputStream关联b.jpg,获取DesChannel
- DesChannel.transferFrom(sourceChannel, 0, sourceChannel.size()) 完成拷贝
代码：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15public static void main(String[] args) throws Exception {
//创建相关流
FileInputStream fileInputStream = new FileInputStream("d:\\a.jpg");
FileOutputStream fileOutputStream = new FileOutputStream("d:\\a2.jpg");
//获取各个流对应的filechannel
FileChannel sourceCh = fileInputStream.getChannel();
FileChannel destCh = fileOutputStream.getChannel();
//使用transferForm完成拷贝
destCh.transferFrom(sourceCh,0,sourceCh.size());
//关闭相关通道和流
sourceCh.close();
destCh.close();
fileInputStream.close();
fileOutputStream.close();
}
5.3 关于Buffer 和 Channel的注意事项和细节
5.3.1 bytebuffer支持类型化的put和get，put放入的是什么数据类型，get就应该使用相应的数据读出。
1 | //创建一个Buffer |
5.3.2 可以将只读buffer抓换为只读buffer
1 | public static void main(String[] args) { |
5.3.3 NIO提供了MappedByteBuffer,让文件直接在内存（jvm堆外内存）中进行修改，而如何同步到文件由NIO来完成。
1 | RandomAccessFile randomAccessFile = new RandomAccessFile("1.txt", "rw");// 支持从任意位置读取文件 |
5.3.4 NIO 还支持 通过多个Buffer (即 Buffer 数组) 完成读写操作，即 Scattering 和 Gathering
1 | //使用 ServerSocketChannel 和 SocketChannel 网络 |
6. 选择器（selector）
6.1 基本介绍
- Java的NIO可以用非阻塞的IO方式。可以用一个线程处理多个客户端的请求，就会用到selector.
- selector检测到注册的多个通道是否有事件发生（注意：多个channel以事件的形式注册到selector），如果有事件发生，获取对应的事件进行处理。这样一个线程通过一个selector管理多个通道（多个连接请求）
- 只有在连接通道有读写事件发生的时候才会读写，大大减少了系统开销。并且不需要为每一个连接创建一个线程，不用去维护多个线程。
- 避免了多个线程上下文切换导致的开销。
6.2 示意图和特点说明
说明：
- netty的IO线程聚合了selector，可以同时处理上千个客户端连接。
- 当线程从客户端socketchannel进行读写数据时，如果没有数据可用，该线程可以进行其他任务
- 线程将非阻塞的io的空闲时间用于其他通道执行io操作，所以单独的线程可以处理多个客户端
- 读写都是非阻塞的，充分提高了io线程的运行效率
- 一个io线程处理多个客户端的请求。从根本上解决了传统阻塞型io一线程一连接模型，架构的性能，可靠性得到了极大提升。
6.3 selector类相关方法
selector是一个抽象类
1 | public abstract class Selector implements Closeable { |
6.4 NIO非阻塞原理分析（加入了selector细致分析）
上图的说明：
以selector为中心：
- serverSocketChannel注册到selector上，事件为accept，表示监听客户端连接
- 客户端连接的时候selector 会监听，通过selectKeys方法得到所有的selectKey。判断selectKey是否isAcceptable,如果是就获取客户端的socketChannel.
- 获取到客户端的channel后同样注册到selector上，注册操作师读操作。如果selectKey是isReadable，就获取socketChannel进行业务处理
6.5 NIO 非阻塞 网络编程快速入门
6.5.1 案例要求
案例要求:
编写一个 NIO 入门案例，实现服务器端和客户端之间的数据简单通讯（非阻塞）
目的：理解NIO非阻塞网络编程机制
看老师代码演示
6.5.2 流程
服务端：
- 实例化serverSocketChannel并绑定端口6666, 设置为非阻塞。实例化selector对象。将serverSocketChannel注册到selector中，注册事件为OP_ACCEPT
- 循环等待客户端连接
- selector的select（1s）方法看有无事件发生。无事件发生一直循环
- 如果有事件发生，获取selectedKeys，遍历selectedKey。
- 判断是否是Acceptable事件。如果是，serverSocektChannel accept到一个客户端的socketChannel。将其注册到selector中，注册事件为OP_READABLE.
- 因为selector新注册了客户端读事件，要新增判断条件，如果selectKey是isReadable通过key获取到channe进行读取操作。
- 循环过程中记得移除遍历过的selectedKey
客户端：
- 实例化socketChannel，连接服务器
- 如果连接成功了，就往socetChannel写入数据（相当于发送了数据）
6.5.3 代码
服务端代码：
1 | public class NIOServer { |
客户端代码：
1 | public class NIOClient { |
6.6 案例中相关类说明
6.6.1 SelectionKey
表示selector和网络通道的注册关系。通过key可以获取到channel.
注册关系分为下面四种：
int OP_ACCEPT：有新的网络连接可以 accept，值为 16
int OP_CONNECT：代表连接已经建立，值为 8
int OP_READ：代表读操作，值为 1
int OP_WRITE：代表写操作，值为 4
源码中：
1 | public static final int OP_READ = 1 << 0; |
SelectionKey相关方法
1 | public abstract class SelectionKey { |
6.6.2 ServerSocketChannel
在服务端监听新的客户端连接
相关方法：
1 | public abstract class ServerSocketChannel extends AbstractSelectableChannel implements NetworkChannel{ |
6.6.2 SocketChannel
网络IOchannel，负责进行读写操作。可以将数据读或写入通道。
1 | public abstract class SocketChannel extends AbstractSelectableChannel implements ByteChannel, ScatteringByteChannel, GatheringByteChannel, NetworkChannel{ |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 坚韧的长线「串联」散落的珍珠！
相关推荐
评论
