纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

Java page cache回写机制 Java page cache回写机制案例详解

JAVA探索   2021-09-11 我要评论
想了解Java page cache回写机制案例详解的相关内容吗JAVA探索在本文为您仔细讲解Java page cache回写机制的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Java,page,cache回写,Java,page,cache回写机制下面大家一起来学习吧

JAVA写文件的基本流程

在不使用堆外内存的情况下java在写文件时先将字节写入JVM的堆内内存中;然后调用jvm的写文件函数将字节写入jvm的堆外内存中jvm再调用系统内核的写文件函数将字节写入内核的heap中;然后内核将字节写入page cache中将page cache状态改为dirty根据page cache的回写机制在合适的时机将字节写入磁盘

page cache 自动回写机制

page cache的回写时机由系统配置/etc/sysctl.conf 中的几个参数决定分别是:

  • dirty_background_bytes

默认值:0  表示不启用

当脏页所占的内存大小超过dirty_background_bytes时内核的pdflush线程会从后台开始回写脏页不会影响应用程序的后序IO操作

  • dirty_background_ratio   

默认值 :10

参数意义:当脏页所占的百分比(相对于所有可用内存即空闲内存页+可回收内存页)达到dirty_background_ratio时内核的pdflush线程从后台开始回写脏页不会影响应用程序的后序IO操作增大会使用更多内存用于缓冲可以提高系统的读写性能当需要持续、恒定的写入场合时应该降低该数值

注意:dirty_background_bytes参数和dirty_background_ratio参数是相对的只能指定其中一个当其中一个参数文件被写入时会立即开始计算脏页限制并且会将另一个参数的值清零

  • dirty_bytes

默认值:0  表示不启用

当脏页所占的内存数量达到dirty_bytes时内核将脏页中的数据刷入磁盘并阻塞后序的IO操作

 注意:dirty_bytes参数和dirty_ratio参数是相对的只能指定其中一个当其中一个参数文件被写入时会立即开始计算脏页限制并且会将另一个参数的值清零

  • dirty_ratio

默认值:20

参数意义:当脏页所占的百分比(相对于所有可用内存即空闲内存页+可回收内存页)达到dirty_ratio时内核将脏页中的数据刷入磁盘并阻塞后序的IO操作

  • dirty_background_ratio与dirty_ratio比较

dirty_ratio是属于强制性的回写,也就是说当一个内存区的脏页达到这个比例时就会触发内核内存管理把脏页强制回写的流程,但dirty_background_ratio是属于软性的行为,因为这是透过pdflush内核线程进行的流程,可以在后台执行对这些脏页面回写,并不会因此影响到当下正在执行中的过程 所以看Linux内核中预设的比例是脏页达到5%的比例时就会先透过pdflush内核线程进行回写,当脏页达到10%比例时,就等于是一个很严重的状况,此时就会在平衡脏页面流程中触发强制的回写,让系统可以回复到原本预设合理的状态

  • dirty_expire_centisecs

默认值:3000

参数意义:用来指定脏数据能存活的时间指定的值是按100算做一秒计算只有当超过这个值后才会被内核进程pdflush写到磁盘

  • dirty_writeback_centisecs

默认值:500

参数意义:pdflush回写的频率每次的唤醒的间隔是以数字100算做1秒如果将这项值设为500就相当5秒唤醒pdflush进程如果将这项值设为0就表示完全禁止定期回写数据

  • drop_caches

向/proc/sys/vm/drop_caches文件中写入数值可以使内核释放page cachedentries和inodes缓存所占的内存

  只释放pagecache:

echo 1 > /proc/sys/vm/drop_caches

  只释放dentries和inodes缓存:

echo 2 > /proc/sys/vm/drop_caches

  释放pagecache、dentries和inodes缓存:

echo 3 > /proc/sys/vm/drop_caches

  这个操作不是破坏性操作脏的对象(比如脏页)不会被释放因此要首先运行sync命令

注:这个只能是手动释放

测试

采用javaBIO不断向一个文件写入数据通过pcstat观察page cache的大小文件初始状态:

[root@node01 ~]# ll test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 19:58 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

dirty_background_bytes测试

将脏页阈值设置为10MB脏页存活时间设置为5000s当脏页大小不足10MB时绝对不会被刷入磁盘当脏页大小超过10MB,但是存活时间不超过5000s时满足dirty_background_bytes的条件被刷入磁盘

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试设为10485760  10mb 
vm.dirty_background_bytes = 10485760
#便于测试设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试设为500000  5000s
vm.dirty_writeback_centisecs = 500000
#便于测试设为30000 5min
vm.dirty_expire_centisecs = 30000
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过10mb前停止写入关闭电源重启设备

关机前page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1660           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源重启(注意这里不能按正常流程重启电源)

重启后page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失由于没有达到后台自动刷入磁盘的阈值(dirty_background_bytes)page cache内的数据丢失

当page cache大小超过10mb后停止写入关闭电源重启设备

关机前page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 37M Aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 37985420       | 9274       | 9274      | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源重启(注意这里不能按正常流程重启电源)

重启后page cache状态及文件大小

[root@node01 ~]#  ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 30M Aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 31035392       | 7577       | 0         | 000.000 |
+----------+----------------+------------+-----------+---------+

之前写入的数据部分丢失每次达到后台自动刷入磁盘的阈值(dirty_background_bytes)时内核都会进行一次刷入操作而没有达到阈值的部分就会丢失关机前37M关机后30M自动刷入阈值设置为10M37-10=7M这7M数据没有被刷入磁盘重启后丢失

dirty_expire_centisecs测试

将脏页阈值设置为100MB检测频率设置为1s脏页存活时间设置为15s这样可以达到这样一个测试目的当我的page cache大小未到达100MB时由于超过了存活时间15s,检测的又很及时几乎可以被全部刷入磁盘为什么说几乎呢?因为不管怎么样靠检测频率自动刷入机制终究会丢失检测真空期的数据脏页在每次刷入磁盘后重写前都是干净的状态

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试设为104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于测试设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试设为1500  15s
vm.dirty_writeback_centisecs = 1500
#便于测试设为100 1s
vm.dirty_expire_centisecs = 100
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过100mb前停止写入,未超过15s关闭电源重启设备

关机前page cache状态及文件大小

-rw-r--r--. 1 root root 150 Aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 150            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源重启(注意这里不能按正常流程重启电源)

重启后page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 Aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失由于没有超过脏页存活时间page cache内的数据丢失

当page cache存活超过15s后关闭电源重启设备

关机前page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源重启(注意这里不能按正常流程重启电源)

重启后page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7K Aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+
 

超过15s且被检测到的数据全部保留

dirty_writeback_centisecs测试

将脏页阈值设置为100MB检测频率设置为15s脏页存活时间设置为1s这样可以达到这样一个测试目的当我的page cache大小未到达100MB时且超过了存活时间1s,由于检测的不及时导致超过存活时间的数据还是没有被刷入磁盘

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试设为104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于测试设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试设为100  1s
vm.dirty_writeback_centisecs = 100
#便于测试设为1500 15s
vm.dirty_expire_centisecs = 1500
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过100mb前停止写入,未超过15s关闭电源重启设备

关机前page cache状态及文件大小

[root@node01 ~]# ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 550 Aug  1 21:02 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 550            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源重启(注意这里不能按正常流程重启电源)

重启后page cache状态及文件大小

[root@node01 ~]#  ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 0 Aug  1 21:04 test.txt
+----------+----------------+------------+-----------+---------+
| Name     | Size (bytes)   | Pages      | Cached    | Percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     NaN |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失虽然超过脏页存活时间但是没有到检测时间page cache内的数据丢失


相关文章

猜您喜欢

  • 对象创建与OOP-Klass模型 JVM中对象的创建与OOP-Klass模型

    想了解JVM中对象的创建与OOP-Klass模型的相关内容吗Rainyn在本文为您仔细讲解对象创建与OOP-Klass模型的相关知识和一些Code实例欢迎阅读和指正我们先划重点:JVM对象的创建,OOP-Klass模型,JVM,OOP-Klass下面大家一起来学习吧..
  • python兼容VBA的用法 python兼容VBA的用法详解

    想了解python兼容VBA的用法详解的相关内容吗xue_11在本文为您仔细讲解python兼容VBA的用法的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Python兼容VBA,Python兼容VBA用法下面大家一起来学习吧..

网友评论

Copyright 2020 www.sopisoft.net 【绿软下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式