• 全国 [切换]
  • 二维码
    展会之家

    手机WAP版

    手机也能找商机,信息同步6大终端平台!

    微信小程序

    微信公众号

    当前位置: 首页 » 行业新闻 » 热点新闻 » 正文

    为什么复制大文件时进度条在后半段突然加速?

    放大字体  缩小字体 发布日期:2025-04-01 13:00:56   浏览次数:2  发布人:16b5****  IP:124.223.189***  评论:0
    导读

    当你第一次打开一个10MB大小的PPT文件时,可能需要等待5秒钟,然而,第二次再打开同一个文件时几乎秒开,这是为什么呢?当你复制粘贴一个大文件时,进度条在开始时进展缓慢,但到了后半段突然加速。这又是为什么?操作系统是如何做到“越用越快”,“越用约顺手”的呢?实际上,这一切都归功于计算机中的一项关键技术——PageCache。存储介质的性能鸿沟计算机系统中,不同存储设备的速度差异巨大。机械硬盘与内存

    当你第一次打开一个10MB大小的PPT文件时,可能需要等待5秒钟,然而,第二次再打开同一个文件时几乎秒开,这是为什么呢?

    当你复制粘贴一个大文件时,进度条在开始时进展缓慢,但到了后半段突然加速。这又是为什么?

    操作系统是如何做到“越用越快”,“越用约顺手”的呢?实际上,这一切都归功于计算机中的一项关键技术——PageCache。

    存储介质的性能鸿沟

    计算机系统中,不同存储设备的速度差异巨大。机械硬盘与内存的读写速度能有百倍的差距(这里引用的数据相对较远,比较新的没找到):


    这种差距意味着,直接从磁盘读取数据会极大地影响系统的响应速度和用户体验,为了弥补这一鸿沟,操作系统引入了PageCache机制:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    道理和CPU和内存之间增加L1、L2、L3 cache一样,只不过L1、L2、L3 cache实现在硬件层面——CPU中,而pagecache实现在软件层面——操作系统中。

    什么是PageCache?

    PageCache由物理内存中的页面组成,这些页面的内容对应于磁盘上的物理块:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    物理内存中的页面当然主要用来装入运行的进程,剩下的空闲内存用来当做PageCache:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    因此pagecache的大小是动态的,它可以增长以占用任何空闲内存:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    也可以缩小以缓解内存压力:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    文件读取

    当一个进程发起read 系统调用时,内核会首先检查所需的数据是否在页面缓存中。如果在缓存中,内核可以跳过访问磁盘,直接从内存中读取数据,这称为缓存命中(cache hit):

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    如果数据不在pagecache中,称为缓存未命中(cache miss),此时内核必须发起磁盘I/O 操作,从磁盘读取数据。数据从磁盘读取后,内核将数据填充到页面缓存中,以便任何后续的读取操作都能直接从缓存中进行。

    并不是整个文件都需要被缓存,页面缓存可以将A文件完整缓存,而只缓存B文件的一个或两个页面,缓存什么取决于被访问的内容,假设某个文件有4页,但经常被使用的是第1号页,那么pagecache中可能就只有这一页:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    这解释了为什么第一次打开一个10MB大小的PPT文件时,可能需要等待5秒钟,然而,第二次再打开同一个文件时几乎秒开,因为第一次打开PPT后整体PPT是通过磁盘IO加载到内存的,而第二次访问PPT将命中pagecache,如果全部命令那么这将会纯内存操作,当然能做到秒开。

    文件写

    当一个进程通过write系统调用写入磁盘时,会发生什么呢?

    操作系统通常采用write-through策略,内核将进程的写操作直接写入pagecache而不会立刻同步更新磁盘,因此在这种策略下文件写也是纯内存操作,速度非常快,进程不会被阻塞:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    复制粘贴大文件时数据需从磁盘先加载到PageCache,受限于磁盘顺序读取速度进度条增长缓慢,此时复制速度取决于磁盘读取性能。当文件数据已完全加载到 PageCache 后,后续读取直接从内存完成。

    写数据时数据会暂存于内存,进度条反映的是写入PageCache的完成度,而非实际落盘进度,此时写速度从磁盘 I/O 提升到内存访问速度,进度条会突然加速。

    待更新到磁盘的页会被内核标记,然后内核周期性地将这些页面异步写回磁盘,将内存中的缓存与磁盘的数据进行同步:

    nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />

    当然,除了基本的读写流程外,PageCache还包含了一些关键机制来进一步优化性能。例如,预读(Read-ahead)技术能够预测性地加载后续的数据块,使得顺序读取大文件时效率更高。此外,为了管理有限的内存资源,PageCache采用了LRU(最近最少使用)算法来进行缓存替换决策。

    PageCache带来了显著的性能优势,尤其是在重复访问同一文件或顺序读取大文件时表现尤为突出。比如在编译代码、频繁读取配置文件、视频编辑及处理数据库日志等场景下,PageCache都能发挥重要作用。

    实验验证

    接下来在一台Linux机器上验证一下pagecache,首先创建一个大小为1G、内容为随机数的文件:

    dd if=/dev/urandom of=testfile bs=1M count=1024

    然后清空系统中所有的pagecache,可以使用这个命令:

    sync && echo 1 > /proc/sys/vm/drop_caches

    接着我们读取一下刚创建的这个文件,并统计完全读取整个文件需要的时间,由于在读取文件之前清空了所有pagecache,因此读取testfile文件时将触发磁盘IO:

    $ time cat testfile > /dev/null real 0m6.176s user 0m0.028s sys 0m0.731s

    这里输出的含义是:

    • •real (实际时间): 总共经过的时间,包括所有等待时间(如I/O等待)。

    • •user (用户CPU时间): 程序在用户模式下执行所花费的时间。

    • •sys (系统CPU时间): 程序在内核模式下执行所花费的时间。

    可以看到,读取这1个G的文件总耗时达到了6.1s左右,因为这涉及磁盘IO,因此读取速度缓慢,读完后这个文件将被放到pagecache,接着我们再读一次:

    $ time cat testfile > /dev/null real 0m0.309s user 0m0.011s sys 0m0.298s

    可以看到,这次读取文件只用了0.3s,相差了接近20倍,就是因为第二次读取几乎是纯内存操作。

    现在你应该明白pagecache的作用了吧。

    作者:岛主小风哥

    来源:码农的荒岛求生

    编辑:小咕咕

    转载内容仅代表作者观点

    不代表中科院物理所立场

    如需转载请联系原公众号

    1.2.

    3.

    4.

    5.

    6.

    7.

    8.

    9.

    10.


     
    (文/匿名(若涉版权问题请联系我们核实发布者) / 非法信息举报 / 删稿)
    打赏
    免责声明
    • 
    本文为昵称为 16b5**** 发布的作品,本文仅代表发布者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,发布者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们154208694@qq.com删除,我们积极做(权利人与发布者之间的调停者)中立处理。郑重说明:不 违规举报 视为放弃权利,本站不承担任何责任!
    有个别老鼠屎以营利为目的遇到侵权情况但不联系本站或自己发布违规信息然后直接向本站索取高额赔偿等情况,本站一概以诈骗报警处理,曾经有1例诈骗分子已经绳之以法,本站本着公平公正的原则,若遇 违规举报 我们100%在3个工作日内处理!
    0相关评论
     

    (c)2008-现在 All Rights Reserved.