Linux 中内存缓冲区和缓存的区别

free 的输出包含物理内存 mem 和交换分区的具体用法，如总内存、已用内存、缓存、可用内存等。 其中 cache 是缓冲区和缓存的总和。

buffer 和 cache 的区别在于：

简单来说，缓冲区是磁盘数据的缓存，而缓存是文件数据的缓存，用于读取和写入请求。

缓冲区和缓存缓存分别缓存磁盘和文件系统的读取和写入数据。

磁盘是一种块设备，可以划分为不同的分区; 在分区上创建一个文件系统，并将其挂载到可以读取和写入文件的目录中。

其实在Linux中，“一切都是文件”，而文中提到的“文件”是普通文件，磁盘是块设备文件。

在读取和写入公共文件时，它们会经过文件系统，文件系统负责与磁盘进行交互。 在读写磁盘或分区时，会跳过文件系统，这称为“裸IO”。 这两种读写方法使用的缓存是不同的，这就是本文提到的缓存和缓冲区的区别。

两者都是RAM中的数据。 简单来说，缓冲区即将写入磁盘，缓存是从磁盘读取的。

缓存是保存读取的数据，如果在重新读取时命中（找到它需要的数据），则不要读取硬盘，如果它没有命中读取的硬盘。 数据根据读取频率进行组织，将最常阅读的内容放在最容易找到的位置，不再读取的内容会不断排名靠后，直到它被删除。

缓存实际上不是缓冲文件，而是缓冲块，它们是磁盘 IO 操作的最小单位（在 Linux 中，它们通常为 1kb）。 这样，目录、超级块、其他文件系统笔记本数据、非文件系统磁盘数据都可以被缓冲。

如果缓存的大小是固定的，那么缓存太大就不是一个好主意，因为它会使可用内存太小而无法进行交换操作（这也很慢）。 为了最有效地利用实际内存，Linux 会自动使用所有可用内存作为缓冲区，当程序需要更多内存时，它会自动减小缓冲区的大小。

缓冲区基于磁盘读写设计，集中分散的写入操作，减少磁盘碎片和硬盘的重复搜索，从而提高系统性能。 Linux 有一个守护程序，可以定期清空缓冲区内容（即写入磁盘），也可以通过 sync 命令手动清除。 下面是一个示例：

我这里有一个ext2 USB闪存驱动器，里面有一个3m ***，但是USB闪存驱动器的灯没有跳动，过了一会儿（或手动进入同步）USB闪存驱动器的灯跳了。 卸载设备会清空缓冲区，因此有时卸载设备需要几秒钟。

缓冲区由各种进程分配，并由进程和系统一起管理。 它用于输入队列等，作为需要读取多个字段的进程的简单示例，并且在完全读取所有字段之前，该进程将先前读取的字段放入缓冲区中。

缓存通常用于磁盘 IO 请求，如果多个进程想要访问一个文件，则缓存该文件以备下次访问时使用，从而提供系统性能。

综上所述，可以理解为缓存系统管理，缓冲区是由进程和系统一起管理的。

这种形式比以前使用 fieldcache 实现正向搜索的版本更高效、更省内存。 倒排索引将字段内存划分为一个术语列表，每个术语对应一个文档列表，这种结构使查询速度非常快，因为与术语对应的文档可用。 但是，当您将其用于统计、排序和突出显示时，您需要通过 docid 查找它，并且字段的值变得效率较低。

以前，fieldcache 用于在实例启动时提前将倒排索引的值加载到内存中，但问题是如果文档过多，会造成大量时间的预加载，也会占用宝贵的内存资源。

索引后来引入了一种新的机制，docvalues，它可以理解为正向索引，它是面向列存储的。

在 Linux 中用于内存查看的 free 命令的详细说明。

free 命令用于查看内存使用情况，比 top 命令便宜。

free –m

total used free shared buffers cached

mem: 1002 769 232 0 62 421

buffers/cache 286 715

swap 1153 0 1 153

注意：在理解 free 命令的输出时，有必要区分两个概念：第一行 （mem） 用于操作系统，缓冲区和缓存用于操作系统的内存。

第二行 （- + buffers cache） 用于应用程序，对于应用程序，缓冲区和缓存都属于可用内存。

所以：第一行（mem）：

总计：表示系统可以使用的物理内存总量为1002。

used表示分配的内存为769，包括已使用的286个缓冲区和缓存内存，62个未使用的缓冲区内存和421个未使用的缓存内存，即769=62+421+286

free：表示分配的物理内存为232;

buffers：系统已分配且未使用的缓冲区内存62;

cached：已分配但未使用的缓存内存 421;

第二行 （- + buffers cache）;

used：应用程序实际使用的缓冲区和缓存内存为 286;

free：应用可以使用的内存为715，包括：已分配但未使用的缓冲内存62，已分配但未使用的缓存内存421，尚未分配的内存232，即：

另一个：Linux 中缓冲区和缓存的区别：

buffer：要写入硬盘的数据存储器;

cache：读入内存的数据的内存;

页面缓存和缓冲区缓存一直是两个容易混淆的概念，网上有很多人在争论和猜测这两种缓存有什么区别，最终还没有一个统一正确的结论。 如果我们能理解这两个缓存的本质，那么在分析IO问题时，我们可能会更自如。

页面缓存实际上是一个文件系统缓存，它是文件的缓存，文件级别的数据被缓存到页面缓存中。 文件的逻辑层需要映射到实际的物理磁盘，此映射由文件系统完成。 当页面缓存的数据需要刷新时，页面缓存中的数据被移交给缓冲区缓存，但这种处理在内核版本之后变得非常简单，没有真正的缓存操作。

缓冲区缓存是磁盘块的缓存，即在没有文件系统的情况下，直接在磁盘上操作的数据会缓存在缓冲区缓存中，例如文件系统的元数据会缓存在缓冲区缓存中。

简单来说，页面缓存用于缓存文件数据，缓冲区缓存用于缓存磁盘数据。 如果你有文件系统，如果你对文件进行操作，数据会缓存到页面缓存中，如果你直接使用dd等工具读写磁盘，数据会缓存到缓冲区缓存中。

另外，在文件系统层，会给每个设备分配一个def blk ops文件操作方法，就是设备的操作方法，每个设备的inode下都会有一个基数树，缓存数据的页面会放在这个基数树下。 页数将显示在顶部程序的缓冲区列中。 如果设备做了一个文件系统，那么就会生成一个 inode，这个 inode 会分配 ext3 ops 等操作方法，这些方法就是文件系统的方法，这个 inode 下面还有一个基数树，其中会缓存文件的页页，缓存的页数会统计在顶层程序的缓存列中。

从上面的分析可以看出，内核中的buffer缓存和page缓存在处理上是一致的，但是在概念上是有区别的，page cache是用来文件缓存的，buffer是用来做磁盘块数据缓存的，仅此而已。