C语言-mmap函数

2024-12-22

mmap 是一个非常重要的系统调用，用于内存映射文件或设备到进程的虚拟地址空间中。它使得进程可以像访问内存一样访问文件内容，或与其他进程共享数据。通过 mmap，文件内容可以直接映射到内存，这样就避免了传统的文件读写方法，提升了访问速度和效率。

`mmap` 函数原型

1	void mmap(void addr, size_t length, int prot, int flags, int fd, off_t offset);

参数解释

void *addr:
- 这是映射区域的起始地址。通常传递 NULL，让系统自动选择一个地址。如果指定了非 NULL 的地址，mmap 会尽量将映射映射到这个地址（但有时可能会失败）。
- 一般来说，建议传 NULL，让操作系统来决定映射的地址。
size_t length:
- 映射区域的大小（以字节为单位）。即你希望映射多少字节的文件或设备内容到内存中。
int prot:
- 映射区域的保护标志，定义了映射区域的访问权限。可以是以下的一个或多个标志的按位或（OR）：
  - PROT_READ：页面可以被读取。
  - PROT_WRITE：页面可以被写入。
  - PROT_EXEC：页面可以被执行。
  - PROT_NONE：页面不可访问。
int flags:
- 映射的标志。用于定义映射的行为。常用的标志包括：
  - MAP_SHARED：映射区域的内容可以被多个进程共享。对该区域的修改会写回到文件。
  - MAP_PRIVATE：映射区域的内容私有，修改不会影响原文件。映射区域是进程的私有副本。
  - MAP_ANONYMOUS：映射区域不与文件相关联。这个区域的内容不会写回到任何文件，通常用于创建匿名内存。
  - MAP_FIXED：要求映射到指定的地址。否则，操作系统会选择一个合适的地址。
int fd:
- 文件描述符，表示要映射的文件。如果 MAP_ANONYMOUS 标志被指定，那么 fd 参数可以是 -1，表示映射的区域没有关联文件。
off_t offset:
- 映射区域的偏移量，指定从文件的哪个位置开始映射。必须是 page_size（通常为 4KB）的倍数。

返回值：

成功时，mmap 返回映射区域的起始地址。
如果映射失败，返回 MAP_FAILED（通常是 (void *)-1），并且可以通过 errno 获取错误信息。

使用示例

假设我们要将一个文件映射到内存中：

示例 1：将文件映射到内存

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>

#define FILENAME "test.txt"
#define SIZE 1024

int main() {
    int fd;
    char *mapped_data;

    // 打开文件
    fd = open(FILENAME, O_RDONLY);
    if (fd == -1) {
        perror("open");
        return 1;
    }

    // 使用 mmap 将文件映射到内存
    mapped_data = mmap(NULL, SIZE, PROT_READ, MAP_PRIVATE, fd, 0);
    if (mapped_data == MAP_FAILED) {
        perror("mmap");
        close(fd);
        return 1;
    }

    // 打印映射区域的内容
    printf("Mapped data: %s\n", mapped_data);

    // 解除映射
    munmap(mapped_data, SIZE);
    close(fd);

    return 0;
}

解释：

open：打开文件 test.txt，以只读方式打开。
mmap：将文件内容映射到进程的虚拟内存空间。这里使用 MAP_PRIVATE，表示映射内容是私有的，对该内容的修改不会影响文件。
munmap：解除内存映射，释放映射的内存区域。

示例 2：匿名内存映射

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>

#define SIZE 1024

int main() {
    char *mapped_data;

    // 创建匿名映射（不关联任何文件）
    mapped_data = mmap(NULL, SIZE, PROT_READ | PROT_WRITE, MAP_ANONYMOUS | MAP_SHARED, -1, 0);
    if (mapped_data == MAP_FAILED) {
        perror("mmap");
        return 1;
    }

    // 写入映射区域
    strcpy(mapped_data, "Hello, this is anonymous memory!");
    printf("Mapped data: %s\n", mapped_data);

    // 解除映射
    munmap(mapped_data, SIZE);

    return 0;
}

解释：

MAP_ANONYMOUS：表示映射的内存区域不与任何文件相关联。
MAP_SHARED：映射区域的内容可以被多个进程共享。
-1：这里的 fd 为 -1，表示没有文件与该内存区域关联。

`mmap` 的应用场景

文件映射：
- mmap 可以将文件映射到内存，从而允许程序像访问内存一样读取和修改文件内容。适合处理大文件或需要频繁读写的文件。
共享内存：
- 不同进程可以通过共享内存进行高效的通信。使用 MAP_SHARED 标志可以使得多个进程共享同一块内存区域。
内存管理：
- 通过 MAP_ANONYMOUS，程序可以创建一块不与文件相关联的匿名内存，这对于实现堆、栈、缓存等功能非常有用。
内存映射设备：
- 设备文件（例如 /dev/mem）可以被映射到内存，使得应用程序能够直接访问硬件设备的内存区域。

常见的错误及排查

**EINVAL**：
- 传递给 mmap 的参数无效。例如，length 参数为 0，或 offset 不是页面大小的倍数。
**ENOMEM**：
- 系统没有足够的内存来完成映射。
**EBADF**：
- fd 参数无效，例如文件描述符无效或不允许映射的文件类型。
**EPERM**：
- 没有足够的权限进行映射。通常是因为没有读取或写入权限。

总结

mmap 是一个非常强大的系统调用，用于将文件或设备直接映射到进程的虚拟内存空间中。它可以提升文件访问效率，支持共享内存、匿名内存等多种场景。理解 mmap 的各个参数和用途，有助于编写高效的系统级程序，尤其是在需要大量数据读写和进程间通信的场景中。

mmap的优势

文件映射到内存（使用 mmap）和直接操作文件（使用传统的 read / write）的区别主要体现在效率、操作方式和使用场景上。下面详细分析这两者的区别与优势。

1. 访问方式

**文件映射到内存 (mmap)**：
- 内存映射：文件被映射到进程的虚拟地址空间中，程序可以像操作内存一样访问文件内容。这使得程序无需显式地进行文件读写操作，直接在内存中操作文件的数据。
- 零拷贝：操作系统会在后台将文件内容加载到内存中，并保持映射关系。访问文件时无需从磁盘拷贝数据到内存，操作系统通过内存映射直接访问磁盘中的内容。
直接操作文件（read / write）：
- 显式读写：程序通过系统调用显式地将文件从磁盘读取到内存，或者将内存中的数据写入磁盘。每次文件操作都涉及到显式的 read() 或 write() 系统调用，程序需要处理文件的打开、读取、写入和关闭。
- 拷贝开销：文件的内容从磁盘被读取到内存中后，需要通过应用程序进行处理，再通过 write() 写回磁盘。这个过程中涉及数据的拷贝和多次的系统调用。

2. 性能差异

**文件映射到内存 (mmap)**：
- 高效性：通过 mmap，文件内容可以直接映射到进程的内存空间。操作系统会优化内存映射，使用内存页（页面级映射）而非逐字节处理，通常能显著提高文件访问速度，尤其是在处理大文件时。
- 避免显式的数据拷贝：由于内存映射文件是通过虚拟内存管理，文件的数据并不会被显式地复制到用户空间（虽然在后台会通过页面管理进行加载）。这使得访问效率提高，尤其在需要频繁访问文件内容时，避免了多次的 I/O 操作。
直接操作文件（read / write）：
- 较高的 I/O 操作开销：每次读写操作都需要显式地调用 read() 或 write()，并且每次都涉及到磁盘到内存的复制（即使内存缓冲区可能存在）。大量的文件 I/O 操作可能导致较高的性能开销。
- 阻塞 I/O：传统的文件 I/O 通常是阻塞式的，程序在进行读写操作时可能会阻塞，等待数据的读写完成，这在处理大量数据时可能降低程序的响应性。

3. 内存管理

**文件映射到内存 (mmap)**：
- 自动内存管理：mmap 将文件内容直接映射到内存中，操作系统负责管理内存的加载、卸载和回收。映射文件时，操作系统会自动按页（通常为 4KB）加载文件内容到内存中。
- 懒加载：文件的内容不会立即加载到内存中，只有在程序访问文件时，操作系统才会将相关的数据页面加载到内存。这种按需加载避免了不必要的内存占用。
- 修改内容自动同步：对于使用 MAP_SHARED 映射的文件，修改的内容会自动同步到磁盘文件中，简化了内存与磁盘之间的同步。
直接操作文件（read / write）：
- 显式内存管理：需要手动进行内存分配和管理。例如，当程序从文件读取数据时，必须先申请足够的内存来存储文件内容。如果数据量很大，可能会发生内存溢出或内存碎片问题。
- 缓冲区管理：read() 和 write() 操作一般依赖内核的缓冲区，但这些缓冲区的大小有限制，如果处理大文件时，可能需要分多次读取或写入数据，导致多次 I/O 操作。

4. 文件修改与同步

**文件映射到内存 (mmap)**：
- 即时修改：通过 mmap 映射的文件区域是可以直接修改的，修改后立即反映到内存中。如果映射时使用 MAP_SHARED，修改会被同步到磁盘文件中。对于 MAP_PRIVATE 映射的内存，修改只会影响内存区域，文件内容不会变化。
- 写时复制（COW）：在 MAP_PRIVATE 模式下，mmap 采用写时复制技术，当程序修改映射区域的内容时，操作系统会为该进程分配新的内存页面，避免直接修改文件内容。这避免了对原文件的修改，使得每个进程都可以有自己的独立副本。
直接操作文件（read / write）：
- 显式同步：文件修改通常需要显式地调用 write()，并且修改后的数据不会立即反映到磁盘中。为了确保数据持久化，可能还需要调用 fsync() 或 fdatasync() 等系统调用来同步文件内容到磁盘。
- 多次操作：每次读取文件、处理数据、写入文件都需要明确的 I/O 操作，这可能导致重复的 I/O 操作和更高的延迟。

5. 共享和进程间通信

**文件映射到内存 (mmap)**：
- 进程间共享：mmap 支持多个进程共享同一块内存区域。通过映射同一个文件到多个进程的地址空间，进程间可以直接共享数据，避免了通过管道、套接字等方法的额外开销。
- 共享内存：使用 mmap 的 MAP_SHARED 标志可以让多个进程共享同一块内存区域，修改会自动同步到文件中。这对于进程间通信（IPC）特别有用。
直接操作文件（read / write）：
- 不便于共享：传统的文件操作不支持多个进程同时共享同一个内存区域，进程间通信通常依赖于 IPC 机制（如消息队列、管道、共享内存、套接字等）。

6. 使用场景和适用性

**文件映射到内存 (mmap)**：
- 大文件处理：当文件非常大时（如 1GB 或更大），mmap 可以显著提高性能。它避免了多次 read() 和 write() 操作，减少了数据在内存和磁盘之间的拷贝。
- 内存映射文件：适合用于处理数据库、日志文件、媒体文件等需要高效随机访问的场景。
- 进程间共享数据：多个进程共享数据时，mmap 通过共享内存区提供高效的通信机制。
直接操作文件（read / write）：
- 小文件操作：对于小文件或偶尔访问的文件，直接使用 read() 和 write() 更为简单，不必使用内存映射。
- 简单 I/O 操作：适用于简单的、一次性读取或写入操作。
- 不需要共享内存的场景：如果只是单个进程操作文件，使用传统的文件读写方式可能会更直观，且容易管理。

总结

文件映射到内存 通过内存映射提供了高效的文件访问方式，尤其适用于处理大文件和需要进程间共享数据的场景。它消除了文件读写中的额外拷贝和 I/O 操作，可以大大提高性能，并且自动同步文件内容。
直接操作文件 更为简单直观，适用于小文件和一次性文件操作。虽然性能上可能不如内存映射，但对于某些简单场景，直接读写文件可能更加灵活和易于控制。

本文作者： ICXNM-ZLin
本文链接： https://talent-tudou.github.io/2024/12/22/C语言/C语言-mmap函数/
版权声明： 本作品采用 CC BY-NC-SA 4.0 进行许可。转载请注明出处！

mmap 函数原型