如何使用memmap机箱附加到文件支持的mmap



我有一个包含内容的文件foo.txt

foobar

我想继续追加到这个文件,并有权访问修改后的文件。

MmapMut

我尝试的第一件事是直接突变mmap:

use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mut mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
(&mut mmap[..]).write_all(buf)?;
mmap.flush()?;
}
}

这将导致恐慌:

Error: Custom { kind: WriteZero, error: StringError("failed to write whole buffer") }

生成的文件读取somest

直接追加到备份文件

之后,我尝试直接附加到备份文件:

use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
backing_file.write_all(buf)?;
backing_file.flush()?;
}
}

这不会导致恐慌。该文件将定期更新,但我的mmap没有反映这些更改。我原以为标准输出是这样的:

foobar
foobarsomestring
foobarsomestringsomestring
...

但我有

foobar
foobar
foobar
...

我主要对Linux解决方案感兴趣,如果它依赖于平台的话。

首先,根据我的理解,我敦促您对该板条箱高度怀疑。它允许你在安全的Rust中做一些你应该而不是的事情。

例如,如果你有一个文件支持的mmap,那么你的计算机上任何对该文件具有正确权限的进程都可以修改它。这意味着:

  1. 将mmapped文件视为不可变的字节片(&[u8](是无效的,因为它可能会发生变异
  2. mmapped文件被视为可变字节片(&mut [u8](从来都不是有效的,因为可变引用意味着可以更改数据的独占所有者,但您没有

该机箱的文档没有涵盖这些问题,也没有讨论如何安全地使用少数unsafe函数。对我来说,这些迹象表明你可能在代码中引入了未定义的行为,这是一件非常糟糕的事情。

例如:

use memmap;
use std::{fs, io::prelude::*};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
backing_file.write_all(b"initial")?;
let mut mmap_mut = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
let mmap_immut = unsafe { memmap::Mmap::map(&backing_file)? };
// Code after here violates the rules of references, but doesn't use `unsafe`
let a_str: &str = std::str::from_utf8(&mmap_immut)?;
println!("{}", a_str); // initial
mmap_mut[0] = b'x';
// Look, we just changed an "immutable reference"!
println!("{}", a_str); // xnitial
Ok(())
}

由于人们通常不喜欢被告知"不,不要那样做,这是个坏主意",下面是如何让代码"工作":直接附加到文件中,然后重新创建mmap:

use memmap;
use std::{fs, io::prelude::*, thread, time::Duration};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
// mmap requires that the initial mapping be non-zero
backing_file.write_all(b"initial")?;
for _ in 0..3 {
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
// I think this line can introduce memory unsafety
println!("{}", std::str::from_utf8(&mmap[..])?);
thread::sleep(Duration::from_secs(1));
backing_file.write_all(b"somestring")?;
}
Ok(())
}

你可能想在这个文件中预先分配一大块空间,这样你就可以打开它开始写作,而不必重新映射它

我自己不会将此代码用于任何重要的数据正确性方面。

另请参阅:

  • 是否附加到Mmap安全且跨平台的文件
  • 附加到内存映射文件
  • 如何创建和写入内存映射文件