通过 Flutter 从C++插件访问资产

Question

我正在尝试将Google Oboe用于3D音频处理应用程序，因为它的延迟很低。该应用程序将有一个C++后端，该后端执行处理，前端由 Flutter 完成。我正在运行几个测试以查看它是否有效，但是在将资产从 Flutter 加载到 Oboe 时遇到问题。我检查了Oboe的存储库中的示例RhythmGame，这是用Java完成的，但无法安静地找到一种直接从Dart到C++的方法。 前端和后端之间的连接是通过 dart：：ffi

这是我到目前为止尝试过的。根据 Richard Heap 在此处发布的示例，我将noise变量从正弦波更改为 wav 文件中歌曲的简短片段：

class _MyAppState extends State<MyApp> {
final stream = OboeStream();
var noise = Float32List(512);
Timer t;
@override
void initState() {
super.initState();
// for (var i = 0; i < noise.length; i++) {
//   noise[i] = sin(8 * pi * i / noise.length);
// }
_loadSound();
}
void _loadSound() async {
final ByteData data = await rootBundle.load('assets/song_cut.wav');
noise = data.buffer.asFloat32List();
}
(...)

然后 Dart 中的这个函数调用本机库的 Dart 包装器：

void start() {
stream.start();
var interval = (512000 / stream.getSampleRate()).floor() + 1;
t = Timer.periodic(Duration(milliseconds: interval), (_) {
stream.write(noise);
});
}

Dart 中的包装器是：

void write(Float32List original) {
var length = original.length;
var copy = allocate<Float>(count: length)
..asTypedList(length).setAll(0, original);
FfiGoogleOboe()._streamWrite(_nativeInstance, copy, length);
free(copy);
}

_streamWrite是C++中的本机函数：

EXTERNC void stream_write(void* ptr, void* data, int32_t size) {
auto stream = static_cast<OboeFfiStream*>(ptr);
auto dataToWrite = static_cast<float*>(data);
stream->write(dataToWrite, size);
}

void OboeFfiStream::write(float *data, int32_t size) {
managedStream->write(data, size, 1000000);
}

现在我可以听到这首歌，但它的失真太多了。当尝试使用正弦波时，我也能听到它，但它也有一些失真。我还没有在 Oboe 中使用回调模式，因为我想先尝试一下这是否有效。

Answer 1

1 - 您的 WAV 文件采用什么格式？是 32 位浮点数吗？不要忘记 WAV 文件有一个标头，因此您应该丢弃前几十个字节(最多data段(。确保开始读取浮点边界上的音频数据(如果标头不是，则可能不是 4 的倍数(。如有必要，只需使用十六进制编辑器来确定浮点数据的偏移量并开始读取。或者，截断标头并将资产重命名为song_cut.raw。大胆应该能够生成无标题的原始音频文件。

2 - 您的音频剪辑以什么采样率录制？这与设备的采样率匹配吗？(请注意，iOS 设备通常为 44.1k，但 Android 设备通常为 48k。在macOS上使用Android模拟器时，谁知道报告的采样率是多少！如果您的速率不匹配，预计音高失真 - 或使用重采样器。我认为双簧管有一个。或者，与谈话关联的示例存储库包含一个可以使用的存储库。

3 - 请注意，计时器间隔经过微调(用于演示目的(以声卡速率提供 512 个样本所需的大致时间。这对于演示来说可能没问题，但不适用于现实生活。此外，您的 wav 文件中可能没有正好包含 512 个样本。将音频循环调整为 512 个样本，或调整 512000 常量以匹配循环中的样本数。

4a - 您尚未使用回调方法，但您可能应该尽快使用。我成功的一种方法是使用无锁循环缓冲区。双簧管回调尝试清空缓冲区，而 Dart 计时器例程尝试填充缓冲区。缓冲区越大，下溢的可能性越小，但延迟越差。

4b - 理想的解决方案是将双簧管回调调用到 Dart 中，但我还没有找到一种方法来做到这一点，因为 C->Dart 调用必须在主 Dart 线程上，但双簧管回调肯定在高优先级 IO 线程上。