WebRTC音频处理模块(APM)，并计算回放设备的回声延迟

Question

我对音频处理很陌生。我创建了一个程序，以一种方式录制和流式传输音频，而不在另一端录制。基本上，它将记录在一个位置的内容传输到另一个位置。然而，在许多情况下，该程序也会在与录制源相同的位置输出音频。由于音频延迟（取决于许多因素），这会产生明显的"回声"。

因为我不确定是否还有其他东西，我正在尝试使用WebRTC的音频处理模块进行增益控制和声学回声消除。增益控制似乎工作得很好，但AEC并没有真正工作得那么好。我假设这可能是因为我没有设置正确的流延迟，或者这不是AEC真正的用途。

我正在使用的当前代码从文件中读取我记录的内容，试图消除回声，至少是第一次出现的回声。如果我将流延迟设置为0。正如我们可以想象的那样，当前的音频被完全取消了。我尝试不同的价值观，但收效甚微。

所以我的问题是，我希望这足够具体，我在这个模型中做错了什么？

void start( char *inFilename, char *outFilename )
{
    FILE *infile = fopen( inFilename, "rb" );
    FILE *outfile = fopen( outFilename, "wb" );
    // Our frame manager
    AudioFrame frame;
    frame._audioChannel = CHANNELS;
    frame._frequencyInHz = SAMPLERATE;
    frame._payloadDataLengthInSamples = SAMPLERATE/100; // Math for 20ms frames
    // Get the size of our frames
    const size_t frameLength = frame._payloadDataLengthInSamples*CHANNELS;

    AudioProcessing* apm = AudioProcessing::Create(0);
    //
    apm->set_sample_rate_hz( SAMPLERATE ); // Super-wideband processing.
    //
    // // Mono capture and stereo render.
    apm->set_num_channels(1, 1);
    apm->set_num_reverse_channels(1);
    //
    apm->high_pass_filter()->Enable(true);
    //
    //apm->echo_cancellation()->set_suppression_level( EchoCancellation::SuppressionLevel::kHighSuppression );
    apm->echo_cancellation()->enable_drift_compensation( false );
    apm->echo_cancellation()->Enable( true );
    //
    apm->noise_suppression()->set_level( NoiseSuppression::Level::kHigh );
    apm->noise_suppression()->Enable( true );
    //
    apm->gain_control()->set_analog_level_limits( 0, 255 );
    apm->gain_control()->set_mode( GainControl::Mode::kAdaptiveDigital );
    apm->gain_control()->Enable( true );
    //
    // apm->voice_detection()->Enable(true);
    //
    // // Start a voice call...
    while( fread(frame._payloadData, sizeof( int16_t ), frameLength, infile )==frameLength )
    {
        //apm->set_stream_delay_ms( 0 );
        apm->AnalyzeReverseStream( &frame );
        //
        // // ... Render frame arrives bound for the audio HAL ...
        //
        // // ... Capture frame arrives from the audio HAL ...
        // // Call required set_stream_ functions.
        // apm->gain_control()->set_stream_analog_level(analog_level);
        //
        apm->set_stream_delay_ms( 300 );
        int err = apm->ProcessStream( &frame );
        fprintf( stdout, "Output %in", err );
        //
        // // Call required stream_ functions.
        // analog_level = apm->gain_control()->stream_analog_level();
        // has_voice = apm->stream_has_voice();

        fwrite( frame._payloadData, sizeof( int16_t ), frameLength, outfile );
    }
    //
    // // Repeate render and capture processing for the duration of the call...
    // // Start a new call...
    // apm->Initialize();
    //
    // // Close the application...
    AudioProcessing::Destroy( apm );
    apm = NULL;
    fclose( infile );
    fclose( outfile );
}

使用中的包含和库：http://www.freedesktop.org/software/pulseaudio/webrtc-audio-processing/

Answer 1

我也有同样的问题，我试图找到API，它告诉我OpenSLES API手册中有多少流延迟，但失败了。和现在一样，我认为可能需要自己计算流延迟。