VoiceProcessingIO音频单元向内置输出设备(macOS)添加了一个意外的输入流

Question

我在macOS上开发VoIP应用程序，并使用VoiceProcessingIO音频单元进行音频处理，如回声消除和自动增益控制。

问题是，当我初始化音频单元时，核心音频设备的列表会发生变化，这不仅是因为添加了VP音频单元用于其需求的新聚合设备，还因为内置输出设备(即"内置MacBook Pro扬声器"(现在也作为输入设备出现，即除了输出设备外，还有一个意外的输入流。

这是我在初始化VP AU:之前从Core Audio获得的INPUT设备(又名"麦克风"(的列表

DEVICE:      INPUT   45      BlackHole_UID
DEVICE:      INPUT   93      BuiltInMicrophoneDevice

当我的副总裁AU初始化时，这是相同的列表：

DEVICE:      INPUT   45      BlackHole_UID
DEVICE:      INPUT   93      BuiltInMicrophoneDevice
DEVICE:      INPUT   86      BuiltInSpeakerDevice /// WHY?
DEVICE:      INPUT   98      VPAUAggregateAudioDevice-0x101046040

这非常令人沮丧，因为我需要在应用程序中显示设备列表，即使我可以大胆地从设备列表中筛选出聚合设备(它们无论如何都不适用于VP AU(，我也不能排除我们内置的macBook Speaker设备。

也许你们中的某个人已经经历了这一切，并且知道发生了什么，以及这是否可以解决。我需要注意一些kAudioObjectPropertyXX，以便将设备从输入列表中排除。当然，这可能是苹果方面的一个错误/功能，我只能破解它。

VP AU运行良好，尽管使用了设备，但问题仍然存在(我尝试了内置和外置/USB/蓝牙(。这个问题在我可以测试的所有macOS版本上都出现了，从10.13开始，到11.0结束。这也可以在不同的Mac电脑和连接的不同音频设备上进行复制。我很好奇，关于这个问题的信息几乎为零，这让我觉得我做错了什么。

更奇怪的是，当VP AU工作时，HALLab应用程序指示了另一件事：内置输入还有两个输入流(好吧，如果只是这样的话，我会挺过来的！(。但这并不意味着内置输出已经添加了输入流，就像在我的应用程序中一样。

以下是关于如何设置VP音频单元的cpp代码摘录：

#define MAX_FRAMES_PER_CALLBACK 1024

AudioComponentInstance AvHwVoIP::getComponentInstance(OSType type, OSType subType) {
AudioComponentDescription desc = {0};
desc.componentFlags = 0;
desc.componentFlagsMask = 0;
desc.componentManufacturer = kAudioUnitManufacturer_Apple;
desc.componentSubType =  subType;
desc.componentType    = type;

AudioComponent ioComponent = AudioComponentFindNext(NULL, &desc);
AudioComponentInstance unit;
OSStatus status = AudioComponentInstanceNew(ioComponent, &unit);
if (status != noErr) {
printf("Error: %dn", status);
}
return unit;
}

void AvHwVoIP::enableIO(uint32_t enableIO, AudioUnit auDev) {

UInt32 no = 0;

setAudioUnitProperty(auDev,
kAudioOutputUnitProperty_EnableIO,
kAudioUnitScope_Input,
1,
&enableIO,
sizeof(enableIO));

setAudioUnitProperty(auDev,
kAudioOutputUnitProperty_EnableIO,
kAudioUnitScope_Output,
0,
&enableIO,
sizeof(enableIO));
}

void AvHwVoIP::setDeviceAsCurrent(AudioUnit auDev, AudioUnitElement element, AudioObjectID devId) {
//Set the Current Device to the AUHAL.
//this should be done only after IO has been enabled on the AUHAL.
setAudioUnitProperty(auDev,
kAudioOutputUnitProperty_CurrentDevice,
element == 0 ? kAudioUnitScope_Output : kAudioUnitScope_Input,
element,
&devId,
sizeof(AudioDeviceID));
}

void AvHwVoIP::setAudioUnitProperty(AudioUnit auDev,
AudioUnitPropertyID inID,
AudioUnitScope inScope,
AudioUnitElement inElement,
const void* __nullable inData,
uint32_t inDataSize) {

OSStatus status = AudioUnitSetProperty(auDev, inID, inScope, inElement, inData, inDataSize);
if (noErr != status) {
std::cout << "****** ::setAudioUnitProperty failed" << std::endl;
}

}

void AvHwVoIP::start() {
m_auVoiceProcesing = getComponentInstance(kAudioUnitType_Output, kAudioUnitSubType_VoiceProcessingIO);
enableIO(1, m_auVoiceProcesing);
m_format_description = SetAudioUnitStreamFormatFloat(m_auVoiceProcesing);
SetAudioUnitCallbacks(m_auVoiceProcesing);
setDeviceAsCurrent(m_auVoiceProcesing, 0,  m_renderDeviceID);//output device AudioDeviceID here
setDeviceAsCurrent(m_auVoiceProcesing, 1,  m_capDeviceID);//input device AudioDeviceID here
setInputLevelListener();
setVPEnabled(true);
setAGCEnabled(true);

UInt32 maximumFramesPerSlice = 0;
UInt32 size = sizeof(maximumFramesPerSlice);
OSStatus s1 = AudioUnitGetProperty(m_auVoiceProcesing, kAudioUnitProperty_MaximumFramesPerSlice, kAudioUnitScope_Global, 0, &maximumFramesPerSlice, &size);

printf("max frames per callback: %dn", maximumFramesPerSlice);

maximumFramesPerSlice = MAX_FRAMES_PER_CALLBACK;
s1 = AudioUnitSetProperty(m_auVoiceProcesing, kAudioUnitProperty_MaximumFramesPerSlice, kAudioUnitScope_Global, 0, &maximumFramesPerSlice, size);


OSStatus status = AudioUnitInitialize(m_auVoiceProcesing);
if (noErr != status) {
printf("*** error AU initialize: %d", status);
}

status = AudioOutputUnitStart(m_auVoiceProcesing);
if (noErr != status) {
printf("*** AU start error: %d", status);
}
}

以下是我如何获得设备列表：

//does this device have input/output streams?    
bool hasStreamsForCategory(AudioObjectID devId, bool input)
{
const AudioObjectPropertyScope scope = (input == true ? kAudioObjectPropertyScopeInput : kAudioObjectPropertyScopeOutput);

AudioObjectPropertyAddress propertyAddress{kAudioDevicePropertyStreams, scope, kAudioObjectPropertyElementWildcard};

uint32_t dataSize = 0;
OSStatus status = AudioObjectGetPropertyDataSize(devId,
&propertyAddress,
0,
NULL,
&dataSize);
if (noErr != status)
printf("%s: Error in AudioObjectGetPropertyDataSize: %d n", __FUNCTION__, status);

return (dataSize / sizeof(AudioStreamID)) > 0;
}

std::set<AudioDeviceID> scanCoreAudioDeviceUIDs(bool isInput)
{
std::set<AudioDeviceID> deviceIDs{};

// find out how many audio devices there are
AudioObjectPropertyAddress propertyAddress = {kAudioHardwarePropertyDevices, kAudioObjectPropertyScopeGlobal, kAudioObjectPropertyElementMaster};

uint32_t dataSize{0};
OSStatus err = AudioObjectGetPropertyDataSize(kAudioObjectSystemObject, &propertyAddress, 0, NULL, &dataSize);
if ( err != noErr )
{
printf("%s: AudioObjectGetPropertyDataSize: %dn", __FUNCTION__, dataSize);
return deviceIDs;//empty
}

// calculate the number of device available
uint32_t devicesAvailable = dataSize / sizeof(AudioObjectID);
if ( devicesAvailable < 1 )
{
printf("%s: Core audio available devices were not foundn", __FUNCTION__);
return deviceIDs;//empty
}

AudioObjectID devices[devicesAvailable];//devices to get

err = AudioObjectGetPropertyData(kAudioObjectSystemObject, &propertyAddress, 0, NULL, &dataSize, devices);
if ( err != noErr )
{
printf("%s: Core audio available devices were not foundn", __FUNCTION__);
return deviceIDs;//empty
}

const AudioObjectPropertyScope scope = (isInput == true ? kAudioObjectPropertyScopeInput : kAudioObjectPropertyScopeOutput);

for (uint32_t i = 0; i < devicesAvailable; ++i)
{
const bool hasCorrespondingStreams = hasStreamsForCategory(devices[i], isInput);

if (!hasCorrespondingStreams) {
continue;
}

printf("DEVICE: t %s t %d t %sn", isInput ? "INPUT" : "OUTPUT", devices[i], deviceUIDFromAudioDeviceID(devices[i]).c_str());

deviceIDs.insert(devices[i]);
}//end for

return deviceIDs;
}

Answer 1

好吧，自从Apple Feedback Assistant回应我的请求以来，我在4个月内回答了我自己的问题：

"您注意到了两件事，这两件事都是AUVP的实现细节：

1. 扬声器设备有输入流-这是回声消除的参考抽头流
2. 内置麦克风设备下有额外的输入流-这是AUVP启用的原始麦克风流

对于#1，我们建议您在根据输入/输出流确定其是否为输入/输出设备时，特别小心对待内置扬声器和(某些Mac电脑上的(耳机。

对于#2，我们建议您忽略设备上的额外流">

所以他们建议我做我当时做的事情：在启动AU之前确定内置的输出设备，然后记住它；在VP-AU操作期间忽略任何出现在内置设备中的额外流。