我正在构建一个能够用视频唱歌的卡拉OK应用程序，所以这是我的问题： 我正在录制用户视频(仅来自前置摄像头的视频(，并在单独的音频记录上应用带有 audiokit 的语音过滤器。 现在在我的播放中，我想以同步模式播放视频和音频，但没有成功，因为视频和音频不同步。 我正在使用 akplayer 进行音频，所以我可以应用语音模组和 vlckit 来播放用户视频。
do {
//MARK: VLC kit part of the video setup
Vlc_VideoPlayer = VLCMediaPlayer()
Vlc_VideoPlayer.media = VLCMedia(url: recordVideoURL)
Vlc_VideoPlayer.addObserver(self, forKeyPath: "time", options: [], context: nil)
Vlc_VideoPlayer.addObserver(self, forKeyPath: "remainingTime", options: [], context: nil)
Vlc_VideoPlayer.drawable = self.CameraView
//MARK: Audiokit with AKPlayer Setup
file = try AKAudioFile(forReading: recordVoiceURL)
player = AKPlayer(audioFile: file)
self.player.preroll()
delay = AKVariableDelay(player)
delay.rampTime = 0.5
delayMixer = AKDryWetMixer(player, delay)
reverb = AKCostelloReverb(delayMixer)
reverbMixer = AKDryWetMixer(delayMixer, reverb)
booster = AKBooster(reverbMixer)
tracker = AKAmplitudeTracker(booster)
AudioKit.output = tracker
try AudioKit.start()
}catch{
print (error)
}
self.startPlayers()
现在启动播放器功能：
func startPlayers(){
DispatchQueue.main.asyncAfter(deadline: .now() + 1) {
if AudioKit.engine.isRunning {
self.Vlc_VideoPlayer.audio.isMuted = true
self.Vlc_VideoPlayer.play()
self.player.isLooping = false
self.player.play()
}else{
self.startPlayers()
}
}
}
我对 VLC 播放器一无所知，但使用内置的 AVPlayer，可以选择同步到时钟：
var time: TimeInterval = 1 // 1 second in the future
videoPlayer.masterClock = CMClockGetHostTimeClock()
let hostTime = mach_absolute_time()
let cmHostTime = CMClockMakeHostTimeFromSystemUnits(hostTime)
let cmVTime = CMTimeMakeWithSeconds(time, preferredTimescale: videoPlayer.currentTime().timescale)
let futureTime = CMTimeAdd(cmHostTime, cmVTime)
videoPlayer.setRate(1, time: CMTime.invalid, atHostTime: futureTime)
然后，AKPlayer 支持使用其调度函数同步到 mach_absolute_time(( hostTime。如上所述，两者将开始接近，但不能保证任何同步。
尝试启动两个播放器将出于纯粹的外观而工作，除非您有办法在启动后同步播放，否则它不会完美。理想情况下，您还应该使用 VLC 播放音频以利用其内部同步工具。
为了迭代您现在拥有的内容，我建议使用 VLC 开始播放，直到它解码第一帧，暂停，启动音频并在解码第一个音频样本后立即继续使用 VLC 播放。这仍然不完美，但可能会更好。