我再次对一个错误失去了想法,并返回到有用的Stack Overflow社区寻求指导。我知道这是一个很长的职位,但我相信这会对社区中的其他人有所帮助,并为退伍军人提供挑战。
从本质上讲,我正在构建一个逐帧处理视频的应用程序。最初,这个过程是线性完成的,但速度是这个应用程序的主要问题。自然的想法是可以实现单独的线程来处理帧。每个线程都只是前一个循环的一次迭代;从视频中检索帧,对其进行处理,并将结果数据放入数组的正确索引中。
问题是,在从循环到线程的转换过程中,当试图访问MediaMetadataRetriever返回的帧时,有时会抛出NullPointerException(大约每200帧一次)。getFrameAtTime()
以下是一些可能有用的代码部分:
附加到启动处理的按钮上的onClickListener的摘录。onClickListener启动一个ThreadPoolExecutor,它管理用于帧处理的线程。
long videoLength = getVideoLength(videoUri);
coords = new coordinate[(int)(videoLength/frameIntervalInMicroSeconds)];
ThreadPoolExecutor executor = new ThreadPoolExecutor(
Runtime.getRuntime().availableProcessors()+1,
Runtime.getRuntime().availableProcessors()+1,
1,
TimeUnit.SECONDS,
new LinkedBlockingQueue<Runnable>());
for (long a = 0; a < videoLength; a += frameIntervalInMicroSeconds) {
new ProcessFrame().executeOnExecutor(executor, (long) a);
getVideoFrame(),一个助手方法,它接收视频的Uri和以微秒为单位的时间,并将视频的帧作为位图返回
private Bitmap getVideoFrame(Uri uri, long timeInUSeconds) {
MediaMetadataRetriever retriever = new MediaMetadataRetriever();
retriever.setDataSource(this, uri);
Bitmap temp = retriever.getFrameAtTime(timeInUSeconds, MediaMetadataRetriever.OPTION_CLOSEST);
retriever.release();
return temp;
}
摘录自ProcessFrame,线程(作为ASyncTask),由ThreadPoolExecutor运行。如上所述,线程只需获取帧,处理帧,并将其放置在数组中的正确位置。
protected Void doInBackground(Long... frameTime){
/* Excluded variable declarations */
Bitmap bMap;
synchronized (this) {
bMap = getVideoFrame(videoUri, frameTime[0]);
}
try {
//This line below is where the NullPointerException is thrown
bMap = Bitmap.createScaledBitmap(bMap, bMap.getWidth() / RESIZE_FACTOR, bMap.getHeight() / RESIZE_FACTOR, true);
}catch (Exception e){
System.out.println("Caught NullPointerException");
return null;
}
/* I excluded the frame processing done here */
//add coordinate to the list
try {
synchronized (this){
coords[(int) (frameTime[0] / frameIntervalInMicroSeconds)] = temp;
}
}catch (Exception e){
System.out.println("Caught out of bounds coordinate");
}
/* excluded clean up */
}
访问空帧时产生的错误消息:
7043-7856/com.example.tyler.laserphysicsappb E/MediaMetadataRetrieverJNI﹕ getFrameAtTime: videoFrame is a NULL pointer
一般评论、观察和我尝试过的事情:
引发异常的行在最后一个代码块中用注释标记。
如果没有try/catch块,我的手机在这个异常情况下不会显示正常的应用程序崩溃消息,它会闪烁黑屏,然后迅速返回主屏幕。(当黑屏闪烁时,我快速截图logcat,发现是哪一行)
如果没有try/catch块,我尝试的另一部手机会忽略错误并继续,但这会破坏结果。
在bMap=getVideoFrame(videoUri,frameTime[0])周围添加同步块似乎减少了错误的常见性,但它仍然会发生。
我已经尝试了ffmpegMediaMetadataRetriever替代方案。此程序包没有消除错误,并降低了处理时间。
一旦抛出nullPointerException,所有后续线程似乎更有可能再次抛出异常。
使用最多一个线程运行ThreadPoolExecutor不会产生错误。
即使我将doInBackground()的整个主体包含在一个同步块中,错误仍然会出现在中
我已经修复了这个错误,但结果平平。我找到的阻止异常出现的唯一方法是在MediaMetadataRetriever getFrameAtTime()函数调用周围放置一个同步块。下面是新的getVideoFrame方法。
private Bitmap getVideoFrame(Uri uri, long timeInUSeconds) {
MediaMetadataRetriever retriever = new MediaMetadataRetriever();
retriever.setDataSource(this, uri);
synchronize (this) {
Bitmap temp = retriever.getFrameAtTime(timeInUSeconds, MediaMetadataRetriever.OPTION_CLOSEST);
}
retriever.release();
return temp;
}
遗憾的是,由于这修复了错误,速度问题并没有得到缓解,因为获取帧仍然需要大量的时间,远远超过实际处理帧的时间。然而,pr