使用缓冲图像将视频编码为 h264

Question

我试图使用 java 将大量缓冲图像（我的应用程序动态创建的预保存图像）转换为视频，并希望是一个可以帮助该过程的库。

我已经探索了许多不同的选项，例如jcodec（没有关于如何使用它的文档）。 Xuggler（由于与 jdk5 及其相关库的兼容性问题，无法让它运行）。 以及许多其他文档非常差的图书馆。

我正在尝试找到一个可以使用 java 的库来 （1） 通过逐帧编写缓冲图像来创建 h264 视频，以及 （2） 有文档，以便我实际上可以弄清楚如何使用 dam 的东西。

关于我应该研究什么的任何想法？

如果纯 java 源代码存在于可以实现这一点的地方，我会非常有兴趣看到它。 因为我很想看看这个人是如何实现该功能的，以及我如何使用它！

提前感谢...

Answer 1

以下是使用 JCodec 的方法：

public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;
    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);
        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);
        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);
        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);
        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);
        // Create an instance of encoder
        encoder = new H264Encoder();
        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();
    }
    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }
        // Perform conversion
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);
        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);
        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);
        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));
        frameNo++;
    }
    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));
        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }
}

Answer 2

现在

jcodec（jcodec-0.1.9.jar）包括直接允许将BufferedImage写入视频流的SequenceEncoder。

我花了一段时间修复这个新类到 Eclipse 的默认导入。删除第一个导入后，尝试（如上所述，我找不到某些类）使用 Stanislav 的代码创建自己的类并重新导入后，我发现了错误：

import org.jcodec.api.awt.SequenceEncoder;
//import org.jcodec.api.SequenceEncoder;

第二个已完全弃用，没有文档将我引导至后者。

相应的方法是：

private void saveClip(Trajectory traj) {
    //See www.tutorialspoint.com/androi/android_audio_capture.htm
    //for audio cap ideas.
    SequenceEncoder enc;
    try {
        enc = new SequenceEncoder(new File("C:/Users/WHOAMI/today.mp4"));
        for (int i = 0; i < BUFF_COUNT; ++i) {
            BufferedImage image = buffdFramToBuffdImage(frameBuff.get(i));
            enc.encodeImage(image);
        }
        enc.finish();
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}