如何将媒体流从angular代码传递到Facemesh.js

Question

如何替换此相机功能并从另一个角度模块传递我自己的mediaststream ?Src: https://google.github.io/mediapipe/solutions/face_mesh

const camera = new Camera(videoElement, {
onFrame: async () => {
await faceMesh.send({image: videoElement});
},
width: 1280,
height: 720
});
camera.start();

如果我试图删除相机功能，我无法将mediaststream传递给faceMesh.send()。

Answer 1

MediaPipe FaceMesh可以读取HTMLVideoElement(在幕后，它只是复制帧到画布，然后从画布到张量获取像素)，所以你不必处理这个问题。

但是你的媒体流将不具有每帧事件(在JS规范中没有这样的事情)-这就是Camera包装器增值。

不会为你写代码，但你需要的工作流程是:

1. dofaceMesh.send
2. 监听结果
3. 一旦你有结果，做下一个faceMesh.send