在我的项目中，我用树莓派制作无人机。我需要从我的树莓派相机流视频与尽可能低的延迟，并共享该流到多个客户端。我基于以下代码实现了一个简单的流:
import io
import picamera
import logging
import socketserver
from threading import Condition
from http import server
PAGE="""
<html>
<head>
<title>picamera MJPEG streaming</title>
</head>
<body>
<h1>PiCamera MJPEG Streaming</h1>
<img src="stream.mjpg" width="640" height="480" />
</body>
</html>
"""
class StreamingOutput(object):
def __init__(self):
self.frame = None
self.buffer = io.BytesIO()
self.condition = Condition()
def write(self, buf):
if buf.startswith(b'xffxd8'):
# New frame, copy the existing buffer's content and notify all
# clients it's available
self.buffer.truncate()
with self.condition:
self.frame = self.buffer.getvalue()
self.condition.notify_all()
self.buffer.seek(0)
return self.buffer.write(buf)
class StreamingHandler(server.BaseHTTPRequestHandler):
def do_GET(self):
if self.path == '/':
self.send_response(301)
self.send_header('Location', '/index.html')
self.end_headers()
elif self.path == '/index.html':
content = PAGE.encode('utf-8')
self.send_response(200)
self.send_header('Content-Type', 'text/html')
self.send_header('Content-Length', len(content))
self.end_headers()
self.wfile.write(content)
elif self.path == '/stream.mjpg':
self.send_response(200)
self.send_header('Age', 0)
self.send_header('Cache-Control', 'no-cache, private')
self.send_header('Pragma', 'no-cache')
self.send_header('Content-Type', 'multipart/x-mixed-replace; boundary=FRAME')
self.end_headers()
try:
while True:
with output.condition:
output.condition.wait()
frame = output.frame
self.wfile.write(b'--FRAMErn')
self.send_header('Content-Type', 'image/jpeg')
self.send_header('Content-Length', len(frame))
self.end_headers()
self.wfile.write(frame)
self.wfile.write(b'rn')
except Exception as e:
logging.warning(
'Removed streaming client %s: %s',
self.client_address, str(e))
else:
self.send_error(404)
self.end_headers()
class StreamingServer(socketserver.ThreadingMixIn, server.HTTPServer):
allow_reuse_address = True
daemon_threads = True
with picamera.PiCamera(resolution='640x480', framerate=24) as camera:
output = StreamingOutput()
camera.start_recording(output, format='mjpeg')
try:
address = ('', 8000)
server = StreamingServer(address, StreamingHandler)
server.serve_forever()
finally:
camera.stop_recording()
上面的代码在树莓派上启动了一个流服务器，并提供了一个来自piccamera的视图。延迟大约是200ms，这对我来说真的很好，但是当更多的客户端连接时，延迟就会增加。5个用户，已经有相当多的延迟。这是我项目中的主要问题，因为我必须为所有用户实时流式传输。我预计会有20-30个用户。我只是想达到类似于youtube直播或谷歌会议的效果，在那里多个客户端可以连接并从我的网络摄像头观看视图，但延迟最少。
所以我考虑创建第二个服务器，它只接收来自我的相机的一个流，然后将它重新流到多个客户端，而不会有太多延迟。我尝试根据上面的代码制作一个类似于树莓派的服务器，但是使用了opencv。picamera流被opencv拦截并显示，但不幸的是延迟相当高。我还尝试通过rtmp协议与raspivid流到youtube，并通过rtsp协议与gstreamer流到docker上的datarhei restreamer，但延迟约为2-3秒，这对我来说太过分了。有什么办法或者其他解决办法吗?我为此花了很多时间，但我不知道该怎么做……任何建议都会很有帮助，因为我是视频流的新手。PS抱歉我的英语不完美
视频流通常最终成为带宽，延迟和质量之间的平衡。
大多数在线电影和现场娱乐，体育等流媒体服务使用HSL或DASH流媒体来提供他们需要的质量，并且会有更高的延迟。
同样，在一个小型PI设备上服务许多单独的客户端很可能超出设备的容量，正如您所看到的。
我认为你的想法让无人机发送流到服务器，然后提供流到客户端是最可行的方法，但你可能想看看一个实时流协议基于服务器。
我认为，对于这种类型的流媒体来说，WebRTC是目前最明显的选择——它专门设计用于优先考虑延迟，而不是其他因素，如质量，以实现实时语音和视频通信。
存在开源的webRTC服务器，这将是一个很好的起点-例如:
- https://github.com/meetecho/janus-gateway
付费解决方案也存在，例如Ant Media的企业版WebRTC蒸汽服务器，将IP Camera流媒体列为其使用场景之一:
- https://github.com/ant-media/Ant-Media-Server
这里也有一个基于node.js的WebRTC解决方案的很好的概述，据报道，如果满足您的需求，它可以达到400ms的延迟:https://stackoverflow.com/a/67887822/334402