C - 发布分段文件上传时的 libevent 块



我正在研究一个带有 linux 内核 4.14 的 C 嵌入式手臂板。 我正在使用 libevent 版本 2,并为两个 URL 创建了处理程序。 一个用于发布文件,另一个用于获取上传状态。 用户将通过浏览器连接并通过多部分表单 POST 上传文件,并使用 GET 请求获取上传状态。

这里有一些伪代码,所以你可以得到这个过程的图片。

void upload_cb(struct evhttp_request *req, void *arg){
struct bufferevent *bev = evhttp_connection_get_bufferevent(req->evcon);
if (bev) //Prio is initialized with 10 states in main
bufferevent_priority_set(bev, 9); // set to low priority
struct evbuffer* post_buffer = evhttp_request_get_input_buffer(req);
size_t body_size = evbuffer_get_length(post_buffer);
// a multipart parser takes care of writing the 
// post_buffer content to a file
// this takes a few seconds and after completing this 
// the status_cb is accessible again
}
void status_cb(struct evhttp_request *req, void *arg){
// send some json
}
evhttp_set_cb(_http, "/upload", upload_cb, NULL);
evhttp_set_cb(_http, "/status", status_cb, NULL);

当我上传大约 10 Mb 的文件并同时每 1 秒轮询一次状态 URL 时,状态 URL 将在大约 12 秒内没有响应,直到文件得到正确处理并返回函数。

upload_cb需要一段时间来处理数据,因此会阻止status_cb执行。 这是不可取的,因为应用程序此时没有响应。

我正在尝试不断从应用程序中获取状态,并使 UI 了解正在发生的事情的最新情况。 据我所知,一旦所有数据都被缓冲并准备好让回调处理它,就会调用upload_cb回调。这意味着它将缓冲内存中的整个 10 Mb。

我试图降低缓冲区的优先级,希望事件调度程序会中断并为其他事件提供一些时间,但似乎我对 libevent 工作原理的想法是不正确的。

我正在寻找替代解决方案,并觉得我可以创建一个单独的线程,您可以在其中处理上传+保存到文件,然后将控制权交回主线程。 但我更愿意在这里问是否有一个更优雅的解决方案,涉及完全使用 libevent。

我可以让 libevent 中断处理上传并回复状态请求吗? 我可以强制 libevent 以块的形式接收数据,以便它可以处理其他回调吗?


更新1:根据这个问题,我必须使用非阻塞API调用。虽然写入文件是非阻塞的,但内核写入缓冲区似乎已填充,因为我将 10+ Mb 写入文件。 我已经将解析和写入移动到一个新线程,该线程允许 libevent 从函数返回,现在正在研究我应该如何处理post_buffer(多线程访问、使用后释放它等(

更新 2:将解析移动到新线程不起作用,因为随后回调upload_cb返回,并且evhttp_request及其缓冲区被清理,而线程仍想要解析它。 我倾向于创建一个额外的event_base实例来处理无缝上传,如此问题的链接中所述

我一直在网上阅读并找到一个适合我的解决方案,主要是受到以下代码的启发: 使用 evhttp 的多线程 HTTPServer

struct eventbase *eventbase2;
void threadfunction(){
eventbase2 = event_base_new();
struct evhttp* http2 = evhttp_new(event_base2);
evhttp_set_cb(http2, "/upload", upload_cb, NULL);
struct evhttp_bound_socket* handle = 
evhttp_bind_socket_with_handle(http2, "0.0.0.0", 8080);
event_base_dispatch(event_base2);  // <-------- it will wait here
evhttp_del_accept_socket(http2, handle);
evhttp_free(http2);
event_base_free(event_base2);
}
// initialize a thread with the threadfunction

我创建了一个使用threadfunction作为其线程函数的新线程(未显示在上面的代码中(。该函数托管第二个eventbase以便可以调用上传 url,并且可以根据需要花费尽可能多的时间。由于状态 url 由第一个事件库处理,因此它将并行工作,并且上传 url 在执行其操作时不会阻止它。

要停止正在运行的线程,您应该调用

event_base_loopbreak(event_base2);

然后可能会在您的线程之后清理。

相关内容

  • 没有找到相关文章

最新更新