如何在这种情况下充分利用“lwt”

Question

我要做的是:

我有一个task列表，我需要每1小时运行它们(调度)。

所有这些任务都是相似的。例如，对于一个任务，我需要从服务器下载一些数据(使用http协议，需要5 - 8秒)，然后对数据进行计算(需要1 - 5秒)。

---

我认为我可以使用lwt来实现这些，但我不能找出效率的最佳方法。

---

对于任务调度部分，我可以这样做(如何在OCaml中调度任务?):

let rec start () = 
  (Lwt_unix.sleep 1.)  >>= (fun () -> print_endline "Hello, world !"; start ())
let _ = Lwt_main.run (start())  

---

问题来自实际的do_task部分。

所以一个任务涉及http download和computation。

http download部分必须等待5到8秒。如果我真的一个一个地执行每个任务，那么就会浪费带宽，当然，我希望所有任务的下载过程都是并行的。那么我应该把这个下载部分放到lwt吗?LWT会并行处理所有下载吗?

通过代码，我应该这样做吗?:

let content = function
  | Some (_, body) -> Cohttp_lwt_unix.Body.string_of_body body
  | _ -> return ""

let download task = 
  Cohttp_lwt_unix.Client.get ("http://dataserver/task?name="^task.name)
let get_data task = 
  (download task)  >>= (fun response -> Lwt.return (Content response))
let do_task task = 
  (get_data task) >>= (fun data -> Lwt.return_unit (calculate data))

---

那么，通过上面的代码，是否所有任务都是并行执行的，至少对于http download部分是这样?

对于计算部分，所有的计算是否按顺序执行?

此外，谁能简单描述一下lwt的机制?在内部，light weight thread的逻辑是什么?为什么它可以并行处理IO ?

Answer 1

要使用lwt进行并行计算，可以检查lwt_list模块，特别是iter_p。

val iter_p : ('a -> unit Lwt.t) -> 'a list -> unit Lwt.t

iter_p f l对l的每个元素调用函数f，然后等待所有线程结束。对于您的目的，它看起来像:

let do_tasks tasks = List.iter_p do_task tasks

假设"tasks"是一个任务列表