是否有办法限制Dispatch接收到的HTTP响应正文大小

Question

我使用Dispatch下拉很多页面，其中我只需要前几个K，而且这些页面有时是千兆字节。在scala调度（dispatch/reboot）中，或者在HTTP请求中，是否有任何方法可以截断接收到的正文？

（上下文：我正在从公共数据源读取CSV文件，只是试图获取字段名（标题行）和一行示例数据。）

Answer 1

您可以使用>处理程序，它使您可以访问底层的com.ning.http.client.Response实例。从那里，它很简单：

import java.io._
import dispatch._, Defaults._
import com.ning.http.client.Response
def excerpt(bytes: Int) = {
  response: Response =>
    response.getResponseBodyExcerpt(100, "UTF-8")
}
def lines(count: Int) = {
  response: Response =>
    val stream = response.getResponseBodyAsStream
    val reader = new BufferedReader(new InputStreamReader(stream))
    Stream.continually(reader.readLine()).take(count).toList
}
val u = url("http://stackoverflow.com/")
Http(u > excerpt(100)).onComplete(println)
Http(u > lines(2)).onComplete(println)

您也可以尝试使用Range标头向服务器请求较小的字节间隔。这需要服务器支持，可以使用HEAD请求进行测试，然后查找Accept-Ranges: bytes响应标头。