今天在写爬虫的时候遇到了一个app的接口,需要传request的Content-Length,如果不传或者Content-Length不正确就会返回不相关的信息,在网上找了一些,感觉比较少说这个问题的,记录一下

Content-Length的了解

在HTTP协议中,Content-Length用于描述HTTP消息实体的传输长度the transfer-length of the message-body。——http 响应头里content-length 的几种情况

注意:表示的是request body的大小,所以只需要计算传入的data就可以了。

Content-Length的计算

当时百度了一下有一位同学写的计算方法:Content-Length如何计算,不过不太适合我的项目。

  1. 错误的计算方法
    Content-Type是application/json,我首先试了一下将data转json,然后通过len(json_str)计算是错误的
  2. 暂时正确的计算方法
    其实很简单,通过len(data)就获取到了正确的content-length,但是要对它进行转换,转换成字符类型才可以赋值到header,也就是最终是headers[‘Content-Length’] = str(len(data))
  3. 疑问
    通过网上查资料,如果前端可以通过gzip压缩的话,那么content-length会是压缩后的大小,不清楚后端是不是可以指定必须要压缩,如果指定了,压缩后的content-length又该如何计算?

更多推荐

Pytho爬虫获取request的content-length