X-Robots-Tag'的格式;之后不可用

Question

此处的信息-https://yoast.com/robots-meta-tags/-声明如下：

Note: Must be in RFC850 format (e.g., Monday, 15-Aug-05 15:52:01 UTC).

但是爷爷自己的例子https://developers.google.com/search/reference/robots_meta_tag-显示：

X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

那么，谁是正确的呢？因为我使用的是C#，所以如果我必须满足所有不同的时区，就没有简单的方法来创建DateTime。

Answer 1

X-Robots-Tag的规范在这里。这是关于unavailable_after:的日期格式的说明

日期/时间必须以广泛采用的格式指定，包括但不限于RFC 822、RFC 850和ISO 8601。

因此，不幸的是，格式没有精确指定，您确实需要能够解析多种可能未知的格式，才能编写一个适用于所有一致标记的爬网程序。