在抓取web robots.txt时很重要，甚至可以调节行为。但对于node.js网站来说，有必要拥有robot的.txt吗？此外，什么是网站地图，为什么需要它，正如我在下面的例子中发现的那样？
User-Agent: *
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
Disallow: /jobs/n/*
Disallow: /jobs/a/*
Disallow: /jobs/companies/n/*
Disallow: /jobs/companies/a/*
Sitemap: https://stackoverflow.com/sitemap.xml
我已经浏览了几个链接，想要一个简短的解决方案。此外，如果我没有robots.txt，我的网站是否更容易发生危险？
sitemap是一个XML文件，它包含网站上所有网页的列表以及元数据(元数据是与每个URL相关的信息(。与robots.txt文件的工作方式相同，网站地图允许搜索引擎在一个地方抓取网站上所有网页的索引。