我使用Nutch，我想为intranet建立索引，但如何确保intranet上的所有内容都将被索引？
谢谢。
如果您知道intranet的所有URL，那么编写一个robots.txt（或一个包含所有URL的等效页面，并将爬网程序指向它）。
如果你不这样做，那么你就永远无法确保你已经爬网了所有的url，因为你无法在爬网后验证它。
在最后一种情况下，最好的机会是在最大深度爬行。
问候
相关内容
- 没有找到相关文章
最新更新
- Check for alt + key js
- 我如何检查一个文件名后缀对很多选项简洁?
- 尝试将整数转换为ACGT DNA序列
- 从具有相似前缀的列中划分元素
- 为什么我的一些网站内容没有加载?
- MySQL SELECT没有找到已知值
- 新的r，抓取列值时，知道另一个
- 使用Accord.Video.FFMPEG，我得到了"parameter is not valid exception"。我该如何解决？
- c -如何获得exec()的输出?
- r语言 - 我如何将我的数据帧从宽格式转换为长格式，在不同的时间记录变量?
- 如何在boost multi_array容器中存储值?
- 单独的页面vs更新同一页面上的组件
- 如何创建唯一索引，这需要一组属性是唯一的?
- 如何触发按钮与键盘和活动
- 验证中的问题
- 在java中用空格替换撇号
- 将请求发送到多环境公共包中的适当API
- r语言 - 当变量由几个部分组成时，将 tibble 转换为长格式
- 返回填充空值的每个月的最新值
- 如何在循环内外使用来自user的输入变量
- 如何通过从网站的前端发出 ajax 请求(在同一域上内置 react )来获取 wordpress 中的当前用户 ID
- 标记器更改词汇表条目
- python请求和concurrent.futures问题
- 删除新提要中不存在的旧行
- 如何在颤振中将可变大小的小部件剪辑为固定大小?
- 限制安排数量
- 在r的嵌套列表内计算
- JavaScript使用自定义布尔值对日期排序
- Quarkus K8S操作器-运行测试时NoSuchField异常
- 从抓取数据中重新格式化字符串以满足关键字参数
热门标签：
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium