我尝试在我的网站中实现Sphider网络搜索并开始索引。有两种意见:URL必须包含/URL不能包含。我必须使用正则表达式,并希望为我知道链接结构的网站编制索引,并且我想抓取包含http://example.com/frage/....
的所有网址
当我放入正则表达式字段时*/frage/
它不起作用,因为禁止访问索引。我也尝试了*/frage
和*/frage/
.
我该如何处理?
如果其他人正在寻找解决方案,我想出了:
/example.com(/?)($|frage)/