如何防止谷歌网络爬虫将单个页面读取为两个不同的页面

Question

我有一个网页说我使用了example.com/blog/news.php代码：

RewriteEngine on 
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME}.php -f
RewriteRule ^(.*)$ $1.php [NC,L]

以隐藏文件扩展名.htaccess。但是谷歌抓取工具将example.com/blog/news.php和example.com/blog/news读取为两个不同的页面。请问我该如何防止这种情况，我试图将新闻.php页面重定向到新闻，但它返回了一条错误消息，说重定向很多或类似的东西。

Answer 1

您可以使用以下规则将.php网址 301 重定向到新的 (non-php) 格式，这样 Google 只会将您的新网址编入索引。

将以下右边放在RewriteEngine on和现有规则之前：

RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteRule ^([^.]+).php$ /$1 [L,R=301]