爬虫和ajax应用程序之间的关系如何?
网络爬虫或浏览器读取动态创建的元标签吗?
我想到了:
- 将锚添加到页面
- 创建指向 内容的永久链接
- 动态添加meta标签。
更新在谷歌如何处理SEO与JavaScript:https://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157在这一点上看起来很好，所以我将忽略我在这个阶段写的大部分内容。
初始那样:从实际意义上讲，JavaScript对SEO没有多大帮助。搜索引擎看到的大部分是原始文本，就像你看到的页面源代码一样。搜索引擎不会在这个页面源代码上运行JavaScript，它实际上就像你在看它的大部分。一个更有用的方法是解释如何在使用AJAX的同时使你的网站与SEO兼容，而不是依赖于对搜索引擎爬行JavaScript的非常有限的支持。如果你知道这个公式，这是非常直接的。
首先要明白你是否应该这样做。对于初学者来说，如果你的网站主要是基于编程的形式或HTML5游戏，那么你就不需要担心SEO，只需设置初始元标签并在页面上提供内容来解释它的内容。如果你有一个基于内容的网站，特别是一个基于电子商务的网站，这是一个不同的故事，你需要非常小心，所有的内容都是可搜索的，然后添加AJAX作为冰。
我的背景是创建SEO和社会友好的电子商务网站，有AJAX交互性服务的产品视图和内容。我还创建了许多基于信息的网站，这些网站通过与SEO兼容的AJAX提供内容。如果你访问我的个人资料，你可以看到几个网站，这是发生如http://www.klim.com/en-us/shop(电子商务的例子)和http://www.kitgui.com/docs(纯内容的例子)。这些网站在执行方面非常高端，有些网站在我承担的项目规模方面接近10万大关。换句话说，客户是非常认真的，期望一个巨大的投资回报，所以SEO是非常重要的。
这个方法比Google的提议更简单，更容易理解。
- 让你的网站在没有AJAX的情况下工作。所提供的任何内容都应该通过一个唯一的URL直接链接，从而导致浏览器发出另一个请求(而不是一个带有散列标签的URL)。第一步，专注于简单的内容服务。
- 无论你想要的内容服务使用AJAX，使用jQuery和附加一个点击事件来取消当前的点击行为，然后使用jQuery的"加载"方法来绘制内容通过AJAX和填充你的页面上的内容区域。确保每次执行此操作时都将URL上的哈希值设置为相对于根的实际URL，但以哈希标签的形式追加，例如:/myoriginalURL#/mynewurl，因此哈希值之后的内容是您要访问的实际URL。 注意支持hashchange事件，直到HTML5历史操作得到更多支持。这将允许您使用历史后退/前进按钮和书签。
如果你想看到实际的实现，我在Stack Overflow上回答了另一个相关的帖子，你可以在这里找到->看到的帖子非常详细，并解释了如何在现实世界的场景中做到这一点。
在所有这些关于搜索引擎优化的喋喋不休中，不要忘记这些增加网站流量的其他方法的重要性:
- 打开图
- 语义网 社交点赞(Facebook, Twitter, Disqus, AddThis等)
Google是目前唯一支持动态创建内容索引的搜索引擎。这还需要遵循他们的可爬行Ajax建议。不遵循他们的建议意味着内容将不会被抓取或索引。元标签不属于该提案，但这没关系，因为元标签不影响页面的排名。
仅供参考，通常使用Ajax或JavaScript生成所有内容是一个非常糟糕的主意。