AdSense爬虫访问受密码保护的页面

AdSense爬虫访问受密码保护的页面

Crawler 是 Google 用来在数据库中抓取网页和索引页面的一段软件代码。 AdSense 抓取工具会检查您网页的内容,以便提供与您的内容相关的更好且相关的广告。 每个 AdSense 发布商都应该了解 AdSense 爬虫的基础知识,以便 产生更多收入 并了解如何解决某些 AdSense 问题。

推荐:WordPress广告插件Advanced Ads Pro+ addons

这是解释有关 AdSense 爬虫的详细信息以及为受密码保护的页面启用爬虫访问的文章。

    • 谷歌使用不同的爬虫(也称为蜘蛛或机器人)用于不同的目的。 例如,用于网络搜索的爬虫、移动搜索、谷歌站长工具和 AdSense 是完全不同的。 您在您的 站长工具 帐户与您在 AdSense 帐户中看到的 AdSense 抓取工具错误无关。 这意味着解决 AdSense 抓取工具错误不会解决您的网站管理员工具帐户中显示的错误。 但谷歌在爬虫之间共享缓存,以避免每个爬虫尝试分别访问相同的内容并增加您网站的负载。
  • AdSense 抓取工具每周更新一次抓取信息。 目前没有为发布者提供增加或减少抓取频率的选项。
  • AdSense 抓取工具将每个域和子域视为不同的站点。 Example.com 和 www.example.com 被视为两个不同的站点。
  • AdSense 抓取工具仅访问显示 AdSense 广告的网页,并且可以使用 robots.txt 文件阻止。 的情况下 重定向,首先访问原始页面以确保启用重定向,因此尽管广告显示在重定向页面上,但访问日志仍将显示原始页面的详细信息。

在受密码保护的网页上显示 AdSense 广告

AdSense 设置

AdSense 设置

通常使用密码保护页面以防止未经授权的访问。 例如,具有登录访问权限的会员内容通常受用户 ID 和密码保护。 AdSense 爬虫无法访问受密码保护页面背后的内容,因此尽管放置了 AdSense 广告代码,但广告不会显示在这些页面上。 为了克服这种情况,网站管理员需要提供对 AdSense 爬虫的访问权限,以便内容可以被索引并显示相关的广告。

    • 登录您的 AdSense 帐户并点击齿轮图标以访问“设置”。
  • 导航到“访问和授权”选项卡下的“爬虫访问”部分。


 

为了提供对 AdSense 抓取工具的访问权限,您应该在 Google 网站管理员工具帐户中添加并验证您的网站。 验证帐户后,单击添加登录按钮,如下图所示。

AdSense 抓取工具登录

AdSense 抓取工具登录

您将看到一个弹出屏幕并要求填写详细信息。 假设您的站点中有一个付费会员部分,其结构如下:

AdSense 爬虫的登录页面访问示例

AdSense 爬虫的登录页面访问示例

输入以下详细信息:

    • 受限目录或 URL – 例如:yoursite.com/paidmembers
  • 登录 URL – 例如:yoursite.com/paidmembers/login.php

只要有密码保护,登录页面和受保护的内容页面就是两个不同的页面。

    • 登录方——发布
  • 参数——用户名和密码
AdSense 抓取工具登录访问的输入

AdSense 抓取工具登录访问的输入

    • 点击“测试登录”按钮,测试 AdSense 爬虫能否成功访问您的受保护网页。
  • 单击“添加登录”以提供最终访问权限。

现在 AdSense 抓取工具可以抓取登录页面后面的内容并将其编入索引,并向访问者投放相关广告。

推荐:最近浏览的产品YITH WooCommerce Recently Viewed Products Premium


发表评论