什么是Google AdSense抓取工具

什么是Google AdSense抓取工具

爬虫是一段软件代码,用于收集互联网上可用网页的信息并将其编入数据库中。 谷歌有很多爬虫来收集网络上不同类型的信息。 AdSense 爬虫 Google 的爬虫之一,用于收集网页内容的详细信息,以便在该页面上投放相关广告。 在本文中,我们将解释有关 AdSense 爬虫及其工作原理的更多详细信息。

推荐:如何修复Windows Asana无法正常工作加载

AdSense 抓取工具

Google 使用 AdSense 爬虫为那些显示 AdSense 广告的页面编制索引。 这有助于提供相关广告,并且不同于用于显示搜索引擎结果的网络爬虫。 以下是谷歌使用的一些爬虫:

爬虫名称(用户代理)

目的

谷歌机器人用于索引内容以显示在 Google 网络搜索结果中。 这也是用于智能手机的爬虫。
谷歌机器人图片用于索引图像以显示在 Google 图像搜索结果中。
Googlebot 新闻用于收集新闻提要以显示在 Google 新闻搜索结果中。
Googlebot-视频用于抓取网络上的视频以显示在视频搜索结果中。
Googlebot-移动用于功能手机上的 Google 移动搜索。
媒体合作伙伴-谷歌用于索引网页内容以显示相关的 Google AdSense 广告。

AdSense 抓取工具的基础知识

与抓取网络上所有页面的 Googlebot 不同,以下是一些不同用途的 GoogleAdSense 抓取工具:

  • AdSense 抓取工具只会尝试抓取放置了广告代码的网页。
  • 您可以在“抓取工具访问”部分下从您的 AdSense 帐户监控 AdSense 抓取工具错误并进行处理。 请记住,纠正 AdSense 的抓取工具错误不会对 Google Search Console 中显示的抓取工具错误产生任何影响,因为它们来自两个不同的机器人。
  • Google 不允许控制 AdSense 抓取工具的频率。 频率是自动的,任何更改的内容可能需要 1-2 周才能被编入索引。
  • https://yoursite.com 和 https://www.yoursite.com 被视为两个不同的站点,重定向的 URL 也会被抓取。
  • AdSense 抓取工具遵循与所有其他 Google 漫游器类似的 robots.txt 指令。
  • 您还可以提供对您网站上受密码保护的页面的访问权限以显示广告。 在此处了解更多信息。

使用 Robots.txt 控制 AdSense 抓取工具

在您的 robots.txt 文件中使用以下指令来阻止 AdSense 抓取工具:

User-agent: Mediapartners-Google
Disallow: /

您还可以阻止 Googlebot 以避免页面显示在搜索结果中,同时允许 AdSense 爬虫在网站上展示广告。

推荐:WordPress安全插件WP Defender Pro插件


发表评论