编辑 robots.txt.liquid
Google 等搜索引擎会不断抓取 Internet,以搜索新数据作为搜索结果的来源。robots.txt
会告知搜索引擎机器人(即爬虫)可从在线商店请求查看哪些页面。所有 Shopify 商店都有一个最适合搜索引擎优化 (SEO) 的默认 robots.txt
文件。
搜索引擎会使用您的站点地图将您的在线商店放在搜索引擎结果中。了解如何查找和提交站点地图。
概述
默认 robots.txt
文件适用于大多数商店,但您可以通过 robots.txt.liquid 模板样式编辑该文件。您可以进行以下编辑:
- 允许或不允许抓取某些 URL
- 为某些爬虫添加抓取延迟规则
- 添加额外的站点地图 URL
- 阻止某些爬虫
robots.txt
文件位于 Shopify 商店的主域名的根目录。例如:example.com/robots.txt
。
编辑 robots.txt.liquid
如果您想编辑 robots.txt.liquid
文件,那么您应该与 Shopify 合作伙伴合作或在代码编辑和 SEO 方面具有专业知识。
您可以使用 Liquid 从 robots.txt.liquid
模板中添加或删除指令。此方法使 Shopify 可在将来继续自动更新文件,因此推荐使用此方法。有关编辑此文件的完整指南,请参阅 Shopify 的开发人员页面自定义 robots.txt.liquid。
在编辑 robots.txt.liquid
文件之前,请删除任何以前的自定义项或解决方法,例如使用 Cloudflare 等第三方服务。
步骤:
在 Shopify 后台中,转到设置 > 应用和销售渠道。
在应用和销售渠道页面中,点击Online store。
点击打开销售渠道。
点击模板。
点击 ... 按钮,然后点击编辑代码。
点击添加新模板,然 后选择机器人。
点击创建模板。
对默认模板执行所需更改。有关 Liquid 变量和常见用例的详细信息,请参阅 Shopify 的开发人员页面自定义 robots.txt.liquid。
在已发布的模板中保存对 robots.txt.liquid 文件的更改。
更改会即时生效,但爬虫并不总是会立即响应。您可以使用 Google 的 robots.txt 测试程序来测试更改。
您还可以删除模板的内容,并将其替换为纯文本规则。强烈建议不要使用此方法,因为规则可能已过期。如果您选择此方法,Shopify 将无法确保一段时间之后可将 SEO 最佳做法应用于您的 robots.txt,或根据未来的更新对文件进行更改。
删除 robots.txt.liquid 自定义项
如果您想再次使用默认 robots.txt
文件,请保存 robots.txt.liquid
模板自定义项的副本,因为您需要删除该模板,但此操作无法撤销。
步骤:
在 Shopify 后台中,转到设置 > 应用和销售渠道。
在应用和销售渠道页面中,点击Online store。
点击打开销售渠道。
点击模板。
点击 ... 按钮,然后点击编辑代码。
点击 robots.liquid,然后点击删除文件。
如果您仍要删除 robots.txt.liquid,请点击删除文件。
您以后始终可以编辑 robots.txt.liquid
文件;或者,如果您保存了以前的自定义项,则可以通过复制之前保存的自定义项来恢复更改。