在这种情况下，

nokedo6474

在这种情况下，您根本不必创建robots.txt，而是返回404页面。 通过 Calltouch 进​​行有效营销 在一个窗口中分析所有营销和销售 从广告印象到投资回报率的便捷仪表板和渠道 了解更多 平台 如何创建robots.txt 创建文件有三种方法，选择取决于您的目标和技能。

服务使使用 robots.txt 变得更加容易，但仍然需要手动更正。因此，对于每个选项，尽管程度不同，您都必须自己找出主题或联系专家。 手动创建 robots.txt 文件可以在任何文本编辑器中创建，例如记事本和 Microsoft Word。文档中规定了特殊的指令代码；它指示哪些元素不需要索引。

之后，它会以名为“robots”的 .txt 格式保存。 完成的文本文档将上传到带有站点名称的根文件夹，index.html 文件和基本引擎文件位于该根文件夹中。要将 robots.txt 上传到服务器，请使用： 服务器控制面板； CMS 中的控制台或控制面板； 任何 FTP 客户端。

系统每次都会联系机器人，了解网站上哪些内容可 菲律賓 電話號碼 以被索引，哪些内容不能。 在线生成器 特殊服务将帮助您自动生成所需的文件，例如，CY-PR网站上提供了这样的工具。对于同时拥有多个站点的人来说，生成器使工作变得更容易，因为注册每个站点的特征需要很长时间。

自动化将简化该过程，但您必须手动编辑自动生成的文件。为了消除可能的错误，您需要学习robots.txt的基本语法。 现成的模板 互联网上有许多适用于所有流行引擎（WordPress、Drupal）的 robots.txt 文件模板。该模板包含标准指令，因此不需要完全手动创建该文件。

如果考虑到项目的个体特征，您可以基于它创建高质量的robots.txt。但这也至少需要最少的语法知识，因为模板无法提供正确配置的、随时可用的文件。 Robots.txt 语法 如何配置robots.txt？针对  的 robots.txt 块可能看起来像这样。

评论 注释是搜索引擎完全忽略的行。它们以#符号开头。他们需要记录文件中行执行的操作。建议在 robots.txt 中记录每个指令，以便可以将其删除或编辑。 用户代理指令 这是一个使用User-agent指令向搜索引擎和机器人发出指令的块。例如，如果您想分别为 Yandex 和  设置规则。