防止爬行
主要文章：机器人排除标准
为了避免搜索索引中存在不良内容，网站管理员可以通过域根目录中的标准robots.txt文件指示蜘蛛不要抓取某些文件或目录。此外，可以使用特定于机器人的元标记（通常为<meta name =“robots”content =“noindex”>）从搜索引擎的数据库中明确排除页面。当搜索引擎访问某个站点时，robots.txt位于根目录中是第一个被抓取的文件。然后解析robots.txt文件，并指示机器人不要抓取哪些页面。由于搜索引擎抓取工具可能会保留此文件的缓存副本，因此有时可能会抓取网站管理员不希望抓取的网页。通常阻止被抓取的页面包括登录特定页面（例如购物车）和特定于用户的内容（例如来自内部搜索的搜索结果）。2007年3月，谷歌警告网站管理员，他们应该阻止对内部搜索结果进行索引，因为这些网页被视为搜索垃圾邮件。[46]

越来越突出
各种方法可以增加搜索结果中网页的突出性。在同一网站的页面之间交叉链接以提供更多重要页面的链接可以提高其可见性。[47] 编写包含频繁搜索的关键词短语的内容，以便与各种搜索查询相关，往往会增加流量。[47]更新内容以使搜索引擎经常回溯可能会给网站带来额外的影响。将相关关键字添加到网页的元数据（包括标题标签和元描述）将有助于提高网站搜索列表的相关性，从而增加流量。URL规范化通过多个网址可访问的网页，使用规范链接元素[48]或301重定向可以帮助确保链接到网址的不同版本都计入页面的链接流行度得分。

白帽与黑帽技术
SEO技术可以分为两大类：搜索引擎公司推荐的技术作为优秀设计的一部分（“白帽”），以及搜索引擎不赞同的技术（“黑帽”）。搜索引擎试图最小化后者的影响，其中包括垃圾索引。行业评论员将这些方法和使用它们的从业者分类为白帽 SEO或黑帽 SEO。[49]白帽子倾向于产生持续很长时间的结果，而黑帽子预计，一旦搜索引擎发现他们正在做的事情，他们的网站最终可能被暂时或永久禁止。[50]

如果SEO技术符合搜索引擎的指导并且不涉及欺骗，则它被认为是白帽子。由于搜索引擎指南[18] [19] [51]不是作为一系列规则或诫命编写的，因此这是一个值得注意的重要区别。白帽SEO不只是遵循指导原则，而是关于确保搜索引擎索引和随后排名的内容与用户将看到的内容相同。白帽建议通常被概括为为用户创建内容，而不是为搜索引擎创建内容，然后使在线“蜘蛛”算法可以轻松访问该内容，而不是试图从其预期目的欺骗算法。白帽SEO在许多方面类似于促进可访问性的网络开发，[52] 虽然两者并不完全相同。