有無最安全的防止網站被網絡上所有爬蟲發現的辦法？

httpd · 发表于 2025-4-6 15:10:17

本帖最后由 httpd 于 2025-4-6 15:12 编辑

我目前採用robots.txt+.htpasswd的辦法，直到有一天我在某搜索引擎site:發現居然被索引了HTTP驗證的字樣，正經的蜘蛛都這樣，不正規的不是和去他家客廳一樣簡單

任播 · 发表于 2025-4-6 15:33:16

robots.txt 靠的是自觉

1121744186 · 发表于 2025-4-6 16:08:51

加人机验证码

		自动登录	找回密码
密码			立即注册