【緊急】禁止國內搜索引擎訪問自己網站，防止AI竊取你的勞動成果

myboss

這年頭，openAI人工智能的興起，什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清華大學智譜清言、訊飛星火、騰訊混元....
他們都在訓練大模型，投喂給這些人工智能人類的知識，這些知識哪里來？
通過爬蟲，沒事來你的網站，收集你的數據，卻不收錄你網站，更別提給流量了！
原本屬于你的流量都給別人了！
只有那些谷歌搜索、必應搜索等國外搜索，公正些！
國內，還是建議用戶采用 “必應”

只允許谷歌搜索、必應搜索爬蟲的robots

1. 
   
2. User-Agent: Googlebot
   
3. Allow: /
   
4. Disallow:
   
5. User-Agent: bingbot
   
6. Allow: /
   
7. Disallow:
   
8. 
   
9. User-Agent: *
   
10. Disallow: /
    
11. 自定義區
    

復制代碼

DZ論壇能用的robots

游客，如果您要查看本帖隱藏內容請回復

知乎的robots文件分析解讀：
騰訊、搜狗、百度對知乎都有投資，所以，只保留了百度、搜狗。
北京智者天下科技有限公司為什么這樣做？還不是怕AI，保護自己的利益！
中小微企業、個人站長該怎么辦？
學知乎，把所有搜索引擎都屏蔽了，只保留給流量的搜索引擎。
建議只保留必應，Google，剩下的搜索引擎不公正，捧他們也沒啥用。
3和Q大戰，說明什么？
國內都是明著、暗里斗爭的！
有沒有覺得，你是暗里斗爭的犧牲品？
明著意思是打著收錄優秀網站的幌子，其實就是間接打壓其他人。
不收錄，能省搜索引擎的服務器資源，還有巨大的利益，把流量都引導自己家的網站，什么知道、什么百科、什么貼吧等，
看看谷歌作為搜索一哥，從不搞這些花花腸子，把自家服務置頂，更是沒有谷歌知道、谷歌百科等侵犯站長利益的網站。
必應搜索也是，為什么他們都那么公正，是因為國外反競爭法很嚴格。
國內沒指望了，那些3、百等公司都是跟上面有合作的，兼職紅客， 負責防御工作，要不怎么跟美國斗網絡？
缺人才，滴哄著來，狠了，就跑美國了！

以下是知乎的robots文件：

1. User-agent: Baiduspider-news
   
2. Disallow: /appview/
   
3. Disallow: /login
   
4. Disallow: /logout
   
5. Disallow: /resetpassword
   
6. Disallow: /terms
   
7. Disallow: /search
   
8. Allow: /search-special
   
9. Disallow: /notifications
   
10. Disallow: /settings
    
11. Disallow: /inbox
    
12. Disallow: /admin_inbox
    
13. Disallow: /*?guide*
    
14. 
    
15. User-agent: Baiduspider
    
16. Disallow: /appview/
    
17. Disallow: /login
    
18. Disallow: /logout
    
19. Disallow: /resetpassword
    
20. Disallow: /terms
    
21. Disallow: /search
    
22. Allow: /search-special
    
23. Disallow: /notifications
    
24. Disallow: /settings
    
25. Disallow: /inbox
    
26. Disallow: /admin_inbox
    
27. Disallow: /*?guide*
    
28. 
    
29. User-agent: Baiduspider-render
    
30. Disallow: /appview/
    
31. Disallow: /login
    
32. Disallow: /logout
    
33. Disallow: /resetpassword
    
34. Disallow: /terms
    
35. Disallow: /search
    
36. Allow: /search-special
    
37. Disallow: /notifications
    
38. Disallow: /settings
    
39. Disallow: /inbox
    
40. Disallow: /admin_inbox
    
41. Disallow: /*?guide*
    
42. 
    
43. User-agent: Baiduspider-image
    
44. Disallow: /appview/
    
45. Disallow: /login
    
46. Disallow: /logout
    
47. Disallow: /resetpassword
    
48. Disallow: /terms
    
49. Disallow: /search
    
50. Allow: /search-special
    
51. Disallow: /notifications
    
52. Disallow: /settings
    
53. Disallow: /inbox
    
54. Disallow: /admin_inbox
    
55. Disallow: /*?guide*
    
56. 
    
57. User-agent: Sogou web spider
    
58. Disallow: /appview/
    
59. Disallow: /login
    
60. Disallow: /logout
    
61. Disallow: /resetpassword
    
62. Disallow: /terms
    
63. Disallow: /search
    
64. Allow: /tardis/sogou/
    
65. Disallow: /notifications
    
66. Disallow: /settings
    
67. Disallow: /inbox
    
68. Disallow: /admin_inbox
    
69. Disallow: /*?guide*
    
70. 
    
71. User-Agent: *
    
72. Disallow: /
    

復制代碼

淘寶更加嚴格，直接屏蔽了所有搜索引擎。現
在是前后端分離，爬蟲根本無法爬內容，只能爬到標題。

國內搜索引擎再有市場，不給你流量也白扯！
有奶才是娘，我反正只留下了谷歌、必應。

qdkj

實在是坑啊

myboss

qdkj 發表于 2024-7-30 17:13
實在是坑啊

坑有的是整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄在百這邊至少滴熬3年以上，它才可能收錄。收錄也是排名很低，給用戶展示權重高的大網站（包括跟他合作的、愛企查、知道等），你的網站滴翻2頁才能看到，而且能看到一個網站首頁，已經是萬幸了。

必應、谷歌搜索，一搜你就排在前面，就好像他們知道你這個是官方網站一樣。
難道百不知道嗎？
用戶想找的是官方網站，他們就故意排后面，交3千每年就能企業認證，就排到前面。

以下主體，免費做企業認證。
主體適用對象：（1）政府機關、事業單位、醫院、殯儀館、學校、博物館、景區等公立機構。（2）央企、國企、世界500強和中國500強（500強企業名單，以上一年度《財富》雜志發布的名單為準）等知名企業。
中小微企業，滴交錢。哈哈。
谷歌是只要建站，就很快收錄網站首頁，內頁也有很多收錄的。用戶搜索，就把該給你的流量給予。百是截取各個中小微企業的流量，給別人。

huyuzhe

66666666666666666支持

qdkj

myboss 發表于 2024-7-30 17:58
坑有的是整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄在百這邊至少 ...

我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用

myboss

qdkj 發表于 2024-7-30 18:13
我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用 ...

未備案，更不容易被收錄了必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就把你該得流量，給你，但是前提還是滴備案

qdkj

myboss 發表于 2024-7-30 18:22
未備案，更不容易被收錄了必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就 ...

不想搞，反正也不會有線上客戶，被米拓搞怕了

myboss

qdkj 發表于 2024-7-30 18:22
不想搞，反正也不會有線上客戶，被米拓搞怕了

沒流量，哪里來客戶？
米拓怎么搞你了？

qdkj

myboss 發表于 2024-7-30 18:29
沒流量，哪里來客戶？
米拓怎么搞你了？

米拓的事你不知道啊，批量起訴侵權啊

myboss

qdkj 發表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權啊

版權不算搞算自己沒有遵守授權協議。
出來混，都滴交點學費的。
用dz就沒有版權糾紛允許商業化運營