亚洲日韩中文字幕久热_青青草国产_四虎网站最新网址_亚洲色欲或者高潮影院_亚洲极色_99福利片_和搜子居同的日子hd高清看_国产精品久久久久7777按摩_啪啪国产视频_黄色www._色六月婷婷亚洲婷婷六月_亚洲成在人线在线播放无码_免费黄色亚洲_日产精品卡二卡三卡四卡乱码视频_欧美亚洲色帝国_国产二区免费视频_国产做a爰片久久毛片a片白丝_巨骚综合_无遮挡国产高潮视频免费观看_午夜精品久久久久9999高清

<menuitem id="d8ysw"></menuitem>

Discuz! 官方交流社區

標題: 【緊急】禁止國內搜索引擎訪問自己網站，防止AI竊取你的勞動成果 [打印本頁]

作者: myboss 時間: 2024-7-30 14:30
標題: 【緊急】禁止國內搜索引擎訪問自己網站，防止AI竊取你的勞動成果
這年頭，openAI人工智能的興起，什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清華大學智譜清言、訊飛星火、騰訊混元....
他們都在訓練大模型，投喂給這些人工智能人類的知識，這些知識哪里來？
通過爬蟲，沒事來你的網站，收集你的數據，卻不收錄你網站，更別提給流量了！
原本屬于你的流量都給別人了！
只有那些谷歌搜索、必應搜索等國外搜索，公正些！
國內，還是建議用戶采用 “必應”

只允許谷歌搜索、必應搜索爬蟲的robots

User-Agent: Googlebot
Allow: /
Disallow:
User-Agent: bingbot
Allow: /
Disallow:
User-Agent: *
Disallow: /
自定義區

復制代碼

DZ論壇能用的robots

知乎的robots文件分析解讀：
騰訊、搜狗、百度對知乎都有投資，所以，只保留了百度、搜狗。
北京智者天下科技有限公司為什么這樣做？還不是怕AI，保護自己的利益！
中小微企業、個人站長該怎么辦？
學知乎，把所有搜索引擎都屏蔽了，只保留給流量的搜索引擎。
建議只保留必應，Google，剩下的搜索引擎不公正，捧他們也沒啥用。
3和Q大戰，說明什么？
國內都是明著、暗里斗爭的！
有沒有覺得，你是暗里斗爭的犧牲品？
明著意思是打著收錄優秀網站的幌子，其實就是間接打壓其他人。
不收錄，能省搜索引擎的服務器資源，還有巨大的利益，把流量都引導自己家的網站，什么知道、什么百科、什么貼吧等，
看看谷歌作為搜索一哥，從不搞這些花花腸子，把自家服務置頂，更是沒有谷歌知道、谷歌百科等侵犯站長利益的網站。
必應搜索也是，為什么他們都那么公正，是因為國外反競爭法很嚴格。
國內沒指望了，那些3、百等公司都是跟上面有合作的，兼職紅客，負責防御工作，要不怎么跟美國斗網絡？
缺人才，滴哄著來，狠了，就跑美國了！

以下是知乎的robots文件：

User-agent: Baiduspider-news
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
User-agent: Baiduspider
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
User-agent: Baiduspider-render
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
User-agent: Baiduspider-image
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
User-agent: Sogou web spider
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /tardis/sogou/
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
User-Agent: *
Disallow: /

復制代碼

淘寶更加嚴格，直接屏蔽了所有搜索引擎。現
在是前后端分離，爬蟲根本無法爬內容，只能爬到標題。

國內搜索引擎再有市場，不給你流量也白扯！
有奶才是娘，我反正只留下了谷歌、必應。

作者: qdkj 時間: 2024-7-30 17:13
實在是坑啊

作者: myboss 時間: 2024-7-30 17:58

qdkj 發表于 2024-7-30 17:13
實在是坑啊

坑有的是

整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄

在百這邊至少滴熬3年以上，它才可能收錄。收錄也是排名很低，給用戶展示權重高的大網站（包括跟他合作的、愛企查、知道等），你的網站滴翻2頁才能看到，而且能看到一個網站首頁，已經是萬幸了。

必應、谷歌搜索，一搜你就排在前面，就好像他們知道你這個是官方網站一樣。
難道百不知道嗎？
用戶想找的是官方網站，他們就故意排后面，交3千每年就能企業認證，就排到前面。

以下主體，免費做企業認證。
主體適用對象：（1）政府機關、事業單位、醫院、殯儀館、學校、博物館、景區等公立機構。（2）央企、國企、世界500強和中國500強（500強企業名單，以上一年度《財富》雜志發布的名單為準）等知名企業。
中小微企業，滴交錢。哈哈。
谷歌是只要建站，就很快收錄網站首頁，內頁也有很多收錄的。用戶搜索，就把該給你的流量給予。百是截取各個中小微企業的流量，給別人。

作者: huyuzhe 時間: 2024-7-30 18:03
66666666666666666支持

作者: qdkj 時間: 2024-7-30 18:13

myboss 發表于 2024-7-30 17:58
坑有的是整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄在百這邊至少 ...

我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用

作者: myboss 時間: 2024-7-30 18:22

qdkj 發表于 2024-7-30 18:13
我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用 ...

未備案，更不容易被收錄了

必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起

交3千每年，百就把你該得流量，給你，但是前提還是滴備案

作者: qdkj 時間: 2024-7-30 18:22

myboss 發表于 2024-7-30 18:22
未備案，更不容易被收錄了必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就 ...

不想搞，反正也不會有線上客戶，被米拓搞怕了

作者: myboss 時間: 2024-7-30 18:29

qdkj 發表于 2024-7-30 18:22
不想搞，反正也不會有線上客戶，被米拓搞怕了

沒流量，哪里來客戶？
米拓怎么搞你了？

作者: qdkj 時間: 2024-7-30 18:37

myboss 發表于 2024-7-30 18:29
沒流量，哪里來客戶？
米拓怎么搞你了？

米拓的事你不知道啊，批量起訴侵權啊

作者: myboss 時間: 2024-7-30 18:41

qdkj 發表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權啊

版權不算搞

算自己沒有遵守授權協議。
出來混，都滴交點學費的。
用dz就沒有版權糾紛

允許商業化運營

作者: qdkj 時間: 2024-7-30 18:46

myboss 發表于 2024-7-30 18:41
版權不算搞算自己沒有遵守授權協議。
出來混，都滴交點學費的。
用dz就沒有版權糾紛允許商業化運營 ...

我測試用的，它們的LOGO都沒改，無差別起訴

作者: myboss 時間: 2024-7-30 18:53

qdkj 發表于 2024-7-30 18:46
我測試用的，它們的LOGO都沒改，無差別起訴

不是備案網站，還能抵賴一下

網上建站就是使用了，本地能測試，只要網上能打開，就不是測試了，就屬于網站發布了，沒改logo屬于你沒來的及改。
授權費才2000元，不算貴，當支援開發了

作者: 羅永浩 時間: 2024-7-31 01:37
沒蛋用，又不看你的規則

作者: TaC 時間: 2024-7-31 07:59
這個提議非常明智

作者: TaC 時間: 2024-7-31 08:05

qdkj 發表于 2024-7-30 18:13
我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用 ...

如果不備案，為什么選擇國內主機？直接用國外的，便宜，少傷腦子。
網站留下公司聯系地址，電話，及國家工商信息的鏈接，相互對映，就證明公司的真實，合法性了。
可以說，你今天建站，明后天就可能查看網站信息。但不要使用國內引擎

作者: myboss 時間: 2024-7-31 09:14

羅永浩發表于 2024-7-31 01:37
沒蛋用，又不看你的規則

能防一部分，主要還是想必應給點流量。
設置游客不能瀏覽，就徹底防住了蜘蛛。

作者: 海哥 時間: 2024-7-31 12:45
頂樓主啦..希望樓主多發精品好帖啦.....

作者: 海哥 時間: 2024-7-31 12:47
對頭，有道理。國內這些做大了的企業就是這樣的。不是舔人家國外的企業，國內有的企業確實在格局上面差些東西

作者: myboss 時間: 2024-7-31 13:29

海哥發表于 2024-7-31 12:47
對頭，有道理。國內這些做大了的企業就是這樣的。不是舔人家國外的企業，國內有的企業確實在格局上面差些東 ...

利用自己瀏覽器、安全軟件市場份額，攔截中小微企業的網站及廣告，恐嚇用戶??明著是保護用戶，其實是為了自己商業利益。
自己可以彈廣告，別人不允許。
搞得中小微企業都搭建APP，不提供網頁服務。以應對瀏覽器攔截網頁，安全軟件屏蔽廣告。

作者: 海哥 時間: 2024-7-31 13:41

myboss 發表于 2024-7-31 13:29
利用自己瀏覽器、安全軟件市場份額，攔截中小微企業的網站及廣告，恐嚇用戶??明著是保護用戶，其實是為了 ...

哈哈，你說的是某60吧。我都給他卸載了。

作者: myboss 時間: 2024-7-31 13:53

海哥發表于 2024-7-31 13:41
哈哈，你說的是某60吧。我都給他卸載了。

其他瀏覽器也一樣，篡改網站播放器

播放源是網站的，廣告換成瀏覽器的。花錢的事情別人來，賺錢的事情自己來。

作者: 海哥 時間: 2024-7-31 13:57

myboss 發表于 2024-7-31 13:53
其他瀏覽器也一樣，篡改網站播放器播放源是網站的，廣告換成瀏覽器的。花錢的事情別人來，賺錢的事情自己 ...

沒法子，哎，

作者: 海哥 時間: 2024-7-31 13:57

myboss 發表于 2024-7-31 13:53
其他瀏覽器也一樣，篡改網站播放器播放源是網站的，廣告換成瀏覽器的。花錢的事情別人來，賺錢的事情自己 ...

我們自己人壞起來比歪果仁更壞

作者: 9527 時間: 2024-8-1 17:36
有道理，搜索引擎是不是也快到了要退出歷史舞臺的時候了？

作者: myboss 時間: 2024-8-1 18:39

9527 發表于 2024-8-1 17:36
有道理，搜索引擎是不是也快到了要退出歷史舞臺的時候了？

只是減少市場份額而已，只要大家都禁止搜索引擎，它才會退出歷史舞臺。

作者: 巡山山大王 時間: 2024-8-1 20:01

來看看

作者: qdkj 時間: 2024-8-3 21:12

TaC 發表于 2024-7-31 08:05
如果不備案，為什么選擇國內主機？直接用國外的，便宜，少傷腦子。
網站留下公司聯系地址，電話，及國家 ...

國內客戶不會用國外的搜索引擎

作者: 470342341 時間: 2024-8-4 20:34
快了現在都基本上是“圈內”流量了都是在app 內搜自身的數據！

作者: myboss 時間: 2024-8-5 00:25

qdkj 發表于 2024-8-3 21:12
國內客戶不會用國外的搜索引擎

那就推薦客戶用bing
bing現在個人感覺比百度體驗好。
百度搜索，加gpt了，加載有點緩慢。
很多內容沒bing結果多。

作者: amw111 時間: 2024-8-5 03:58
11111111111

作者: 為愛守候 時間: 2024-8-5 08:12
..........

作者: 巡山山大王 時間: 2024-8-5 08:16

作者: 港城君 時間: 2024-8-5 13:30

qdkj 發表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權啊

具體是怎么樣？

能簡單說一些情況嗎

作者: 港城君 時間: 2024-8-5 13:32

myboss 發表于 2024-7-31 09:14
能防一部分，主要還是想必應給點流量。
設置游客不能瀏覽，就徹底防住了蜘蛛。 ...

請問：蜘蛛是指國外IP的機器人在自己的論壇注冊新會員嗎？

作者: myboss 時間: 2024-8-5 13:51

港城君發表于 2024-8-5 13:32
請問：蜘蛛是指國外IP的機器人在自己的論壇注冊新會員嗎？

那是發廣告機，自動注冊+發廣告，不算蜘蛛

高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面上很少見到

操作蜘蛛的是人，人總會有辦法繞過一切障礙。等網站有價值了，自然會有人來搞你。

作者: 港城君 時間: 2024-8-5 17:26

myboss 發表于 2024-8-5 13:51
那是發廣告機，自動注冊+發廣告，不算蜘蛛高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面 ...

你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

其實我論壇還沒上線。

作者: 港城君 時間: 2024-8-5 17:28

myboss 發表于 2024-8-5 13:51
那是發廣告機，自動注冊+發廣告，不算蜘蛛高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面 ...

等網站有價值了，自然會有人來搞你。

------------------------------------

這話怎么說？對方具體怎么搞我？

自己應該如何防備這些？

作者: myboss 時間: 2024-8-5 20:08

港城君發表于 2024-8-5 17:28
等網站有價值了，自然會有人來搞你。

------------------------------------

ddos、dns等攻擊，阻止你網站用戶量增長，多為競爭對手搞的。
頂級黑客有可能就是服務器linux系統開發工程師，面板、nginx、數據庫、cms、插件的開發者....故意留漏洞，不公開。

鬼市成交，一個漏洞上千萬都有可能。
頂級黑客盜你網站數據

防不住。
就跟某大學，網絡工程師不滴很多，被美國盜取數據一樣，當然也不排除這個大學疏忽管理。
各種安全軟件全用上，24小時監控，安全工程師（紅客）24小時待命，隨時組織防御，或許能防御的住，必要的時候，拔服務器網線。

這組織配置，花銷不少呢。

作者: myboss 時間: 2024-8-5 20:12

港城君發表于 2024-8-5 17:26
你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

注冊機而已

來你論壇，宣布爬墻軟件，之后宣傳大法好，詆毀某黨，加入他們。
那些文章都是假的，意識淡薄的人，確實容易相信。

作者: myboss 時間: 2024-8-6 16:21

巡山山大王發表于 2024-8-5 08:16

https://www.quooo.com 打不開了

作者: 470342341 時間: 2024-8-7 10:44

港城君發表于 2024-8-5 17:26
你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

臺灣ip 可以直接屏蔽都是非法的

作者: 港城君 時間: 2024-8-7 13:38

myboss 發表于 2024-8-5 20:12
注冊機而已來你論壇，宣布爬墻軟件，之后宣傳大法好，詆毀某黨，加入他們。
那些文章都是假的，意識淡薄 ...

現在新注冊會員，都要審核才能通過

盡量不會讓他們亂來

作者: 港城君 時間: 2024-8-7 13:40

myboss 發表于 2024-8-5 20:08
ddos、dns等攻擊，阻止你網站用戶量增長，多為競爭對手搞的。
頂級黑客有可能就是服務器linux系統開發工 ...

聽你這樣說，我更害怕了。

因為我是電腦小白，加上預算原因，導致論壇一直沒正式上線。

怕上線后，黑客對我論壇下手。唉。

作者: 港城君 時間: 2024-8-7 13:41

470342341 發表于 2024-8-7 10:44
臺灣ip 可以直接屏蔽都是非法的

具體怎么屏蔽？

我現在一般都不通過他們的注冊提交請求

作者: myes 時間: 2024-8-7 14:07
國內爬蟲根本不遵守協議

作者: 470342341 時間: 2024-8-7 15:19

港城君發表于 2024-8-7 13:41
具體怎么屏蔽？

我現在一般都不通過他們的注冊提交請求

如果使用 cdn 有些可以選擇攔截地區攔截臺灣就可以了

作者: 港城君 時間: 2024-8-7 17:37

470342341 發表于 2024-8-7 15:19
如果使用 cdn 有些可以選擇攔截地區攔截臺灣就可以了

現在我論壇什么都沒有設置

導致現在不敢上線

唉。

作者: myboss 時間: 2024-8-7 18:05

港城君發表于 2024-8-7 13:40
聽你這樣說，我更害怕了。

因為我是電腦小白，加上預算原因，導致論壇一直沒正式上線。

前期就是練手，多備份，多還原，就可以。
黑客頂多是篡改頁面

域名在自己手里，就不怕他改

作者: myboss 時間: 2024-8-7 18:06

myes 發表于 2024-8-7 14:07
國內爬蟲根本不遵守協議

論壇限制權限訪問，內容付費才能觀看.....不怕它們

作者: huyuzhe 時間: 2024-8-8 09:48
再來一遍

作者: myboss 時間: 2024-8-9 10:30

470342341 發表于 2024-8-7 15:19
如果使用 cdn 有些可以選擇攔截地區攔截臺灣就可以了

中國同胞被你攔截了

正確做法，是審核頭像、內容，就可以

作者: 470342341 時間: 2024-8-9 16:36

myboss 發表于 2024-8-9 10:30
中國同胞被你攔截了正確做法，是審核頭像、內容，就可以

沒用小網站沒真實用戶，全是那啥，站內消息都是廣告還有廣播很麻煩直接屏蔽了

作者: TaC 時間: 2024-8-15 13:32

qdkj 發表于 2024-8-3 21:12
國內客戶不會用國外的搜索引擎

可以注明一下使用電腦默認瀏覽器或必應。微軟的作用率不會底

作者: myboss 時間: 2024-8-19 13:24

470342341 發表于 2024-8-9 16:36
沒用小網站沒真實用戶，全是那啥，站內消息都是廣告還有廣播很麻煩直接屏蔽了 ...

改注冊地址

臺灣同胞，從不光臨我們網站

作者: amw111 時間: 2024-8-21 03:52
1111111111111

作者: 付興森 時間: 2024-9-26 23:22
頂頂頂頂頂頂頂頂頂頂頂頂頂

作者: 風吹故人香 時間: 2024-10-4 06:24

User-Agent: Googlebot
Allow: /
Disallow:
User-Agent: bingbot
Allow: /
Disallow:

User-Agent: *
Disallow: /
自定義區

作者: jy1688 時間: 2024-11-5 14:58
學習一下

作者: jy1688 時間: 2024-11-7 00:18
學習一下

作者: 風吹故人香 時間: 2024-11-14 22:25

User-Agent: Googlebot
Allow: /
Disallow:
User-Agent: bingbot
Allow: /
Disallow:

User-Agent: *
Disallow: /
自定義區

作者: 何振榮 時間: 2024-11-17 19:12
有奶才是娘，我反正只留下了谷歌、必應。

作者: A㊣天天已備案域名2o12? 時間: 2024-11-18 15:06
轉發公眾號了謝謝提醒

作者: myes 時間: 2024-11-18 15:52
字節跳動的爬蟲不遵守規則全部一刀切了

作者: 風吹故人香 時間: 2024-12-11 07:32
木木木木木木ssss

作者: 735394006 時間: 2024-12-14 20:30
】禁止國內搜索引擎訪問自己網站

作者: 風吹故人香 時間: 2024-12-24 19:55
蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛

作者: ouliuoo 時間: 2025-1-20 03:36
感謝分享

歡迎光臨 Discuz! 官方交流社區 (http://www.letianbiye.cn/)