一、從Spider程序到Robots協議

即使不是工程獅，關注互聯網的人也很少不知道Robots協議。百度和360從2012年起展開的一場屏蔽與反屏蔽戰把原本程序猿才知道的Robots協議變成媒體熱詞。北京一中院8月7日對3B搜索不正當競爭糾紛案（3B案）剛剛作出的一審判決讓Robots協議在新聞里又火了一把。Robots協議的法律地位或法律效力問題是3B案一系列法律問題中最大的爭點，分析這個問題就必須先了解Robots協議的內容和意義。

Robots協議和搜索引擎的爬蟲程序（Spider）其實是一對同胞兄弟。

1994年之前，AltaVista、Infoseek等代表的搜索引擎在互聯網可以通過Spider直入網站管理后臺，把所有網頁信息系數收錄。除了涉及隱私外，爬蟲程序的反復收錄在20年前對網站帶寬也是不小的負載。荷蘭工程師Martin Koster深感互聯網叢林之亂，提出通過設立名為Robots規范的網站訪問限制政策（Access Policy）方式在整個互聯網統一解決Spider無所不在所帶來的威脅。Robots協議在技術實現上并不復雜，網站管理員只要按規則在網站根目錄下創建Robots.txt的文本文件就可以禁止搜索爬蟲收錄指定網頁內容。從早期的AltaVista、Infoseek到后來居上的Google 、Yahoo和美國以外的Baidu等各大搜索引擎都群體接受了Robots協議，避免和內容網站為Spider陷入一場危機。

二、Robots規則可以受法律保護

反對3B案一審判決的理由集中對Robots協議法律效力的否定上。Robots協議并不是法律，也沒有被IETF、ITU和W3C等國際標準組織接納。但國際標準也不是法律，邏輯上成為國際標準不等于自動享有法律保護。法律和規則并不是同一個概念，法律屬于規則，而規則遠遠大于法律。百度是以不正當競爭為案由起訴360，反不正當競爭法本身就是通過列舉加兜底的方式，在少數明確規定的違法行為外以原則性規定了根據不正當競爭行為的判斷標準。司法者的權限并不局限于尋找包含Robots協議內容的具體法條，而是可以根據實際案情裁量違反Robots協議是否就違反了反不正當競爭法第二條對經營者應當遵循自愿、平等、公平、誠實信用和公認商業道德的強制性規定。認定違法并不需要將Robots協議上升為法律作為前提，違反規則就可能導致違反法律的結果。況且3B案發生背景之一，是被告奇虎360本身就通過簽署《互聯網搜索引擎服務自律公約》承諾“遵守機器人協議(Robots協議)”和“限制搜索引擎抓取應有行業公認合理的正當理由，不利用機器人協議進行不正當競爭行為”。360在明確承認Robots協議約束力后又規避了協議，既是違法又構成違約。

法律之外的規則受法律承認和保護是普遍現象。

合同不是法律而是當事人自由達成的一致意思表示，但依法成立的合同當然受法律保護。《合同法》第八條即規定：“依法成立的合同，對當事人具有法律約束力。…依法成立的合同，受法律保護。”被互聯網廣泛采用的Robots協議屬于行業慣例，僅《合同法》就在第二十二條、第二十六條、第六十條、第六十一條、第九十二條等九個條款承認交易習慣的效力，如第九十二條就規定：“合同的權利義務終止后，當事人應當遵循誠實信用原則，根據交易習慣履行通知、協助、保密等義務”。《物權法》第八十五條也規定：“法律、法規對處理相鄰關系有規定的，依照其規定；法律、法規沒有規定的，可以按照當地習慣”。根據法理及以上法條的規定，慣例完全有可能獲得法定效力及執行力。3B案判決認可Robots協議的效力是法官依職權對Robots協議合法性進行認知的過程，并不存在法官造法或逾越職權創造新權利。

百度在360推出網絡搜索后迅速啟用Robots協議，在百度旗下的知道、貼吧、文庫、百科等產品屏蔽了360爬蟲。百度屏蔽360的產品基本屬于用戶創造內容（UGC）類型的上傳平臺。百度對平臺內容并不直接享有著作權，360因此質疑百度無權拒絕收錄。但UGC平臺身份也無礙百度根據《著作權法》第十四條對相關內容享有作為匯編者的權利。在百度主張反不正當競爭保護情況下，舉證責任更簡化到證明原告合法投入因被告競爭行為受到實際損害及被告競爭行為違反誠實信用或商業道德，而360強行利用百度網站內容已構成搭便車的不正當競爭行為。

三、互聯網拒絕叢林法則

360在3B案中以百度濫用Robots協議作為抗辯，但換個角度看真正容易被濫用的倒是Spider程序。互聯與分享是網絡的基本性格，而信息的多元化也決定了很多情況下網絡傳播必須受到控制。不受Robots協議限制的Spider程序必然使互聯網陷入嚴重混亂，網站后臺隱私無法保護，網頁更新的舊信息必須完全刪除而不能僅僅屏蔽，音樂、視頻等內容的收費盈利模式遭到毀滅打擊。互聯網經過長期博弈逐步擺脫無序狀態，難道只因搜索爬蟲失控又將回到比拼技術暴力的暗黑叢林？這種情景絕非法治下的互聯網可以接受的。

Robots協議自成立以來在全球受到嚴格遵守，利用Robots協議屏蔽搜索的案例舉不勝舉。Facebook和Twitter長期屏蔽谷歌，后者除了發牢騷不敢采取任何規避手段；默多克的新聞集團一度全面屏蔽谷歌，谷歌一直忍到……忍到默多克自己忍不住投降；搜索屏蔽360的除了百度各網站還有騰訊的QQ空間，更有意思的是QQ空間屏蔽360爬蟲卻在2012年后對百度和Google開放，360甚至都沒有為此指責騰訊歧視；騰訊盡管向百度開放QQ空間卻將騰訊微博的內容屏蔽至今，新浪微博也一度加入屏蔽百度的隊列；電商領域可能是互相屏蔽的高地，淘寶從2008年起一直屏蔽百度搜索，京東、蘇寧、當當網等也屏蔽了阿里旗下一淘搜索的爬蟲。

各國法院承認Robots協議效力的判決同樣不勝枚舉。美國聯邦法院早在2000年就在eBay訴BE（Bedder’s Edge）案 中就通過禁令支持了eBay屏蔽BE爬蟲的主張。內華達法院2006年審理的Field v. Google 案 也明確認可Robots協議是有效保護網站權利的通行標準。北京一中院同樣于2006年在審理著名的浙江泛亞訴百度著作權侵權案 判決書中認定原告有權利用設置Robots.txt文件拒絕百度收錄。上述通過Robots協議屏蔽搜索爬蟲的互聯網實例和認可Robots協議法律效力的中外法院判決，都證明Robots協議的效力并不是在3B案中才成為爭點，也證明Robots協議在產業實踐和司法實踐中都一直得到認可和尊重。

河南億恩科技股份有限公司(www.ibaoshan.net)始創于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網站建設、網站托管等網絡基礎服務，另有網總管、名片俠網絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網絡版權侵權舉報電話：0371-60135995
服務熱線：0371-60135900