我們擅長商業策略與用戶體驗的完美結合。
歡迎瀏覽我們的案例。
經過一番審查才發現原來自己的目標網站被大量不相關的“爬蟲”頻繁的抓取，這對于一個小網站來講，可能是滅頂之災。
因此，我們在做網站優化的時候，就需要針對特定蜘蛛有選擇的引導。
那么，如何與惡意“蜘蛛”暗度陳倉?
根據以往SEO經驗分享，蝙蝠俠IT，將通過如下內容闡述：
1、搜索引擎爬蟲
對于國內的小伙伴，我們都知道在做SEO的過程中，我們面對的最常見的爬蟲就是搜索引擎的爬蟲，比如：百度蜘蛛，同時，還會面臨各種搜索引擎的蜘蛛，比如：
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬蟲
如何你沒有刻意的配置你的robots.txt文件的話，理論上，你的目標頁面是都可以抓取與爬行的，但對于一些中小網站，它偶爾會嚴重浪費自己的服務器資源。
這個時候我們就需要做出有選擇性的合理引導，特別是一些比較尷尬的問題，比如：你希望谷歌降低對網站爬行，而又不能完全屏蔽，你可能需要一些小技巧，比如：針對特定爬蟲的訪問，反饋不同的文章列表：
①控制更新頻率的列表
②反饋大量重復性，內容農場的頁面
③善意的“蜘蛛陷阱”比如：Flash
④如何對方SEO管理平臺，可以調整抓取評論，適當調整一下
雖然，這樣的策略，很可能造成頁面信譽度受損，但這是我能想到，針對這些不希望經常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的一個相對“有效”的方法。
2、鏈接分析爬蟲
從目前來看，一個SEO外鏈分析管理工具，每天需要耗費大量的服務器資源去全網爬行與檢測每一個網站的頁面鏈接。
針對一些資源密集型的站點，每天可能爬行成千上萬次，這樣的爬蟲屢見不鮮。
如果你不想自身的網站參與其中，最簡單的策略就是在robots協議中，全封閉這樣的爬蟲。
3、內容采集爬蟲
但當我們面對一些惡意的內容采集爬蟲而言，就相對的尷尬，對方往往是采用“隱身”的狀態，比如：模擬知名搜索引擎蜘蛛的名稱。
針對這樣的問題，我們只能手動的判斷去審查一下對方的廬山真面，比如：利用IP泛解析命令，去判斷一下，它到底是不是真的。
①Linux平臺：hostip
②Widows平臺：nslookupIP
從而去判斷對方的解析地址，是否為對應的搜索引擎域名。
4、蜘蛛池爬蟲
目前市面上有很多人做百度蜘蛛池，它主要的目的是輔助更多的頁面做百度快速收錄，但由于一些任意下載的蜘蛛池程序設計的不規范化。
沒有做到合理的針對不同蜘蛛的爬行與限定，往往導致服務器資源被大量占用，很容易被服務商關停服務器。
如果你試圖利用這個策略，提升自己頁面收錄，那么，你可能需要多加注意。(但我們并不推薦)
總結：SEO工作是一個細節性的工作，每個策略都影響著整站的運營狀態，而上述內容只是淺析，適用于中小站長，僅供參考!
（曲周網站建設）
