php解析進入網站搜尋爬蟲,並針對不同的搜尋爬蟲定義顯示或隱藏內容的方法。

搜尋引擎網路爬蟲,自己控制被加入顯示的內容。
簡單說明一下,先設定需過濾的搜尋引擎為陣列形態,
然後在進行回圈比對 搜尋引擎,之後再來比對不想顯示的內容。


//解析進入網站的瀏覽器版本
$browser = $_SERVER['HTTP_USER_AGENT'];
//將不想顯示內容的網路爬蟲加入
$reptile = array(
'Googlebot' , // Google爬蟲
'Yahoo! Slurp' , //雅虎爬蟲
'msnbot' // Bing爬蟲
);

//進行判斷比對,如有出現為設定隱藏的搜尋爬蟲,則回傳true
foreach ($reptile as $k){
if (strpos("/{$browser}/i", $k) !== false) {
$webreptil=true;
}
}



將於需要隱藏不被搜尋爬蟲蒐錄的內容加入判斷
if($webreptil!=true){
$main=" 此為不想被搜尋爬蟲收錄顯示的內容";
}
echo $main;

以上內容當判斷條件成立時,將不會輸出於前端頁面,這樣yahoo,msn,Google搜尋爬蟲在收錄此頁資料時,自然也不會收錄這些被隱藏的內容

沒有留言:

張貼留言