Февраль
1

бот гугля на фиде хорошо или плохо?

25.03.2007 06:48 slavko

На новом фиде (около полумесяца) заметил массовые атаки гугльбота. Это есть очень плохо или не имеет значения (в смысле размещения на домене других ресурсов, неважно каких)?
slavko


25.03.2007 07:43 Fisherman

у меня месяц уже не слазит с фида бот, по 1-2к серчей в сутки.
СЕО-Вода – с нами лето бодрое! ГлавТорг – а с нами – еще и модное!


25.03.2007 08:16 beaver1971

сделай из фида сайт и спамь потихоньку его
Обманешь google – будешь в топе. Забанит google – будешь в ж…
Бесплатно: русские кейворды


25.03.2007 08:58 Gunther

тоже самое, боты атакуют и robots.txt не помогает
Регистрация доменов icq: 178257084


25.03.2007 10:27 Nike

Это плохо для статистики. Ботовые клики поисковиков ппц не считают


25.03.2007 12:06 Fisherman

я имел ввиду серчи. Серчи по разным кеям.
СЕО-Вода – с нами лето бодрое! ГлавТорг – а с нами – еще и модное!


25.03.2007 13:57 arma

Исходный код
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (curl¦Dart.?Communications¦Enfish¦htdig¦Java¦larbi n) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (FrontPage¦Indy.?Library¦RPT\-HTTPClient) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (libwww¦lwp¦www\.thatrobotsite\.com¦webbandit¦Wget ¦Zeu¦w00t) [NC,OR]
# Image-grabbers
RewriteCond %{HTTP_USER_AGENT} (AcoiRobot¦Flickbot¦webcollage) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (Express¦Mister¦Collector) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Image.?(fetch¦Stripper¦Sucker) [NC,OR]
RewriteCond %{HTTP_REFERER} .*(mortgage|loan|finance|\#).* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (LinkWalker¦ia_archiver¦NPbot|lwp-trivial|Subtext|Downloader|BabalooSpider|Nutch|lar bin|page_verifier|IRLbot) [NC,OR]
# BAD or SPAM bots
RewriteCond %{HTTP_USER_AGENT} (Wells|College|iRc|Boston|Missigua|Snap|Rambler|De pSpid|Spam|tailrank|Java|perl|Netcraft|Lsearch/sondeur) [NC,OR]
# Uzkoglazie BOTi i pro4ie urodi
RewriteCond %{HTTP_USER_AGENT} (bot|spider|crawler|Baidu|Become|ShopWiki) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (Naver|China|http_get|Download|ichiro|sogou|Fetch| Shim) [NC,OR]
#
RewriteRule .* – [F]

# block blank user-agent
SetEnvIf User-Agent ^$ BAD_BOT
SetEnvIf User-Agent ^-$ BAD_BOT

# keyweb
SetEnvIf Remote_Addr “84\.19\.1([7][6-9]|[8][0-9]|[9][1])\.[0-9]+” BAD_BOT
SetEnvIf Remote_Addr “87\.118\.([9][6-9]|[1][0-2][0-9])\.[0-9]+” BAD_BOT
# layeredtech-SAVVIS
SetEnvIf Remote_Addr “216\.3[2-5]\.[0-9]+\.[0-9]+” BAD_BOT
SetEnvIf Remote_Addr “72\.21\.([3][2-9]|[4-5][0-9]|[6][0-3])\.[0-9]+” BAD_BOT
SetEnvIf Remote_Addr “72\.36\.([1][2-9][0-9]|[2][0-9][0-9])\.[0-9]+” BAD_BOT
SetEnvIf Remote_Addr “72\.232\.[0-9]+\.[0-9]+” BAD_BOT
# thaplanet
SetEnvIf Remote_Addr “67\.1(8|9)\.[0-9]+\.[0-9]+” BAD_BOT
SetEnvIf Remote_Addr “70\.8[4-7]\.[0-9]+\.[0-9]+” BAD_BOT

# Bad bot, no cookie!
Order Allow,Deny
Allow from all
Deny from env=BAD_BOT
[/QUOTE]

Итд в таком духе.

Работайте над качеством траффа- это важно.

Есть две бесконечных вещи: Вселенная и человеческая глупость. Причем насчет первой я не уверен… (А. Эйнштейн)


26.03.2007 20:46 slavko

спасибо
вроде помогло
slavko


29.03.2007 06:46 slavko

Только ошибка маленькая
RewriteCond %{HTTP_USER_AGENT} (Naver|China|http_get|Download|ichiro|sogou|Fetch| Shim) [NC,OR]
нужно:
RewriteCond %{HTTP_USER_AGENT} (Naver|China|http_get|Download|ichiro|sogou|Fetch| Shim)
slavko


02.04.2007 08:14 andrew13_k

пасиб за список =)
Host-My-Post.com – раскрути сайт/заработай на сайте.
Лучшая Казино Партнерка ПО USA игрокам


0