Февраль
1

Скорость сканирования гуглботом.

21.07.2009 10:22 BMaster
Скорость сканирования гуглботом.
Раньше была такая полезная фича, в инструментах вебмастера гугла, что могла придерживать аппетит бота. После смены там дизайна, не могу её найти. Я слепой или её больше нет?
SEOWATER – Живая вода для дорвейщика. ~~~ ГлавТорг – на МОДЕ тоже можно зарабатывать!


21.07.2009 10:40 swimer42

буквально неделю назад видел я ее там

вот инфа по ней
www.google.com/support/webmas…u&answer=48620
там и было, счас не скажу, доступа нету туда
Последний раз редактировалось swimer42; 21.07.2009 в 10:43
test


21.07.2009 10:41 FunArt

Я у себя нашел.
Слева “Конфигурация сайта” ->
последний пункт “Настройки” ->
снизу радио “Задать пользовательскую скорость сканирования”
открывается ползунок.
our brain believes in fairy dalbayob tales


21.07.2009 10:59 funart

Сообщение от funart
Я у себя нашел.
Слева “Конфигурация сайта” ->
последний пункт “Настройки” ->
снизу радио “Задать пользовательскую скорость сканирования”
открывается ползунок.А точно, жива родная. Надо ж куда её спрятали.
SEOWATER – Живая вода для дорвейщика. ~~~ ГлавТорг – на МОДЕ тоже можно зарабатывать!


21.07.2009 11:54 Dеm0kratizat0r

Ещё возможно пригодится команда в роботсе:

User-agent: *
Crawl-delay: 60

Задержка указывается в секундах между последовательными обращениями
–> хороший vpn service (usa, canada & europe)


21.07.2009 12:01 Dеm0kratizat0r

Сообщение от Dеm0kratizat0r
Ещё возможно пригодится команда в роботсе:

User-agent: *
Crawl-delay: 60

Задержка указывается в секундах между последовательными обращениямиТо есть, если в роботсе написать
User-agent: *
Crawl-delay: 5
то боты будут дёргать не чаще чем раз в 5 секунд?
SEOWATER – Живая вода для дорвейщика. ~~~ ГлавТорг – на МОДЕ тоже можно зарабатывать!


21.07.2009 13:18 BMaster

Сообщение от BMaster
То есть, если в роботсе написать
User-agent: *
Crawl-delay: 5
то боты будут дёргать не чаще чем раз в 5 секунд?По идее да. Но не все боты понимают Crawl-delay в роботсе.
Услуги программиста
Самая лучшая и универсальная спамилка / EN/RU базы / мощный парсер поисковиков в одном флаконе! (регулярные апдейты) Внутри есть демка.


21.07.2009 13:49 Dеm0kratizat0r

Гугл пишет, что понимает – www.google.com/support/webmas…u&answer=82300

Вопрос: Будет ли Google соблюдать ограничения, указанные в моем файле robots.txt, после передачи файлов Sitemap?

Ответ: Да. Google соблюдает ограничения, указанные в файле robots.txt даже в том случае, если страницы с запрещенным доступом включены в файлы Sitemap. Инструменты Google для веб-мастеров содержат инструмент для анализа действия файла robots.txt.
–> хороший vpn service (usa, canada & europe)


23.07.2009 16:56 Blackhood

Неужели страницы не успевают генерироваться за гуглом?)


0