Back to Question Center
0

MS Bing уеб робот извън контрол, причиняващ нашия сайт да слезе - Semalt

1 answers:

Тук е странно, че не знам какво да правя. Днес нашият уеб сайт за електронна търговия спадна. Наблюдавах производствения дневник и видях, че получаваме тон от искания от този диапазон от ИС 157. 55. 98. 0/157 - شركة رش مبيد فى جدة . 55. 100. 0. Аз googled и да дойде да разберете, че това е MSN Web Semalt.

Така че по същество MS уеб робот претоварва нашия сайт, което го кара да не реагира. Въпреки че в нашите роботи. txt файл имаме следното;

     Закъснение при обхождане: 10    

Така че това, което направих, беше просто забрана на IP обхвата в iptables.

Но това, което не съм сигурна, че трябва да направя оттук, е как да проследя. Не мога да намеря никъде да се свържа с Бин за този проблем, не искам да пазя тези IP адреси блокирани, защото съм сигурен, че в крайна сметка ще получим индексиране от Bing. И наистина не изглежда така, както се е случило с някой друг преди това.

Всички предложения?

Актуализация, Моят сървър / уеб статистика

Нашият уеб сървър използва Nginx, Rails 3 и 5 Semalt workers. Имаме 4GB памет и 2 виртуални ядра. В момента сме работили с тази настройка повече от 9 месеца и никога не сме имали проблем, 95% от времето, когато нашата система е под много малко натоварване. Средно получаваме 800 000 показвания на страници на месец и това никога не се доближава до въвеждането / забавянето на нашия уеб сървър.

Прегледайте дневниците, които получавахме от 5 до 40 заявки / секунда от този IP обхват.

През всичките ми години на уеб програмиране никога не съм виждал робот ударен в уебсайт толкова пъти.

Това ново ли е с Бинг?

February 11, 2018

Регистрирайте се с Bing уебмастъра инструменти и попълнете диаграма за скорост на обхождане. Настройте го за най-бързо обхождане през часовете на изключване и много по-ниска ставка по време на най-натоварените ви време.

Ако Bing претърсва уебсайта Ви, трябва да преосмислите капацитета на уеб сървъра си. Най-добрият тест е да видите дали можете да оцелеете от Google, Bing, Yahoo и Baidu, които всички удрят системата ви наведнъж. Ако тя остане в експлоатация по време на атаката, тогава сте готови за натоварване на клиентите си на живо.

Да, Бинг може да ви удари доста, ако не сте ги ограничили. Това ми причинява сериозни проблеми тук преди два месеца. Току-що настроих системата да се справи с нея и това беше хубаво нещо, в противен случай Черният петък щеше да доведе до един много синьо понеделник, след като видя сървър статистика. enter image description here

Използвайте PHP plus Regex. Забравете роботите. текст. Няколко лоши ботове не го уважават

  ако (preg_match ('/ (? I) bingbot /', $ _ SERVER ['HTTP_USER_AGENT'
{
изход 

; }

А вие казвате за Бинг: Вратата е затворена за вас!

Има два начина за управление на Bingbot; вижте http: // www. Bing. com / webmaster / help / crawl-control-55a30302 за подробности.

Ако не искате да използвате контролния панел, просто използвайте роботи. txt файл.

"Ако открием закъснение на обхождането: във вашите роботи. txt файла, то винаги ще има предимство пред информацията от тази функция. "