Все боты интернета

Все боты интернета

Одни мы во вселенной или нет – науке точно не известно, сегодня учёные не могут подтвердить или опровергнуть наличие внеземных соседей. А вот про интернет можно сказать точно – мы в нем не одни. А если быть более точным – мы там в меньшинстве. Таковы результаты последнего исследования Всемирной паутины, окутавшей практически каждый дом и каждый мобильный гаджет своими цифровыми каналами, в которых роятся бесчисленные полчища ботов.

Все боты интернета

Боты, изначально созданные для мирных целей служения человеку, обратившись злом, могут встать на другую тёмную сторону интернета, кстати, не без помощи человека, тогда только держись за своё электронное достояние. Эта «Война» между людьми и ботами, начавшаяся на заре интернета, будет продолжаться вечно, которую мы пока проигрываем.

Соотношение ботов и людей в интернете

В наши дни ботов в интернете больше чем людей, о чём свидетельствует цифры на диаграмме. Но так было не всегда. В 2015 году наметился перелом в сторону людей со счётом 51,5% против 48,5%. Но в следующем 2016 году боты взяли реванш, оттеснив людей обратно на старые позиции. Хочу заранее предупредить любителей соцсетей, что тут речь идёт о настоящих ботах интернета (специально созданных программах, выполняющих определённые поставленные человеком задачи с максимальной скоростью), а не о ботах в виде фейковых аккаунтов Марьи Петровны в Instagram, через которые она пытается продать свои вязанные платки.

Соотношение ботов и людей в интернете график

У ботов есть много имён: робот, интернет-бот, www-бот, веб-паук, краулер, спайдер, сканер и т. д. Без ботов невозможно представить современный интернет. Если из глобальной сети попытаться убрать всех ботов, то он превратится в «Почту России», послав письмо или задав вопрос, вы будете обречены в ожидании ответа прозябать вечно. Если у Google «переманить» всех их ботов, то Ларри Пейдж и Сергей Брин пойдут петь и играть на гитаре в Нью-Йоркское метро, чтобы хоть как-то заработать на жизнь, а их хвалёный лучший в мире поисковик будет напоминать тыкву.

Поисковые системы без ботов — это как библиотеки без библиотекарей. Ведь прежде, чем дать нам информацию, будь это Google, Яндекс или китайский Baidu, поисковик должен знать откуда её взять, где она храниться, именно за это отвечают поисковые роботы, которые трудятся 24 часа в сутки, залезая в самые отдалённые уголки глобальной сети, стараясь держать информацию о цене на платки Марьи Петровны всегда в актуальном состоянии, меняй она их хоть по десять раз на дню. Как видим — работа нужная и полезная. Так, в чём тогда проблема? А проблема в том, как упоминалось выше, что вместе с хорошими ботами (good bot) существуют плохие боты (bad bot), преследующие злонамеренную цель.

Интернет-траффик в 2016 году

Область применения плохих ботов безгранична обширна начиная от захвата управления сайтами без ведома владельцев, заканчивая блокировкой сетей, взломом секретных и банковских линий. Даже пуховый бизнес Марьи Петровны может пострадать от плохих ботов, и побежит бедная бабушка на выручку покупать не пряжу, а защиту от гнусных ботов, иначе платковому бизнесу придёт каюк. Только одним рекламодателям за прошедший год плохие боты смогли нанести убытки в размере более $7 миллиардов. А если запустить их похозяйничать на ваш электронный счёт в банке?

Боты своими действиями в интернете генерируют бот-траффик, который, в свою очередь, делится на хороший и плохой. Скверная новость заключается в том, что добрые боты менее активны злых – то есть плохих ботов в веб.веб.веб. больше. Но так было не всегда, например, в 2013 году все интернет-роботы делили между собой траффик практически поровну, оставив на долю людей каких-то жалких 38,5%. В 2016 году наметился небольшой рост траффика дружественных ботов, дав надежду всему человечеству.

Соотношение плохих и хороших ботов в интернете

Далее, разберём какие хорошие боты существуют и откуда они к нам приходят. Более 84% хорошего бот-траффика генерируют 35 широко известных в интернет-кругах ботов, которые делятся на 4 категории:

Основные боты интернета

  1. Поисковые боты — search engine bots
  2. Коммерческие сканеры — Commercial crawlers
  3. Сборщики фидов — Feedfetcher
  4. Боты мониторинга — Monitoring bots

 

Поисковые боты (search engine bots)

Поисковые боты используются поисковыми системами для сканирования веб-сайтов и проверок ссылок, затем собранная информация отправляется ими на индексацию в базу данных поисковика. Благодаря этим действиям люди имеем доступ к всегда актуальной, постоянно обновляемой информации.

Поисковые боты

  • Googlebot — известный бот Google, являющейся самой популярной поисковой системой в мире.
  • YandexBot — поисковый бот, используемый Яндексом, крупнейшего поисковика в России.
  • MSN/Bingbot — поисковый бот корпорации Microsoft, используемый поисковиком Bing. Пришёл на смену боту MSN в 2010 году.
  • Yahoo! Slurp bot — один из поисковых роботов, используемый поисковой системой Yahoo наряду с Bingbot.
  • MJ12Bot — поисковый бот, используемы английской компанией Majestic для новой распределенной поисковой системы мирового класса Majestic-12. В настоящее время применяется для отслеживания обратных ссылок в целях SEO.
  • Baiduspider — поисковый бот, используемый компанией Baidu, ведущей поисковой системой в Китае.
  • Ru bot — поисковый бот Mail.Ru, ведущая IT-копания России в области почтового сервиса.
  • Haosou 360 spider — поисковый бот, используемы второй в Китае по популярности поисковой системы одноимённой компании Qihoo 360.
  • Sogou spider — поисковый бот, используемый ещё одной крупной китайской компанией в области поисковых систем Sogou, содержащая в своей базе более 10 миллиардов станиц.
  • Google AdsBot — поисковый бот используемой Google Adwords для проверки качества целевых страниц.

 

Коммерческие сканеры (commercial crawlers)

Commercial crawlers — используются коммерческими IT-компаниями для обхода вебсайтов и получения определённой информации.

Коммерческие сканеры

  • AhrefsBot — индексирующий бот известной компании Ahrefs, специализирующейся на интернет-маркетинге и SEO, считается одним из лидеров в определении обратных ссылок (видно по траффику).
  • Proximic bot — индексирующий бот компании Proximic (входящей в ComScore) анализирует контент на уровне страниц сайта для последующего использования аналитики в рекламных кампаниях.
  • SEMrushBot — индексирующий бот IT-фирмы SEMrush, одной из лидеров в области SEO. Исследует обратные ссылки по ключевым словам, обслуживает seo-инструмент «SEMrush обратные ссылки».
  • Dotmic DotBot — индексирующий бот, нацеленный на сайты электронной коммерции, сканирует и распознаёт имя продукта, изображение, цену и описание.
  • Pinterest bot — индексирующий бот социальной сети Pinterest, благодаря которому пользователи соцсети могут быстро обмениваться и управлять своими фотографиями.
  • YisouSpider — индексирующий бот ещё одной китайской фирмы Yisou в области поисковых систем.
  • XoviBot — индексирующий бот германской компании Xovi GmbH, специализирующееся на маркетинговых услугах в интернете, обеспечивает SEO, поисковые и аналитические услуги по обратным ссылкам, наряду с другими компаниями, такими как Ahrefs (ahrefsbot) и Majestic (mj12bot).
  • ADmantX bot — индексирующий бот под управлением ADmantX, крупного поставщика аналитических данных, помогающий крупным СМИ и медийным изданиям выстраивать эффективные компании в интернете.
  • Grapeshot bot — индексирующий бот IT-компании Grapeshot, собирает информацию о ключевых словах на сайтах используя вероятностные алгоритмы для оценки относительной их значимости.
  • Alexa bot — индексирующий бот Alexa, являющейся дочерней структурой интернет-гиганта Amazon.com. Собирает и систематизирует информацию о траффике и на его основе формирует авторитетный глобальный рейтинг.

 

Сборщики фидов (Feedfetcher)

Feedfetcher – боты нацеленные на извлечения информации для последующего показа пользователям. Безусловным лидером в этой категории ботов является feedfetcher от Facebook? на долю которого приходится более 4% интернет-траффика – по этому параметру ему проигрывает даже Google!

Сборщики фидов

  • Facebook Mobile app — бот, извлекающий информацию с веб-сайта для последующего просмотра в приложении.
  • Android Framework bot — бот, собирающий информацию, используемую средой Android с целью получения контента для мобильных приложений.
  • CFNetwork bot — бот, собирающий информацию, используемую Apple для CFNetwork в приложениях iPhone.
  • .NET WebClient — бот, собирающий информацию для .NET, известного программного обеспечения корпорации Microsoft Windows.
  • Facebook external hit — бот, собирающий информацию для Facebook о деталях, связанных с веб-контентом отображаемом в социальной сети.
  • Windows Phone WebClient — бот, собирающий информацию, используемую Windows Phone WebClient для просмотра сайтов в мобильных приложениях.
  • Adobe AIR — бот, собирающий информацию для Adobe AIR, используемую для получения контента в родных приложениях, используемы на настольных и мобильных платформах.
  • Google Feedfetcher — бот, собирающий информацию для Google, используемая в RSS или Atom каналах пользователей ридеров, собираемая «фидфичером» информация не участвует в поисковой выдаче.
  • Twitter bot — бот, собирающий информацию для Twitter, которая помогает отображать в популярной социальной сети внешние ссылки.
  • FeedBurner — бот, собирающий информацию для RSS-каналов.

 

Боты мониторинга (Monitoring bots)

Monitoring bots – боты, используемые для мониторинга различных показателей производительности на веб-сайтах.

Боты мониторинга

  • WordPress (Pingback) — бот мониторинга, который позволяет пользователям WordPress уведомлять других блогеров о связанных публикациях.
  • Paessler Monitor — бот мониторинга Paessler, задачей которого является круглосуточное отслеживает состояние сетей для своевременного предупреждения о проблемах.
  • UptimeBot — бот мониторинга используемы Uptime для проверки времени бесперебойной работы сайтов и предупреждения простоев.
  • Site24X7 tools — бот мониторинга компании Site24X7, выполняющий задачу мониторинга производительности и доступности сайта.
  • Keynote — бот мониторинга Keynote Systems крупного поставщика облачных решений для мониторинга веб и мобильных приложений.

Среди полезных ботов первое место по траффику занимает сборщик Facebook с результатом 4,16%, сумев оставить позади себя бота мирового лидера поисковых систем Google, что наглядно демонстрирует растущую популярность социальных сетей. Число пользователей Facebook уже подкрадывается к цифре 2 миллиарда, демонстрируя годовой рост в 20%.

Google на втором месте по траффику ботов с результатом 3,18%, далеко обогнав остальные поисковые системы, включая наш гордый Yandex с его 0.85%, но этого Яндексу хватило, чтобы, в свою очередь, обойти Bing (0.64%), Yahoo! (0.27%) и китайский Baidu (0.23%). Стоит особо отметить английскую поисковую систему нового типа Majestic-12, которая по заявлению разработчиков претендует на звание крупнейшим поисковой системой в мире, но пока так и не вышла из стадии проекта, хотя уже показала активность поисковых роботов равную (0.26%), обойдя вместе с другими известными западными и российской поисковыми системами лидера китайского рынка Baidu – величием Китая здесь и не пахнет — это интернет, детка!

Сильно удивил активностью коммерческих ботов сингапурский стартап, специализирующейся на поиске обратных ссылок. Небольшая команда Ahrefs умудряется каждый день индексировать до 6 миллиардов страниц, оставив позади себя Yandex. Чем там только в Яндекс занимаются, что небольшая SEO-компания с результатом 0.99% обходит могучий национальный поисковик. Но как уже было сказано выше – это интернет, детка!

 

Методология исследования интернет-ботов

Данные по активности ботов в интернете представлены компанией Incapsula, собранные на основании более 16,7 млрд визитов ботов и людей, собранных с 9 августа 2016 года по 6 ноября 2016 года в 249 странах.  Incapsula занимается облачными технологиями и безопасностью в веб, так что в их компетентности не приходится сомневаться.

 

Вывод – в интернете ботов больше чем людей, а плохих ботов больше чем хороших

Мы не одни в интернете. Больше половины активности в интернете приходится на боты, 66% процентов из которых преследуют злонамеренные цели. Каждый третий посетитель вашего сайта плохой бот. Но без ботов не существовало бы интернета, каким мы его знаем.

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Сохранить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *