52% интернет-трафика в 2016 году приходилось на ботов

Сеть доставки контента Incapsula опубликовала отчёт о бот-трафике за 2016 год.

Ниже – основные выводы отчёта:

• 51,8% всех посетителей сайтов в прошлом году были ботами.

Из них доля «плохих» ботов составляла 28,9%, «хороших» – 22,9%. В 2015 году было зафиксировано снижение бот-активности, что привело к сокращению доли бот-трафика до 48,5% – впервые за несколько лет. В 2016 году она снова выросла.

Как видно из диаграммы выше, рост этого показателя произошёл за счёт увеличения доли «хороших» ботов (роботы поисковых систем, боты для мониторинга, коммерческие краулеры, RSS-боты).

По данным Incapsula, активность «плохих» ботов остаётся относительно стабильной и в последние 5 лет составляет около 30%.

Важно отметить, что относительное число посещений «плохих» ботов и общий объём бот-трафика были выше у сайтов с более низкой посещаемостью.

В категории «плохих» ботов наиболее активными нарушителями в 2016 году оставались так называемые имперсонаторы – боты, которые маскируются под кого-то или что-то, чтобы получить доступ к сайтам. Эти боты могут имитировать браузеры и роботов поисковых систем, чтобы избежать блокировки и «покопаться» в уязвимостях ресурса. Они также могут осуществлять DDoS-атаки.

В 2016 году на долю имперсонаторов приходилось 24,3% всего трафика в сети Incapsula и 84% кибератак.

Доли трафика по каждому виду ботов:

• боты для мониторинга – 1,2%;
• коммерческие краулеры – 2,9%;
• роботы поисковых систем – 6,6%;
• RSS-боты – 12,2%;
• имперсонаторы – 24,3%;
• скрэперы – 1,7%;
• спамеры – 0,3%;
• хакерские инструменты – 2,6%.

• «Хорошие» боты становятся мобильными.

Наиболее активными в категории «хороших» ботов в 2016 году были следующие:

Самым активным из них (и среди всех ботов в целом) был робот, связанный с приложением Facebook. На его долю приходилось 4,4% трафика в сети Incapsula.

• 94,2% сайтов подвергались как минимум одной бот-атаке в 90-дневный период.

Эти атаки зачастую проводились в широком масштабе и были нацелены на тысячи доменов.

Данные отчёта Incapsula получены путём анализа 16,7 млрд посещений 100 тыс. доменов, выбранных в случайном порядке, за период с 9 августа по 6 ноября 2016 года.

С полной версией отчёта можно ознакомиться здесь.