2015-12-03
Поисковый робот Apple следует директивам для GoogleBot
В том случае, если в инструкциях в файле robots.txt не указан Applebot, поисковый робот Apple следует директивам для Googlebot. Этой информацией с вебмастерами специалист службы качества поиска Google Джон Мюллер (John Mueller).

Что касается Bing, Yahoo и других поисковых систем, они следуют директивам, предназначенным только для их собственных поисковых роботов, а не Googlebot.
На официальной AppleBot по этому поводу говорится следующее: «Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot».
Напомним, что после многочисленных сообщений по поводу веб-краулера Apple, компания, в конечном итоге, признала его существование. В мае 2015 года Apple добавил в свой справочный центр , посвящённую так называемому AppleBot.