Поисковый робот Apple следует директивам для GoogleBot
В том случае, если в инструкциях в файле robots.txt не указан Applebot, поисковый робот Apple следует директивам для Googlebot. Этой информацией с вебмастерами поделился специалист службы качества поиска Google Джон Мюллер (John Mueller).
Что касается Bing, Yahoo и других поисковых систем, они следуют директивам, предназначенным только для их собственных поисковых роботов, а не Googlebot.
На официальной странице AppleBot по этому поводу говорится следующее: «Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot».
Напомним, что после многочисленных сообщений по поводу веб-краулера Apple, компания, в конечном итоге, признала его существование. В мае 2015 года Apple добавил в свой справочный центр страницу, посвящённую так называемому AppleBot.