По словам Google, ошибки 404 являются нормальным явлением при сканировании и могут составлять даже 40% URL-адресов сайта в Search Console.
Джон Мюллер из Google говорит, что это нормально, если 30-40% URL в отчете Search Console на сайте возвращают ошибку 404.
Об этом было заявлено во время видеовстречи по поисковой оптимизации от 25 февраля в Центре Google, на которой также стало известно, что невозможно прекратить попытки Google сканировать URL-адреса, которые больше не существуют.
Google может продолжать попытки сканировать URL-адреса спустя годы после того, как они были удалены с веб-сайта, и владельцы сайтов ничего не могут сделать, чтобы предотвратить это.
Поэтому ошибки 404 неизбежны даже для самых прилежных оптимизаторов поисковых систем.
На встрече разобрали конкретный пример. Есть живой сайт, который возвращает 404 в Search Console для URL-адресов, которые не использовались в течение 8 лет. Эти URL-адреса раньше были 410, и на них не было никаких ссылок.
Джон Мюллер сказал, что для Googlebot 8 лет — долгий срок, чтобы сканировать несуществующие URL-адреса, но это вполне возможно.
Если Google обнаружил, что URL-адрес был активен в прошлом, он может время от времени пытаться сканировать URL-адрес снова.
Если вы знаете, что URL не существует, просто игнорируйте его в отчете Search Console.
Перестанет ли Google когда-нибудь сканировать удаленные URL-адреса?
На встрече последовал логичный вопрос: есть ли способ сообщить раз и навсегда, что эти URL-адреса больше не существуют?
«Мы не можем гарантировать, что перестанем сканировать эти URL. Мы знаем, что они есть в нашей системе, что зачем-то были созданы и когда-то были полезны, поэтому, когда у нас будет время, мы просто попробуем прочитать их еще раз.
Никаких проблем это не вызывает и не влечёт за собой. Просто мы еще раз пробуем их, показываем вам отчет и говорим: «О, мы перепробовали это еще раз, и это не сработало».
Пока домашняя страница не отдаёт 404-ю — всё нормально
Обеспокоенные количеством ошибок 404 в своем отчете Search Console,сеошники задали Мюллеру еще один вопрос, пояснив, что иногда это не просто несколько URL, возвращающих ошибку 404, это около 30-40% URL в отчете с ошибкой 404. Это нормально?
«Это прекрасно. Это совершенно естественно, особенно для сайта, на котором много пользователей. Если это похоже на сайт объявлений, где у вас есть объявления, действительные в течение месяца, вы ожидаете, что эти объявления исчезнут. А потом мы, вроде бы, на протяжении многих лет собираем тонны этих URL-адресов и пробуем их снова. И если они вернут 404 или 410, что угодно. Прекрасно.
Не думаю, что нам это покажется необычным. Не то чтобы мы воспринимали это как качественный сигнал или что-то в этом роде. Я думаю, что единственный раз, когда 404-е начинают выглядеть для нас чем-то проблематичным, — это когда домашняя страница начинает возвращать 404-ю. Тогда может возникнуть ситуация, когда мы скажем: «О, я не знаю, действительно ли этот сайт еще работает».
Google может запоминать URL-адреса еще долго после того, как они были удалены, и может попытаться повторно просканировать их в любое время. Однако не стоит беспокоиться, когда вы видите ошибку 404 в Search Console для URL-адресов, которых, как вы уверены, не должно быть в существующих страницах.
Настя Барад
Анастасия прошла немалый путь становления себя как маркетолога: магистр филологических наук, эксперт психоанализа в английской литературе, она резко изменила свою жизнь в 2013 году, начиная осваивать Digital маркетинг с самых азов. В этом же году начинающий маркетолог становится младшим сотрудником в далёкой канадской компании RomanZ.
За последние 7 лет Анастасия стала специалистом высокого уровня в SEO оптимизации веб-сайтов, изучила алгоритмы Google, чтобы быть с ними на “ты”, овладела технической базой, включая азы HTML и java script, получила диплом Google Analytics и Google Adwords, закончила несколько топовых курсов от Digital Marketer. Параллельно постоянному расширению теоретической базы Анастасия получила серьёзные экспертизы в работе с Западными и Американскими заказчиками в качестве маркетолога. Показывая высокие результаты в самых различных отраслях: финансы, медицина, малый локальный бизнес — наш автор завоёвывала и продолжает завоёвывать авторитет, а вместе с ним и долгосрочные отношения с заказчиками для компании RomanZ.
С 2015 года Анастасия возглавляет маркетинговый отдел в компании и управляет командой маркетологов, начиная их обучение вместе с CEO компании Романом Зельвенским и оказывая им постоянное менторство.
Сегодня Анастасии есть что сказать о современном маркетинге в целом и о многих вопросах, освещаемых в сети в частности. Анастасия начала развивать себя и как автор статей на тему Digital маркетинг. Не последней причиной в пользу принятия этого решения оказалось скудное качество текстов, выходящих в топ выдачи поисковых систем по некоторым отдельным темам. Как маркетолог со стажем Анастасия уверена, что всё ещё остаются вопросы, плохо освещённые в сети, а рерайтеры вместо поиска верных развёрнутых ответов занимаются переписыванием имеющегося скудного материала. Google начал наказывать за это в 2018, продолжает борьбу до сих пор и очень правильно делает по мнению Анастасии. “Если бы Игорь Северянин знал как уместны будут его слова “Оригинал, ты потускнел от копий!” в 21 веке!” — сокрушается Анастасия.
Именно поэтому слова известного американского автора Ирвина Ялома об авторстве как таковом Анастасия называет своим жизненным кредо: “Ответственность означает авторство. Осознавать ответственность – значит осознавать творение самим собой своего Я, своей судьбы, своих жизненных неприятностей, своих чувств, а также своих страданий, если они имеют место”
“Именно поэтому моя рука дрогнет поставить свою подпись под низкокачественным текстом. Именно поэтому я полностью погружаюсь в вопрос, изучаю всю доступную информацию, делаю субъективную фильтрацию и только будучи полностью готовой к подведению итогов и выводам по изученному вопросу берусь за написание каждого текста”
