Коэффициенты и индексы: когда использовать и как считать
Разбираемся с коэффициентами и индексами, применяемыми в рамках действия 44-ФЗ: коэффициент вариации, индекс пересчета цен, индекс-дефлятор, индекс цен производителей.
Коэффициент вариации
Коэффициент вариации применяется для анализа разброса выбранных предложений о цене. В том случае, если полученное значение превышает 33 %, то это является сигналом о неоднородности полученных значений и о вероятности исключения из расчета максимально больших и малых значений.
Регулирует расчет коэффициента вариации приказ МЭР № 567 от 02.10.2013, в котором прописаны методические рекомендации по определению НМЦК. Согласно данному нормативно-правовому акту, для получения необходимой информации о текущем уровне цен заказчику необходимо:
В 44-ФЗ нет прямого указания на расчет коэффициента вариации, в ст. 22 не закреплены требования о необходимости его применения и предельного размера. Согласно приказу № 567, коэффициент рассчитывается по следующей формуле (п. 3.20):
где σ — это среднеквадратическое отклонение, которое определяется следующим образом:
Если в заказе планируется несколько позиций, то коэффициент вариации рассчитывается по каждой такой позиции для исключения значений с большим размахом.
В том случае, когда коэффициент вариации при расчете оказывается больше 33 %, это говорит о том, что цены, используемые заказчиком, не являются однородными, и специалисту по закупкам надлежит использовать иную информацию о стоимости.
Индекс пересчета цен
Для того чтобы корректно рассчитать НМЦК методом сопоставимых рыночных, заказчик должен сравнить их на приобретаемые товары, работы и услуги (п. 3.17 Приказа № 567). Чтобы привести полученные цифры в сопоставимый вид, можно применить индекс пересчета цен с учетом различий в количественных, качественных и финансовых характеристиках ТРУ. С использованием индекса пересчета заказчик может учесть целый ряд критериев:
Цены предыдущих периодов приводятся к актуальному ценовому уровню согласно следующей формуле:
Индекс-дефлятор
Дефлятор — это коэффициент, который применяется для пересчета текущей стоимости в постоянные цены.
Годовые индексы-дефляторы используются при определении НМЦК, так как при применении метода анализа рынка ценовая информация должна анализироваться с учетом сопоставимых с условиями планируемой закупки коммерческих условий поставок ТРУ (ч. 3 ст. 22 44-ФЗ).
Если в закупке требуется не только рассчитать стоимость работ, но и распределить ее по годам (периодам), то такой расчет в расценках соответствующих лет осуществляется с применением индексов-дефляторов (Письмо Минэкономразвития № Д28и-659 от 10.03.2016).
Если закупка касается либо объектов федерального назначения, либо тех объектов, финансирование которых осуществляется за счет средств бюджета РФ разных уровней, то употребляются индексы-дефляторы, которые ежегодно подготавливаются Минэкономразвития и публикуются в прогнозе социально-экономического развития.
Также индексы-дефляторы используются при определении НМЦК проектно-сметным методом — расценки рассчитываются с использованием дефляторов по видам экономической деятельности.
Индекс-дефлятор является ключевым показателем при прогнозном планировании расценок. Рассчитанные при помощи дефляторов, они являются наиболее объективными, отражающими реальный стоимостной уровень на ТРУ без учета инфляционных показателей.
Информация для расчета дефляторов берется из данных статистической отчетности, а за основу берутся прогнозы социально-экономического развития по регионам. Основные индексы-дефляторы, применяемые при прогнозном планировании:
Рассмотрим, как рассчитать дефлятор на примере индекса потребительских цен.
Формула расчета ИПЦ:
Если текущая стоимость товаров в потребительской корзине равна 165 рублям, а на конец предыдущего года их стоимость составляла 160 рублей, годовой дефлятор будет равен:
Индекс цен производителей
Это коэффициент, который учитывает динамику расценок у производителей в разрезе отраслевой специфики по различным видам экономической деятельности. В первую очередь индекс применяется в отраслях, непосредственно связанных с энергетикой, добычей полезных ископаемых, обрабатывающей промышленностью, розничной торговлей, строительством и сельским хозяйством. Анализ производится для 2-х вариантов: с учетом экспортной составляющей и без учета экспортной составляющей.
Индекс расценок производителей учитывает изменение ценового показателя определенного набора товаров (сырье, материалы, комплектующие и проч.) на оптовом уровне в течение отчетного периода по отношению к базовому периоду. ИЦП — это один из индикаторов будущего уровня инфляции.
Также он иллюстрирует динамику в конкретной отрасли, а также движение доходов от продажи товаров, работ и услуг.
Рассчитывается индекс по следующей формуле:
Информационную базу расчета составляют статистические данные, актуальные на момент выполняемого расчета.
В 2009 году закончила бакалавриат экономического факультета ЮФУ по специальности экономическая теория. В 2011 — магистратуру по направлению «Экономическая теория», защитила магистерскую диссертацию.
Индексация сайта интернет-магазина: цели, способы проверки и ускорения процесса
В органическую выдачу попадают только проиндексированные ресурсы. Когда пользователь вводит запрос в поисковую строку, система просматривает базу с миллиардами просканированных веб-страниц. Затем с учетом разных факторов отбираются и показываются релевантные ответы. Как проверить индексацию и сделать так, чтобы сайт интернет-магазина оказался в поле зрения поисковых роботов – об этом наша сегодняшняя статья.
Цели и особенности индексации страниц
Процесс индексации состоит из нескольких этапов:
Индексация – процедура считывания, анализа и загрузки содержимого веб-страниц в базу данных, которая используется для поиска информации на сайтах. По сути это сканирование документа роботом с последующим включением в поисковый индекс.
За счет собранной информации поисковики ориентируются в тематике сайтов и наполнении отдельных страниц. Эти сведения приводятся в удобный для поисковых алгоритмов формат и хранятся в индексе, дополняются деталями и заменяются новыми версиями веб-страниц, обнаруженными при повторных визитах.
Во время сканирования робот проверяет, разрешена ли индексация, загружает и разбирает мета-теги, тексты, видео, изображения, служебную информацию и прочий контент. Полезность данных определяется по внешним ссылкам, активности посетителей, объемам трафика.
Главная цель индексации для сайта интернет-магазина – иметь возможность:
В процессе индексирования систем «Яндекс» и Google есть некоторые отличия. Googlebot первым делом оценивает мобильную версию веб-страниц. Индексация выполняется достаточно быстро: от нескольких минут до 7 дней. В постоянно обновляемый индекс попадают все просканированные данные. В выдаче по запросам оказываются самые качественные страницы, релевантность которых проверена по более 200 факторам ранжирования.
Особенности индексации в Google
Индекс в «Яндекс» обновляется раз в несколько дней. Система работает медленнее Google. Процесс индексирования может выполняться от 7 до 30 дней. В выдаче поисковика отображаются максимально релевантные документы с понятной, полезной и удобной в использовании информацией. Некачественные веб-страницы удаляются из индекса.
Условия попадания страниц в индекс
В индекс попадают те страницы сайта, которые посетил и счел полезными поисковый робот. Если страница осталась не проиндексированной, значит робот еще не дошел до нее или расценил, как неважную. Найти такую страницу через поиск в «Яндекс» или Google будет невозможно.
К непопаданию в индекс приводят такие ошибки и нарушения:
Плохое индексирование вероятно из-за ошибок в выборе главного зеркала, наличия вирусов или наложенных санкций. Зачастую роботы не доходят до определенных веб-страниц по причине отсутствия ссылок на них в sitemap.xml и внутренней перелинковке. Иногда проблема заключается в случайных запретах на индексацию отдельных разделов/страниц.
Инструменты управления поисковыми роботами
Чтобы попасть в индекс, нужно прежде всего решить все потенциальные проблемы. Только после этого можно приглашать бота на сайт для новой или повторной проверки и обработки данных.
Если ресурс появился в сети недавно, необходимо представить его поисковым системам, используя инструменты «Яндекс» и Google. Второй вариант – привлечь робота ссылками, размещенными на сторонних, уже проиндексированных ресурсах: в социальных сетях, на форумах и любых других площадках, близких по тематике.
Поисковые боты могут найти и проверить веб-сайт самостоятельно. Но полагаться на это полностью не стоит. Надежнее сообщить о ресурсе, нуждающемся в индексации, через специальные формы в сервисах поисковых систем.
Влиять на процесс можно с помощью двух файлов – robots.txt и sitemap.
Robots.txt – текстовый файл с параметрами индексирования, размещаемый в корневой папке ресурса. При обходе боты ориентируются на прописанные в нем данные, благодаря чему могут не тратить время и лимиты на проверку маловажных данных. Файл должен весить не более 32 KB и содержать правильно оформленные типы директив:
Перед загрузкой файла нужно проверять его на правильность в панелях веб-мастера.
Файл sitemap оповещает поисковые системы об актуальной на данный момент структуре ресурса, помогает выставить приоритеты для проверки. В нем указывается частота обновлений и другая ценная информация, которая необходима для максимально точного индексирования. Например, тип и лицензия изображений, длина и категория видеороликов и прочее. Sitemap особенно важен для объемных площадок с множеством страниц, на которых присутствует мультимедийный контент.
Как «пригласить» поискового бота:
Более простой способ – добавить сайт с помощью запроса «Add URL» в поисковой строке соответствующей системы.
Скорость сканирования будет зависеть от многих критериев. Учитываются:
Краулинговый бюджет – это максимальный лимит URL-адресов, выделенный для проверки одного веб-сайта в заданный период времени.
Способы проверки индексации
Проверить присутствие сайта, разделов и страниц интернет-магазина в индексе можно несколькими способами.
Поисковые операторы в запросах
Самый простой и быстрый способ ручной проверки – уточненный поисковой запрос с использованием оператора «site:». Он позволяет получить общую информацию о примерном количестве проиндексированных веб-страниц ресурса.
Запрос пишется в формате «site: [url сайта/раздела/страницы]». Для просмотра даты последнего сканирования вводят «cache: [адрес веб-страницы]». Результаты выдаются по поддоменам и основному домену.
С помощью дополнительных инструментов можно посмотреть данные о сканировании за конкретный период: последний час, сутки, неделю, месяц, год. Если на ресурс наложены какие-либо фильтры или санкции, ссылка может не отображаться. В таком случае следует вводить запрос через специальных операторов «inurl:» и «url:». При отсутствии страницы в индексе в выдаче будет показан пустой результат.
Чтобы понять, есть ли проблемы с индексацией и каков их масштаб, нужно сравнивать фактическое количество страниц с проиндексированным. Серьезная разница говорит о том, что поисковая система не видит большую часть контента. Также о проблемах свидетельствуют различия по показателям в «Яндекс» и Google. В основном это означает, что сайт находится под фильтрами.
Панели вебмастера
Базовые инструменты проверки для владельцев ресурсов – Google Search Console и «Яндекс.Вебмастер». В них выводятся детализированные сведения обо всех страницах сайта, по которым легко определить, что именно не проиндексировано и по какой причине.
Алгоритм проверки в Google:
Алгоритм проверки в «Яндекс»:
Плагины и скрипты
Плагины и скрипты – вариант для автоматизированных проверок. Это специальные расширения для браузеров, которые работают по аналогичным принципам. Чтобы получить интересующую информацию в один клик, не нужно ничего настраивать и прописывать: достаточно открыть сайт для проверки и активировать плагин.
В ТОП-3 популярных инструментов входят:
Онлайн-сервисы
Альтернатива плагинам – различные онлайн-сервисы. Помимо проверки индексации, они предоставляют много дополнительных функций и данных, помогают обнаружить вероятные проблемы в этом направлении. Примеры автоматизированных сервисов – Rush Analytics, SEO-reports, «Топвизор».
Функции Rush Analytics:
Возможности SEO-reports:
Функционал сервиса «Топвизор»:
Инструменты сервиса «Топвизор»
Как ускорить индексацию?
Иногда, даже при отсутствии явных проблем, которые могли бы препятствовать индексированию, адрес долгое время не появляется в выдаче поисковых систем. В некоторых случаях нужно просто подождать. Процесс сканирования молодых, только запущенных ресурсов может растянуться на несколько месяцев.
Ускорить индексацию помогут следующие эффективные шаги:
Заключение
Индексация всех открытых страниц – одна из наиболее важных целей для любого ресурса. Чтобы достичь ее, нужно контролировать процесс сканирования и добавления адресов в индекс, оперативно реагировать на сигналы о потенциальных проблемах. Главные условия успешного индексирования – качественная оптимизация, правильные настройки и полезный, релевантный контент.
Всем компаниям: обязательно индексировать зарплату
По закону работодатели должны периодически повышать зарплату сотрудников, чтобы ее не съела инфляция. Это называется индексацией, и она обязательна для всех компаний.
Рассказываем, как правильно оформить индексацию и что будет, если ее не делать.
Что такое индексация
Индексация — повышение зарплаты из-за инфляции, и это обязанность работодателя.
Со временем цены растут: хлеб стоил 20 рублей, а через полгода — 23 рубля. Если зарплата не растет, на нее можно купить меньше продуктов и товаров.
Сергей зарабатывает 30 000 тысяч рублей в месяц.
Каждый день он закупается на тысячу рублей. Со своей зарплатой он может сходить в магазин тридцать раз.
Через полгода за те же самые продукты и вещи Сергей должен заплатить 1100 рублей. Если его зарплата остается прежней, Сергей сможет сходить в магазин 27 раз.
В этом случае говорят, что инфляция съела часть зарплаты. Чтобы этого не случилось, Сергей должен получать на 10% больше — 33 000 рублей.
Трудовой кодекс говорит, что индексация зарплаты работников — обязанность работодателя. Повышать зарплату сотрудникам нужно не за какие-то заслуги или новых клиентов, а просто так, потому что цены растут. Но в законе всё, как всегда, запутанно.
Кому индексировать
По Трудовому кодексу все компании должны индексировать зарплату. Но формулировка в законе расплывчатая. Он говорит примерно так: «Государственные учреждения должны индексировать зарплату по трудовому законодательству, а другие работодатели — по правилам из коллективных договоров, соглашений, локальных нормативных актов».
Вот точная формулировка:
Кажется, если в компании нет «коллективных договоров, соглашений, локальных нормативных актов», индексация зарплаты не обязательна.
На самом деле зарплату должны индексировать все, у кого есть сотрудники с трудовым договором. Это подтверждают Конституционный суд и Роструд. Вот доказательство от Конституционного суда:
Суды придерживаются такого же мнения. Например, в этом деле у компании не было локальных актов и положений об индексации. Поэтому она считала, что индексировать зарплату не обязана. Компания проиграла суд:
ФГУП не индексировало зарплату сотрудников, и суд назначил ему штраф в 30 000 рублей. Адвокат утверждал, что если компания не прописала порядок индексации в документах, то не обязана повышать зарплату.
Суд сослался на Трудовой кодекс и сказал, что индексация зарплаты сотрудников — обязанность каждой компании. ФГУП проиграло дело.
Как оформить индексацию
Компании сами устанавливают порядок индексации, точных требований и форм документов в законе нет. Главное — прописать порядок во внутренних документах компании, на языке закона — в локальных нормативных актах. Если порядок не прописан, компания может получить штраф.
Прописать порядок индексации можно в одном из разделов коллективного договора, положении об оплате труда или трудовом договоре с каждым сотрудником. Еще один вариант — издать отдельный приказ.
Правильного порядка индексации зарплаты нет, каждая компания может сама решить, что в нём писать.
Условия индексации з/п. Такими условиями могут быть финансовые показатели компании. К примеру, компания может написать, что индексация проводится, когда компания зарабатывает прибыль или когда нет убытков. Формулировка:
«Основание для индексации — отсутствие убытков».
Если компания работала в убыток, зарплату можно не индексировать.
Сотрудник подал в суд на компанию, потому что ему не индексировали зарплату. Он хотел получить доплату за время, пока ему не повышали зарплату.
В коллективном договоре было прописано, что индексацию проводят «в соответствии с официальным уровнем инфляции и с учетом финансового состояния предприятия». Суд исследовал финансовую отчетность компании, и оказалось, что компания работала в убыток. Компания выиграла.
В этом деле суд тоже встал на сторону компании, потому что она завязала индексацию на финансовых показателях:
«Газпром центрэнергогаз» не проводил индексацию, а инспекция по труду потребовала это делать.
Компания подала в суд и доказала, что не обязана проводить индексацию. Она связала повышение зарплаты с финансовыми показателями. Есть прибыль — индексируем зарплату, нет — не индексируем. Эти условия она прописала в договоре с сотрудниками.
«Газпром» год работал в минус, денег на повышение зарплаты не было, поэтому выиграл дело.
Определить выплаты, которые будут индексироваться. Это может быть оклад, тарифные ставки, премии или что-то еще. Если индексируется только оклад, формулировка такая:
«Индексируются оклады сотрудников».
Прописать формулу расчета индексации. По этой формуле компания будет рассчитывать зарплату сотрудникам. Она может быть такой:
«Повышение оклада = Оклад * Индекс потребительских цен / 100%».
Индекс потребительских цен можно узнать на официальном сайте Росстата. Например, в 2017 году он был 2,51%. Это означает, что работодатель должен был повысить зарплату на 2,51%.
Зарплата сотрудника в январе 2017 года — 50 000 рублей.
Повышение оклада = 50 000 * 2,51% / 100% = 1255 рублей.
В феврале 2018 года зарплата — 51 255 рублей.
Индекс потребительских цен можно брать по всей России или конкретному региону. В регионах он меньше, поэтому предприниматели из этого региона могут сэкономить на индексации. Например, в Белгородской области в 2017 году индекс был 1,54% вместо 2,51%.
Вместо индекса потребительских цен можно подставить уровень инфляции. Его можно посмотреть в законе «О Федеральном бюджете», который выходит в конце каждого года. На 2018 год уровень инфляции — 2,8%.
Определить периодичность индексации. Индексацию можно делать раз в год, раз в полгода или каждый месяц. Так и напишем:
«Выплаты сотрудников индексируются каждый год в феврале».
Мы подготовили текст пункта для индексации зарплат сотрудников. Его можно скопировать и вставить в приказ об индексации или трудовом договоре с сотрудниками:
Порядок индексации можно прописать в отдельном соглашении. Мы подготовили шаблон:
Разница между индексацией и повышением зарплаты
Если работодатель иногда повышает зарплату сотрудникам, не значит, что он не должен ее индексировать. Он может повышать за что угодно: нового клиента, контракт на сто миллионов или пунктуальность. Но к индексации это отношения не имеет.
Сотрудник проработал год, и работодатель повышает ему оклад на 5000 рублей. За год цены выросли, и работодатель должен проиндексировать оклад на 1000 рублей.
Повышение зарплаты в пять раз больше суммы индексации. Но индексировать зарплату все равно придется.
Вот различия между повышением зарплаты и индексацией.
Что такое индексация – самый полный гайд
Часто происходит путаница в терминологии: под индексацией иногда подразумевают сканирование сайта или совокупность и сканирования и индексации. В этом нет большой ошибки, часто путаницу вносят сами мануалы поисковых систем. Иногда в текстах Яндекса и Гугла можно увидеть использование термина индексация в разных контекстах, например:
Индексация сайта простыми словами
Так что же такое индексация: если кратко, то индексация (или индексирование, indexing) – один из процессов работы поисковых систем по построению поисковой базы в результате которого содержимое страниц попадает в индекс поисковой системы.
Для большей ясности приведу терминологию, а потом опишу все процессы.
Терминология
Планировщик (Scheduler) – программа, которая выстраивает маршрут обхода интернета роботами исходя из характеристик страниц, таких как частота обновления документов, востребованность этих страниц, цитируемость.
Crawler, Spider (Паук) Googlebot, YandexBot. Робот, ответственный за обход и скачивание страниц из интернета в порядке очередности, который задается планировщиком. Подразделяются на:
Сканирование (Crawling) – процесс загрузки страниц краулером в результате чего они попадают в хранилище, в виде сохраненных копий.
Краулинговый спрос: это то, как часто и в каком объеме робот бы хотел сканировать конкретные страницы.
Краулинговый лимит: ограничения скорости сканирования на стороне сайта, связанные с производительностью сайта или заданным вручную ограничением.
Краулинговый бюджет – это совокупность краулингового спроса и доступной скорости сканирования сайта (краулингового лимита). Простыми словами – это то сколько робот хочет и может скачать страниц.
Сохраненная копия – необработанная копия документа на момент последнего сканирования.
Поисковый индекс – информация со страниц, приведенная в удобный для работы поисковых алгоритмов формат. Список всех терминов и словопозиций где и на каких страницах они упоминаются. Информация хранится в базе в виде инвертированного индекса. Схематический пример:
Индексация – процесс загрузки, анализа содержимого документа документа с последующим включением в поисковый индекс.
Поисковая база – это совокупность поискового индекса, сохраненных страниц и служебной информации о документах, таких как заголовки, типы и кодировка документов, коды ответов страниц, мета теги и др.
Как происходит сканирование сайта
Так как ресурсы поисковых систем не безграничны, планировщик составляет очередь обхода страниц, исходя критериев их полезности, востребованности, популярности и др. Каждый сайт получает свой краулинговый бюджет исходя из скоростных характеристик сайта и таких критериев как:
Робот в постоянном режиме скачивает страницы и помещает их в хранилище, заменяя старые версии. Мы можем увидеть их в виде сохраненных копий. Далее уже происходит индексация страниц.
Как проходит индексация сайта
Индексацию можно условно разбить на следующие процессы:
Как проходит индексация сайта в Яндексе
Все описанное в предыдущем пункте справедливо и для Яндекса и для Google. Какие есть особенности индексации у Яндекса?
У Google обновление поисковой базы – непрерывный процесс. В Яндексе обновление происходит во время Апдейтов, примерно раз в три дня. О том что произошло обновление можно узнать по уведомлениям в Яндекс.Вебмастере
Как проверить индексацию
Есть разные способы для проверки статуса индексации сайтов и отдельных его страниц:
Выбор сервиса зависит от поисковой системы, а также задачи: узнать сколько страниц всего в индексе, получить список проиндексированных страниц или проверить статус индексации конкретной страницы или списка страниц. Подробнее расписано ниже.
Как узнать сколько страниц проиндексировано на сайте
Расширения для браузера
Быстрые способы проверить статус индексации сайта – расширения и букмарклеты для браузера, например RDS-бар
Сервисы для анализа сайтов
Так же можно проверить с помощью сервисов, таких как pr-cy.ru
Яндекс.Вебмастер и Google Search Console
Если есть доступы к панелям вебмастеров, можно получить количество проиндексированных страниц в панелях вебмастеров:
С помощью специализированных программ для SEO, например Allsubmitter, Netpeak Checker.
Это может понадобиться когда нужна пакетная проверка параметров чужих сайтов.
Пример проверки числа проиндексированных страниц в Netpeak Checker.
Проверка индексации сайтов в Яндекс:
Проверка индексации сайтов в Google:
Пример проверки индексации сайтов в Яндекс и Google в Allsubmitter.
Как выгрузить список проиндексированных страниц сайта в Яндексе и Google
Внизу страницы ссылки на скачивание файла – cуществует ограничение в 50 000 страниц.
Google Search Console: в отчете Покрытие – выбираем нужные типы страниц
Переходим в нужный отчет и скачиваем список страниц в удобном формате. Google отдает только 1 000 страниц.
Поисковые операторы Яндекса
Запрос для поиска страниц в пределах одного домена – url:www.site.ru/* | url:site.ru/* | url:site.ru | url:www.site.ru.
Запрос для поиска с учетом всех поддоменов – site:site.ru
Список операторов и инструкцию по работе с ними можно посмотреть в справке Яндекса.
Ограничение: можно получить только 1000 результатов. Нужны специальные инструменты чтобы скопировать список страниц SERP: расширения браузера, букмарклеты или программы для парсинга выдачи.
Поисковые операторы Google
Запрос для поиска страниц в пределах одного сайта – site:site.ru
Получение списка страниц входа из систем веб-аналитики
Списки страниц входа из органики Яндекса в системах аналитики Яндекс.Метрика и Google.Analytics. Страницы по которым идут переходы с органической выдачи с большой вероятностью индексируются, но для точности рекомендуется проверять индексацию собранных страниц – индекс не статичен и страницы могут выпадать из индекса.
Список страниц по которым сайт показывается в выдаче в Яндекс.Вебмастере
Для выгрузки большого списка страниц из Яндекс.Вебмастера потребуется специальный скрипт.
Плагин для API Google Webmasters: Google Search Analytics for Sheets
Отображает страницы по которым были показы сайта в выдаче.
Преимущества выгрузки списка страниц через API в том что можно получить десятки тысяч страниц, которые с большой вероятностью проиндексированы, в отличие от веб-интерфейса где установлено ограничение по выгрузкам в 1000 страниц.
Серверные логи сайта
Получить список страниц которые посещает робот можно из логов, например с помощью программы SEO Log File Analyser от создателей Screaming Frog.
Как проверить индексацию конкретной страницы в Яндексе и Google
Проверка с помощью оператора: пример запроса url:https://site.com/page/
Сервис Google Search Console: инструмент “Покрытие”
Нужно ввести в указанной на скрине строке поиска URL-адрес своего сайта и откроется отчет о статусе страницы.
Проверка с помощью оператора: пример запроса site:https://habr.com/ru/news/t/468361/
После отмены оператора info остался оператор site, но он выдает не всегда точные данные, можно сократить список результатов с помощью указания уникального текста проверяемой страницы.
Как массово проверить индексацию списка страниц
Для проверки можно использовать SEO-сервисы, например Rush Analytics.
Это позволяет массово проверить индексацию до десятков-сотен тысяч страниц
Как проверить разрешена индексация/сканирование страницы в Robots.txt
В Google
Инструмент проверки файла robots.txt
Важно: если файл robots.txt отдает 404 ошибку, боты считают что разрешено сканирование всего сайта без ограничений. Если файл отдает ошибку 5хх, то Googlebot считает это полным запретом на сканирование сайта, но если ошибка отдается более 30 дней – считает что разрешено сканировать весь сайт без ограничений. Яндекс любые серверные ошибки считает отсутствием файла robots.txt и отсутствием ограничений на обход и индексацию сайта.
Как узнать динамику числа проиндексированных страниц
С помощью специализированных сервисов, например: https://be1.ru/
С помощью Google Search Console: в отчете Покрытие.
Почему число проиндексированных страниц может отличаться в разных сервисах?
Нужно понимать что проиндексированные страницы и страницы в поиске это разные сущности. Не все проиндексированные страницы будут включены в поиск и не все страницы в поиске будут показываться через операторы поиска – операторы лишь выводят результаты пустого поиск по сайту а не список всех страниц. Но этого в большинстве случаев достаточно чтобы оценить порядок числа проиндексированных страниц сайта.
Запрет индексации страниц
Запрет индексации с помощью Meta Noindex/X-Robots-Tag
Для гарантированного исключения попадания страниц в индекс можно использовать атрибут Noindex Мета Тега Robots или HTTP-заголовка X-Robots-Tag. Подробнее про этот атрибут можно прочитать тут.
Важно: Использование запрета индексации в через Meta/X-Robots-Tag Noindex вместе с запретом в Robots.txt
При добавлении директивы Noindex в мета-тег Robots и http-заголовок X-Robots-Tag, чтобы ее прочитать, робот должен просканировать страницу, поэтому она должна быть разрешена в файле Robots.txt. Следовательно для точечного запрета индексации страниц иногда требуется снять запрет в robots.txt или добавить директиву Allow, чтобы робот смог переобойти эти страницы.
Несмотря на вышеописанное, запрет в robots.txt в большинстве случаев все таки приведет к тому, что страницы не будут индексироваться, но его нельзя использовать для закрытия персональных данных или страниц с конфиденциальной информацией.
Как запретить индексацию страницы в robots.txt
Стоит сразу упомянуть что запрет в robots.txt не является надежным методом закрытия страниц от индексации.
В файле robots.txt указываются основные директивы для запрета или разрешения обхода/индексации отдельных страниц или разделов сайта.
Важно: Многие ошибочно считают что директива Disallow в Robots.txt служит для запрета индексации страниц, это не совсем так. Основная цель файла Robots.txt – управление трафиком поисковых роботов на сайте, а не индексацией / переиндексацией и разные поисковые системы по разному интерпретируют запрет.
Многие вебмастера не понимают почему после запрета страницы в robots.txt она продолжает находиться в индексе и приносить трафик. Запрет посещения и обновления страницы роботом не означает, что он обязан удалить уже присутствующую в индексе страницу. К тому же для индексации не всегда обязательно физически сканировать страницу, информацию о ней можно собирать из различных источников, например, из анкоров входящих ссылок.
Почему заблокированные в robots.txt страницы отображаются в выдаче?
В Яндексе и Google различается механизм обработки директив файла Robots.txt. Для Google директива Disallow в robots.txt запрещает лишь обход страниц, но не их индексацию из-за чего часто появляются страницы со статусом:
Для запрета индексации в Google через файл Robots.txt ранее использовалась незадокументированная директива Noindex в Robots.txt, но с сентября 2019 года Google перестал поддерживать ее.
На данный момент для надежного запрета индексации страниц в Google рекомендуется использовать атрибут Noindex Мета Тега Robots и HTTP-заголовка X-Robots-Tag.
Яндекс же, наоборот, воспринимает запрет в Robots.txt Disallow: как сигнал к запрету и сканирования и индексирования сайта и после добавления директивы Disallow: страницы будут удалены из индекса.
Использование атрибута canonical для запрета индексации дубликатов
Для консолидации дубликатов или похожих страниц страниц используется атрибут canonical, который указывает поисковикам по какому адресу рекомендуется индексировать страницу. Носит рекомендательный нестрогий характер.
Два типа использования:
Использование директивы clean-param для удаления из индекса
Директива clean-param файла Robot.txt используется только Яндексом. Указывает незначащие параметры, которые будут по возможности вырезаться из URL-адресов при обходе сайта. Страницы, запрещенные в Clean-Param будут исключены из индекса.
Инструмент Параметры URL в Google Search Console
Похож на Clean-Param Яндекса в Robots.txt, но управляет только сканированием, а не индексацией.
SetEnvIfNoCase User-Agent “^Googlebot” search_bot
SetEnvIfNoCase User-Agent “^Yandex” search_bot
Запрет сканирования, индексации с помощью кодов ответа сервера 3хх/4хх
Чтобы гарантированно запретить роботам скачивать страницы, можно отдавать ботам при сканировании страниц коды:
Удаление страниц из индекса
Удаление страниц или каталогов через Search Console
Инструмент не запрещает страницы к индексации или сканированию – он лишь временно скрывает страницы из поисковой выдачи. Рекомендуется использовать только для экстренного удаления страниц, случайно попавших в выдачу, после этого уже физически удалить их или запретить сканирование/индексацию.
Ускоренное удаление из индекса страниц в Яндексе
На сайт должны быть подтверждены права. Можно удалить только страницы, которые недоступны для робота: запрещенные в robots.txt или отдавать код 3хх, 4хх.
Для удаления из индекса Яндекса страниц чужого сайта можно воспользоваться формой – https://webmaster.yandex.ru/tools/del-url/.
Требования к URL-адресам такие же: запрет в robots.txt или коды ответа 301, 403, 404, 410 и т.п.
Как добавить страницы в индекс Яндекса или Google
Роботы постоянно ходят по ссылкам на сайтах. Для ускорения добавления существуют инструменты:
Как проверить обход / сканирование сайта поисковыми системами
Яндекс:
Общее количество загруженных (просканированных) Яндексом страниц можно увидеть на главной странице вебмастера.
Google: отчет: статистика сканирования сайта.
Также можно проверить обход сайта всеми поисковыми роботами с помощью анализа серверных логов сайта (Access logs). Например, через программу SEO Log File Analyser.
Как часто происходит индексация сайта
Поисковые боты постоянно равномерно загружают страницы сайта, далее выкладывая их в обновленный индекс: Google обновляет индекс в постоянном режиме, Яндекс во время апдейтов поисковой базы, примерно раз в три дня.
Частота сканирования и переиндексации каждого отдельного сайта различается, и зависит от факторов:
Как улучшить и ускорить индексацию сайта
Рекомендации для увеличения охвата страниц индексом поисковых систем:
Как ограничить скорость сканирования сайта
Обычно если требуется ограничить нагрузку, которую создают роботы, то у сайта большие проблемы и это негативно скажется на его индексации. Боты стараются быть “хорошими” юзерами и сканируют сайт равномерно, стараясь не перегружать сервера.
То что сайт от этого испытывает проблемы с нагрузкой, в 90% случаев может быть сигналом к смене хостинга/сервера или оптимизации производительности CMS. Но в случае крайней необходимости все таки можно задать рекомендуемую скорость сканирования сайта.
Для ограничения скорости обхода сайта можно воспользоваться инструментами Яндекс.Вебмастер и Google
Яндекс:
Google:
В старой версии консоли можно было временно ограничить максимальную скорость сканирования сайта