1. Новые покупки

    21.04.2018: Лови Дзен и зарабатывай на этом до 100 000 рублей в месяц (Виктория Самойлова)

    20.04.2018: [НЛП] Архетипы - Чекчурин, Парханович (2018)

    20.04.2018: Инженер тендерного отдела - Черняк на Udemy (2018)

    19.04.2018: Схема пассивного заработка от 800р в сутки с одного потока (2017)

    19.04.2018: АНИМАЦИОННЫЙ ВИДЕО-ПРОРЫВ 2.0 - Сергей Панферов

    18.04.2018: Бизнес молодость "Метаморфозы" Базовый курс

    18.04.2018: Еnvаtо Еlеmеnts - слив подписки 2017 [1,3 Терабайта годноты]

    18.04.2018: Прибыльная стратегия продаж на Amazon – Online Arbitrage (2017)

    17.04.2018: Обучение в мастер-группе по ударной раскрутке сайтов - Новосёлов (2018)

    17.04.2018: Курс Максима Солдаткина по веб-дизайну и UX/UI с трудоустройством Дизайнер 2.0

    16.04.2018: Взламываем сайты / тестирование на проникновение с нуля - часть 2 из 7

    16.04.2018: [Udemy.com] Взламываем сайты / Тестирование на проникновение с нуля - Все 7 частей!

    15.04.2018: WordPress для верстальщика - Исламов (3.2018)

    15.04.2018: EdmarketConf - конференция по онлайн-образованию (2018)

    14.04.2018: Монетизация Вконтакте 2.0 - Сычёв (2018)

    14.04.2018: Секреты мужской психологии - Бахтиозина Татьяна (2016)

    13.04.2018: Юмор Начало 2.0 Развитие чувства юмора - Павел Воля (2018)

    13.04.2018: [SilverStone] Имитация камня

    13.04.2018: ИНСТАКУРС 6: С НУЛЯ ДО ПРОФИ - Делай деньги (2018)

    13.04.2018: [Претекст] 70 книг: продажи, управление, влияние, бизнес, психология, маркетинг, коучинг

    12.04.2018: Специалист по трафику, трафик-менеджер - Convert Monster (2018)

    12.04.2018: Введение в BlockChain и смарт-контракты. За что программистам платят 150.000 рублей в месяц+ БОНУС

    12.04.2018: Опционы На Старт! - Пурнов (2017)

    12.04.2018: Как защититься от мужских измен - Бахтиозина Татьяна(2016)

    12.04.2018: Как стать женщиной, которую одаривают мужчины- Бахтиозина Татьяна (2016)

    12.04.2018: Деньги (крупные суммы) из товарных дорвеев - Авторская (2018)

    11.04.2018: Как зарабатывать на картинках от 1500 руб в день (2018)

    11.04.2018: [БМ-Бизнес Молодость] - Реальный YouTube 2018

    10.04.2018: Видео Омоложение - Эрик Томпсон (обновлённая версия 2018)

    10.04.2018: Как запустить свою онлайн-школу с доходом 100 000 - 300 000 рублей в месяц - Борисов

    06.04.2018: Пресеты LR Сергей Кабанков и Анюта Рай

    06.04.2018: Курс Моделирование женского платья (fashionelement)

    06.04.2018: Технология производства изделий из каменной крошки

    06.04.2018: Дорвеи для нищебродов - Заработок без вложений (2017)

    05.04.2018: Страх подхода — решение для интровертов - Джеймс Маршалл (2018)

    04.04.2018: Магия сексуальности (интенсив, пакет Жрица) - Мирная (2017)

    04.04.2018: Английский. Живая Разбериха - Счастливая (2017)

    03.04.2018: Рождественская раздача - 45 вебинаров! - Бауман

    01.04.2018: Основы блокчейн - Pluralsight (Полный перевод 2018)

    31.03.2018: Денежный магнит -Бахтиозина Татьяна (2018)

    30.03.2018: Как оставаться любимой для одного и желанной для многих - Чернозем (2016)

    30.03.2018: Сценарии жизни людей - Клод Штайнер (2018)

    30.03.2018: Нейро-мио-фасциальные манипуляции в комплексной мануальной терапии - Сапир (2017)

    30.03.2018: Mirantique 2 - Достижение цели проще - KimEvolution (2018)

    29.03.2018: Магия Влюбления - Бахтиозина Татьяна (2016)

    29.03.2018: Как создавать статейники (mfc) на копипасте - Громов (2018)

    29.03.2018: Искусство таро. Полный курс - Попов

    28.03.2018: Курс разработки на блокчейне Ethereum, создания смартконтрактов и сайтов для ICO

    28.03.2018: [Академия верстки] Веб-разработчик 12.0 - Исламов

    28.03.2018: Как зарабатывать с одного сайта более 300К рублей в месяц - Квасов (2018)

    28.03.2018: Содание организационной политики и накопление знаний в компании - Торбосов

    28.03.2018: Пошив базового гардероба с нуля

    26.03.2018: Фитнес модель за 4 месяца - 4.0 (2017, ФМ4М)

    25.03.2018: Основы дизайна интерьеров - Highlights (2017)

    25.03.2018: MemberShip под ключ (+ транскрибация) - Юрий Черников (2018)

    23.03.2018: Выйди из зоны комфорта - Брайан Трейси (Аудиокнига + Рабочая тетрадь)

    23.03.2018: Порно - Почему оно разрушит твою сексуальную жизнь - Джеймс Маршалл (2018)

    23.03.2018: Секреты хакеров! Полный курс по кибербезопасности - Udemy (2017)

    22.03.2018: Руководство по быстрому запуску и продвижению магазина на etsy (2018)

    22.03.2018: [OpenCart] МегаПак 79 шаблонов от Pavothemes +200 модулей и 20 шаблонов от opencart2x

    22.03.2018: Госзаказ от теории до контракта (2017)

    22.03.2018: Как разобраться со своим гневом? Семинар - Бурхаев (2018)

    20.03.2018: Backend Интернет-Магазина (Веб Разработка, 2 четверть) - GeekUniversity (2018)

    19.03.2018: 20 Золотых процессов на все случаи жизни - Саянов (2017)

    19.03.2018: Как женщине вернуть свою силу и энергию - Бахтиозина (2017)

    15.03.2018: Обучение торговли криптовалютам - Яковенко

    13.03.2018: Пассивная схема доход от 75 000 в месяц

    10.03.2018: Поставщики [Оптовик 8.0] Бизнес с Китаем от А до Я всего за 1 месяц

    10.03.2018: Курс по личной эффективности - Сорокин aka Smart (2017)

    10.03.2018: Копирование крупных сайтов - Авторская (2018)

    08.03.2018: Схема по созданию кредитной карты на гражданина USA профит от 1000$

    08.03.2018: Vip Ключ Jackpot - Клинг

    04.03.2018: Секреты современного программирования - [email protected] (2017)

    03.03.2018: Как открыть свой обменный пункт электронных денег и криптовалют - Monta

    03.03.2018: Взламываем сайты / тестирование на проникновение с нуля - часть 3 из 7

    02.03.2018: Чёрная автоматика - Корнилов ака kote.ws (2018)

    02.03.2018: Изготовление сабвуферов Стелс - Туманов (2017)

    28.02.2018: Набор иконок в разных форматах - Font Awesome 5 PRO (Line, Solid, Regular)

    28.02.2018: Как уличить жену в измене - Женские секреты

    28.02.2018: Автонаполняемый новостной портал World news [ English ]

    28.02.2018: Большой Интенсив Александра Писаревского

    24.02.2018: Криптотрейдинг от практика ( CryptoInside )

    24.02.2018: Обучение Бизнесу с Китаем от 100$ к 10.000$ за 2 месяца коучинг 21 (Версия Платинум)

    23.02.2018: Рецепт от рака из Третьего Рейха , продления жизни и 25 других серьезных заболеваний 4/6

    19.02.2018: Криптобизнес 2.0

    18.02.2018: Design GYM 4.0 Курс Данила Фимушкина

    17.02.2018: Заработок криптовалюты с помощью двух сервисов - Якупов

    17.02.2018: Курс Максима Солдаткина по веб-дизайну и UX/UI с трудоустройством Дизайнер 2.0 (2-ой месяц)

    15.02.2018: Супердоходные сайты от А до Я - Деригина (2017)

    13.02.2018: Прибыльные ниши на Etsy - Федосенко (2017)

    12.02.2018: Аналитика данных. Онлайн-курс.

    12.02.2018: Контрактные автозапчасти - Гордеев

    04.02.2018: Instagram-аккаунт для роста вашего бизнеса (2017)New!

    29.01.2018: Интернет-профессия “Мастер анимационного видео”

    28.01.2018: Программирование - Дуйко (2018)

    27.01.2018: Как новичку с нуля начать зарабатывать от 7000 рублей в день.

    27.01.2018: [Практика] Уникальный белый заработок на услуге до 90 т.р. в месяц (2017)

    25.01.2018: Крипто-портфель на 2018 год

    25.01.2018: Факультет по Веб Разработке (1: Frontend ИнтМаг) - GeekUniversity (2017)

    24.01.2018: Ликвидация склада StratoПлана 2017

  2. Получи максимум инфопродуктов, оформи подписку всего за 295 рублей!
    Скрыть объявление

Чтиво Быстрое исследование индексации сайта через новый Вебмастер

Тема в разделе "Поисковая оптимизация и продвижение", создана пользователем Gustav, 7 сен 2016.

  1. Gustav

    Gustav Команда форума Администратор

    Сообщения:
    10.150
    Симпатии:
    22.856
    Быстрое исследование индексации сайта через новый Вебмастер

    В новой версии Яндекс.Вебмастера появился удобный инструмент быстрого исследования того, как сайт индексируется поисковой системой.

    Этот инструмент называется «Статистика» и находится он в разделе «Индексирование».

    Я хочу рассказать вам, как мы, в агентстве Реаспект, проводим быстрый аудит индексирования сайта при помощи данного инструмента.

    1. Составление структуры сайта

    2. Проверка соответствия реальной структуры сайта и добавление новых разделов

    3. Выгрузка данных

    4. Исследование данных

    • Коды ответа, отличающиеся от 200
    • Коды ответа 200, но исключенные из поиска. Возможные причины и способы их устранения
    5. Распространенные ошибки

    6. Выводы.

    1. Составление структуры сайта

    Если у вас небольшой сайт (до 5000 страниц), пункты 1-2 можно пропустить и сразу перейти к пункту 3 — Выгрузка данных.

    Составление структуры сайта – то, что необходимо делать с самого начала работы над новыми проектами. Именно на этом этапе специалист знакомится с проектом, получает первые представление о проблемных зонах и точках роста.

    Тема составления и расширения структуры сайта довольно большая. Если читателям будет интересно, я напишу отдельную статью о том, как правильно составить структуру сайта, какие можно использовать для этого инструменты и какие полезные решения можно найти для роста сайт.

    На выходе мы должны получить структуру сайта c url масками

    Пример структуры:

    Быстрое исследование индексации сайта через новый Вебмастер   S.png

    2. Проверка соответствия реальной структуры сайта и добавление новых разделов

    Заходим в Пожалуйста, войдите или зарегистрируйтесь, чтобы просмотреть ссылку , выбираем нужный сайт и заходим в раздел «Индексирование – Структура».

    Структура сайта показывает распределение страниц сайта, загруженных роботом, по директориям и скриптам. Она отображает только разделы, которые содержат более 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу Поиска.

    Подробнее: Пожалуйста, войдите или зарегистрируйтесь, чтобы просмотреть ссылку

    Смотрим, какие разделы и подразделы выделила поисковая система, и в случае необходимости добавляем новые разделы кнопкой «Добавить раздел».

    К сожалению, в настоящий момент есть возможность добавить до 5 пользовательских разделов.

    На вопрос, будет ли увеличено количество пользовательских разделов, поддержка Яндекс Вебмастера отвечает: «Пока от пользователей сервиса не было массового запроса на увеличение данной возможности. При возникновении такого общественного запроса он будет рассмотрен менеджерами сервиса».

    Но мы можем добавлять свои разделы и удалять их по мере необходимости.

    8d5a33da3a62e396b4998777aae183eb.png

    Стоит учесть, если вы добавили свой раздел в структуру, и Яндекс знает о страницах, которые есть в данном разделе, но в столбцах «Загружено», «В поиске» и «Доля загруженных, %» появляется надпись: «Данные о разделе скоро появятся», вы все равно можете посмотреть всю нужную информацию, зайдя в соответствующий отчет. Данные о разделах в таблице обновятся позже.

    3. Выгрузка данных

    Для выгрузки данных о страницах идем в раздел «Индексирование» - «Статистика».

    В выпадающем меню разделов сайта выбираем:
    • Если у вас небольшой сайт (до 5000 страниц) выбирайте корневой раздел (домен сайта)
    • Если сайт большой, в меню выбирайте раздел, который планируете изучать. Иначе файл выгрузки может получиться очень объемным
    Далее можно начать ковыряться в сводке, выбирая разные типы ошибок и смотреть что там и как, это будет красиво, но долго. А нам надо быстро и удобно.

    f176ea4f07557ebb1d141b87cff994e6.png

    Для этого нажимаем кнопку «Скачать архив загруженных страниц».

    4. Исследование данных выгрузки

    В полученном архиве будет файл с расширением .tsv. Файлы с таким расширением открываются офисными таблицами, например, excel.

    Задаем в документе фильтрацию («Данные» - «Фильтрация») и приступаем к анализу данных.

    966685b3de26f3368da08359c2428a0c.png

    4.1. Страницы с кодом ответа отличным от 200

    Первым делом изучаем, с какими кодами ответа сервера, кроме 200 столкнулся Яндекс на исследуемом сайте.

    Для этого, в колонке «http_code» поочередно просматриваем все значения, отличные от «200».

    Самые распространенные коды ответов:
    • 30X – коды ответов серверного перенаправления с одной страницы на другую
    • 40X – коды ответов несуществующих страниц
    • 50X – коды ответов ошибок сервера
    • «-» – Не поддерживаются основным индексирующим роботом поиска Яндекса
    Подробнее с кодами ответа вы можете ознакомиться на данной странице Пожалуйста, войдите или зарегистрируйтесь, чтобы просмотреть ссылку

    Хочу обратить внимание на то, что коды ответов в таблице – это коды, полученные поисковой системой на момент посещения страницы, и на момент выгрузки данных, код может отличаться. Поэтому, обязательно смотрите данные из колонки «last_access».

    Не забывайте, что Яндекс выгружает данные в формате Пожалуйста, войдите или зарегистрируйтесь, чтобы просмотреть ссылку . Для преобразования данного формата в классический можно использовать формулу =C2/(60*60*24)+"1/1/1970".

    4.2. Страницы с кодом ответа 200, не участвующие в поиске

    Приступаем к изучению страниц, которые отдавали код ответа 200 (существуют) Яндексу, но не участвуют в поиске.

    Для этого выставляем в колонке «http_code» значение «200», а в колонке «searchable» значение «0».

    Поочередно просматриваем, какие страницы исключены из индекса поисковой системы. Зайдите на сами страницы и попытайтесь понять, почему Яндекс считает данные страницы бесполезными для поиска.

    4.3. «Мусорные» страницы с кодом ответа 200, участвующие в поиске

    Также рекомендую после описанных выше шагов изучить, какие страницы присутствуют в выдаче поисковых систем в настоящий момент.

    Цель такого изучения – поиск страниц, которые в индексе присутствовать не должны, как пример:
    • Технические дубликаты
    • Мусорные страницы
    • Страницы c UTM-метками
    • Страницы из предыдущей структуры
    • Страницы поиска и фильтрации
    • И прочие нестандартные страницы
    Если такие страницы найдены, то лучшим решением будет удалить их из поиска, закрыв от индексации, или удалить с сайта, если это мусор.

    5. Наиболее распространенные ошибки

    Можно выделить следующие ошибки, которые я чаще всего встречаю при анализе сайта и пути их решения:
    • 302 код временного серверного перенаправления. Данный код используется при временном перемещении страницы на другой адрес. В этом случае страница не удаляется из индекса поисковых систем, и может создавать дубль основной страницы. Если страница переносится на новый url, обязательно ставьте 301 серверный редирект.
    • 404 код несуществующих страниц. Подобный код может быть только у страниц, которые были целенаправленно удалены с сайта. Если 404 код отдают страницы, которые существуют, проверяйте все ли нормально со страницами и отправляйте эти страницы в очередь переобхода поисковой системой («Новый вебмастер» - «Инструменты» - «Переобход страниц»).
    • 50X коды ошибок на стороне сервера. Подобных ошибок на сайте быть не должно. Если они есть, проверяйте состояние сайта в настоящий момент. И обязательно проверьте, как часто сервер, на котором находится ваш сайт «падает». Если у вас на сайте установлена Яндекс.Метрика, можно посмотреть отчет по адресу: «Отчеты» - «Стандартные отчеты» - «Мониторинг» - «Результаты проверки». В данном отчете отражаются «падения» сайта. Если Аптайм менее 99,5% в месяц, стоит задуматься о смене сервера.
    • Удалённые страницы, отдающие код ответа 200. Часто бывает так, что страница была удалена с сайта, но она продолжает отдавать код ответа 200 (существует). Старайтесь сделать так, чтобы удалённые страницы всегда отдавали код ответа 404.
    • Существующие страницы с кодом ответа, отличным от 200. Если вы хотите, чтобы страница участвовала в поиске, она должна отдавать только код 200.
    • Существующие страницы без входящих внутренних ссылок. Стоит учесть, что, если у вас на сайте есть страницы, на которые не ссылается даже ваш собственный сайт, шансы участия такой страницы в поиске резко снижаются. Старайтесь ссылаться на все страницы, существующие на вашем сайте тогда, когда это было бы логично.
    6. Итог

    Таким, довольно несложным для освоения способом, можно быстро поставить предварительный диагноз многим сайтам. Найти, какие страницы могли бы приносить трафик, но не приносят, а какие наоборот воруют трафик.

    Не получилось проверить структуру сайта самостоятельно или добавить новые разделы? Оставляйте комментарии, будем разбираться вместе.
     
    Treki и Sergey S нравится это.