История о том, как мы начали искать заброшенные домены для клиента с относительно низким бюджетом. Нашли, купили, подклеили и вошли в ТОП-10 по ключевым запросам.
В рамках подготовки курса по PBN (стартует 9 марта) мы разработали алгоритм полуавтоматического поиска заброшенных доменов вне аукциона. Мы запустили эксперимент на личных сайтах компании и подумали, почему бы также не порадовать одного из тех наших клиентов, с которыми мы работаем более 10 лет?
Клиента нашли и предупредили, что это эксперимент. Поэтому он выдал нам совсем свежий сайт, который был заполнен контентом всего 2 месяца назад. Далее от клиента требовалось лишь выделять бюджет на проверку найденных дропов и их покупку. Всю автоматизацию по поиску мы взяли на себя.
Хронология событий
- В начале 2022 года мы запускаем эксперимент с PBN.
- Обучаем команду работе с аукционами, проверке дропов, индексации, ссылочным стратегиям.
- Обучаем контент-менеджеров работе с AI-статьями, изображениями.
- Доказываем эффективность PBN одному из клиентов (об этом наш предыдущий кейс). Параллельно внедряем PBN для всех клиентов в компании. Кто-то соглашается, кто-то нет.
- Понимаем, что аукционы –- это небыстро, а в некоторых случаях и дорого. Не все клиенты способны себе позволить работу с PBN.
- С помощью Python и A-Parser разрабатываем полуавтоматический способ парсинга заброшенных доменов, которые не участвуют в аукционах.
- Проверяем и покупаем домены. Подклеиваем напрямую к главной странице.
- Постепенно выходим в ТОП-10 Google за 35 дней.
Как было раньше? Без автоматизации
- Собираешь список сайтов для парсинга заброшенных доменов.
- Закидываешь их в лягушку (Screaming FROG).
- Дожидаешься результатов парсинга.
- Начинаешь ручную обработку: проверка WHOIS доменов, проверка вебархива, Яндекс ИКС, блокировки РКН, Ахрефс.
- Покупаешь домен.
- Подклеиваешь или работаешь как с отдельным PBN сайтом.
Из очевидных минусов такого подхода:
- Отсутствие автоматизации. Все этапы приходилось обрабатывать вручную.
- Множество таблиц. Безумное количество времени уходило на их сведение.
- Мощности компьютера. Лягушка или любой другой подобный краулер для парсинга требуют больших ресурсов ПК. Парсить большие сайты было невозможно.
Именно так мы работали с дропами и PBN с 2013 по 2022 год. Что же изменилось? В 2021 году мы начали активную работу с парсером A-Parser, ряд членов команды, в том числе и я, детально подошли к изучению Python, SQL. Благодаря этому у нас появилась возможность автоматизировать множество процессов в SEO, и в первую очередь в работе с PBN.
Схема разработанного алгоритма
Важно понимать, что алгоритм, описанный в данной статье, принципиально отличается от парсинга освобождающихся доменов, которые представлены в нашей панели аукционных дропов.
Одно из основных отличий — принцип поиска доменов. Если в панель попадают аукционные домены, которые освободятся в ближайшее время, то в текущем кейсе мы описываем алгоритм поиска и последующую работу с заброшенными сайтами, которых сейчас нет в базе аукционов доменов, потому что эти сайты освобождались довольно давно.
Автоматизировать процесс я начал 23 октября 2022 года. И уже тогда отправил первый коммит в гит. Для примера скриншот ниже из лога GIT-сервера.
Далее рассмотрим алгоритм парсинга заброшенных сайтов. Без кода. Главное — понять принцип.
В данный момент наша база по русскоязычному рынку SEO состоит из 811 000 дропов и более 3 600 000 рабочих доменов. Для примера даем визуализацию ниже.
За день в базу данных залетает примерно по 20 000 новых доменов. Конечно, большая часть доменов была найдена и добавлена в базу за первый месяц парсинга. Будем считать, что разработали и тестируем Ahrefs на минималках.
Вариант №1. Парсинг сайтов
Схема довольно простая, а автоматизация сложная. Но это однозначно стоило того результата, о котором мы поговорим в конце кейса.
- Мы указываем в Python список сайтов для вечного парсинга.
- Python обращается к файлу и передает запросы в А-Парсер по API.
- A-Parser собирает все внешние ссылки с указанного домена.
- Python сохраняет внешние ссылки и далее автоматически сводит данные в MySQL: проверяет доступность покупки, Яндекс ИКС, Ahrefs, блокировки в РКН.
- Когда закончили парсить сайт, берем следующие сайты из базы данных, которые нашли на этапе парсинга текущего сайта.
Для примера я отправил на парсинг внешних ссылок всего один сайт — сайт правительства Санкт-Петербурга. Он парсился на внешние ссылки/домены около 2-3 дней. За это время с него было собрано ~ 60 000 доменов. На рисунке 5 представлен скриншот из базы данных MySQL.
Как вы думаете, какое количество найденных доменов было доступно к регистрации и выкуплено после проверки? Напишите свои варианты в комментариях к кейсу.
Вариант №2. Парсинг выдачи по ключам
Принципиальное отличие от предыдущего варианта в том, что здесь мы уже парсим выдачу Яндекс или Google по ключевым словам. Далее проверяем найденные домены в выдаче на возможность регистрации и дополнительно парсим найденные ссылки на внешние исходящие ссылки. Схематически это выглядит так, как представлено на рисунке 6.
Нашли домены, а что дальше?
Так как с SQL знакомы лишь некоторые члены нашей команды, да и у тех не было достаточного количества времени на обработку результатов парсинга, я переносил найденные домены на проверку в CRM. Задачи выглядели следующим образом (рисунки 7, 8, 9, 10 — скриншоты из нашей CRM на проверку доменов).
Как видно на рисунке 7, большую часть найденных доменов я прошу подклеить к дропам, с которыми мы работаем, а не к боевым и реальным сайтам. И это говорит о качестве найденных доменов: они не очень жирные и трастовые. Но это еще не повод расстраиваться, так как дальше я поставил еще 11 задач, в рамках которых были найдены домены для клиента, согласившегося на эксперимент.
Здесь может возникнуть вопрос: “что означает проверка дропов?”. Для ответа приведу скриншот с примером задачи из серии “разгребания дропов”.
Помощники отписывались в задаче по результатам проверки:
Сколько денег потратили
В итоге я потратил на задачу по разгребанию дропов 14 часов. В данный момент мы приостановили процесс разгребания, так как дорабатываем автоматизацию для нашего курса по PBN. Скриншот таймера с трудозатратами представлен на рисунке 11.
Остальные члены нашей команды тратят в среднем 11 минут на проверку домена для последующей его покупки и использования для сайтов клиентов или для PBN-сетей. Для примера привожу скриншот из Power BI.
В конечном итоге мы выкупили для клиента 14 доменов. Одиннадцать из них заклеили на главную страницу сайта, остальные три — на внутренние страницы.
Итоговые трудозатраты:
- 258 минут (или 7452 р.) на проверку всех доменов (24 шт.). Осталось 14 доменов. Это трудозатраты помощников.
- 853 минуты (или 33 937 р.) на задачи по разгребанию дропов. Это мои трудозатраты.
- 2646 р. — регистрация доменов.
- 10 000 р. — организация хостинга для редиректов.
Итого: 54 035 р. за два рабочих месяца.
Почему данные указаны в минутах? Обращаясь к нам, клиенты покупают рабочее время специалистов. Об этом мы частично писали в этой статье. Именно поэтому у нас есть строгая аналитика задач в CRM — с затраченным временем и прочими данными.
Результаты
Результаты по позициям представлены на рисунке 14.
- Как видно на рисунке выше, на этапе первой подклейки (с 25 по 31 октября 2022 года) видимость сайта начала расти в ТОП-100 и ТОП-50 (серый и оранжевый график).
- К моменту второй подклейки (начало ноября) сайт уже начал ранжироваться в ТОП-20.
- Третья подклейка закончилась в середине декабря, к этому моменту в ТОП-10 начали заходить ключевые слова в Google.
Да, конечно, это не является примером идеальной видимости в Google. Но получить 20% видимости по ключевым запросам в ТОП-10 на 35-й день работы с новым доменом — это отличный результат. Всего отслеживается 4120 ключевых запросов.
Про Яндекс не рассказываем — там отработали совсем другие факторы. А что с трафиком? Статистика посещаемости сайта в Google представлена на рисунке 15.
Подводим итоги
Выводы можно сделать следующие:
- Подклейка работает. Важно искать качественные, тематические дропы, с тематическим анкорным ссылочным.
- На PBN не требуются колоссальные бюджеты, так как мы ежедневно парсим рунет и ищем заброшенные домены. Теперь мы внедряем подобный подход на проектах всех клиентов, не только с высоким бюджетом. Конечно, если вашей тематике требуется узконаправленный парсинг PBN, то это стоит определенных денег. В данном же случае мы циклично парсим все домены и внедряем для всех клиентов, без персонально-индивидуального заказа.
- В очередной раз развеяли миф о том, что SEO работает лишь спустя 6 месяцев. При наличии желания и возможностей можно достигнуть результата в Google всего за 35 дней.
А что с Яндекс? Там все хорошо. Все мы знаем, что в Яндекс ссылочный фактор находится далеко не на первом месте, поэтому здесь отработали другие факторы. Ниже представлен скриншот видимости в Яндекс.
И на закуску — бонус для тех, кто прочитал до конца
Про слитые коды Яндекса рассказали уже везде, где было возможно. Что из слитых кодов оказалось полезно?
Идем в папку extsearch.tar > fresh > meta > rearrange_data > authority_boost
В одном из файлов обнаруживаем список СМИ, которым доверяет Яндекс как авторитетным источникам. Конечно, нам пришла идея: почему бы не пропарсить их? А с идеей пришла и ее реализация. На скриншоте ниже представлены домены, которые можно выкупить здесь и сейчас. Мы не проверили их качество и не гарантируем того, что они свободны на тот момент, когда вы будете читать этот кейс. Они 100% были свободны 9 февраля в 08:13 по Мск.
Автор: Дмитрий Федосеев (руководитель seo-отдела Ant-Team.ru).
P.s. Подписывайтесь на наш телеграм-канал, чтобы не пропустить наши новые экспертные статьи и самое интересное из мира SEO.
