Виправити «Crawled — currently not indexed»: як змінити рішення Google
Це не технічний збій, а вердикт щодо якості. Googlebot проаналізував сторінку й вирішив, що вона не варта індексації. Нижче — протокол, як змінити це рішення.
Що означає цей вердикт: чому Google відхилив сторінку
У Google Search Console статус «Crawled — currently not indexed» відрізняється від «Discovered — currently not indexed». Різниця принципова:
- Discovered: Google знає, що URL існує, але ще не встиг його відвідати.
- Crawled: Google уже був на сторінці, відрендерив контент і свідомо не включив її в результати пошуку.
Уявіть охорону на вході. «Discovered» — ви ще в черзі. «Crawled — not indexed» — ви дійшли до дверей, охорона подивилася й не пустила. Зазвичай так буває, коли контент нижчий за поріг якості Google, дублюється або не закриває унікальний намір користувача.
Діагностична матриця: як знайти першопричину
Перш ніж щось виправляти, з’ясуйте, що саме не сподобалося Googlebot. За цією матрицею розкладіть уражені URL.
| Категорія підозри | Типові ознаки | Діагностична перевірка | Протокол дій |
|---|---|---|---|
| Якість контенту (тонкий) | Варіанти товарів, порожні теги, програмні сторінки. | Перевірте, чи унікальний текст менший за 300 слів. Порівняйте з конкурентами в топі. | Розширте або приберіть. Додайте унікальну цінність або поставте noindex. |
| Майже дубль | URL із параметрами (`?sort=`, `?ref=`) або версії для друку. | Перевірте тег rel="canonical". Чи вказує він на сам себе? |
Об’єднайте. Канонікал має вести на основну версію. |
| Проблеми рендерингу | Порожні сторінки, важкі JS-застосунки (React/Vue). | У GSC: «Test Live URL» → «View Tested Page» → «Screenshot». Чи видно контент? | Виправте рендеринг. Увімкніть серверний рендеринг (SSR). |
| Стрічки та системні URL | URL на кшталт `/feed/`, `/rss/`, `/json/`. | Перегляньте код. Часто їх автоматично генерує CMS (WordPress). | Заблокуйте. Disallow у robots.txt або X-Robots-Tag: noindex. |
Крок 1. Аудит «тонкого» контенту
Це найчастіший тригер. Якщо в інтернет-магазині тисячі товарних сторінок із описами виробника, Google не бачить сенсу індексувати ще одну копію. Щоб це виправити, треба показати унікальну цінність.
План дій:
Мета — відповідати стандартам якості Google. Орієнтуйтеся на офіційний посібник зі створення корисного контенту, щоб зрозуміти, що цінують алгоритми.
- Додайте унікальні дані: відгуки покупців, власні таблиці характеристик або практичні поради з використання.
- Внутрішнє перелінкування: сторінка не має бути «сирітською». Посилайтеся на неї з авторитетних категорій.
- Збагатіть медіа: додайте унікальні зображення або відео. Google помітно віддає перевагу сторінкам із насиченим медіаконтентом.
Крок 2. Перевірте технічне дублювання
Інколи контент якісний, але структура URL плутає Google. Якщо `example.com/product?color=red` і `example.com/product` показують одне й те саме, Google проіндексує одну версію, а іншу позначить як «Crawled — currently not indexed».
Переконайтеся, що теги <link rel="canonical"> вказують на основну версію сторінки. Якщо сторінка справді дубль і не має SEO-цінності (наприклад, версія «для друку»), поставте `noindex` або зробіть редирект.
Глибше про технічні фактори індексабельності читайте в наших інших посібниках.
Крок 3. Плутанина з Soft 404
Іноді сторінки зі статусом «Crawled — not indexed» насправді є замаскованими Soft 404. Так буває, коли сторінка відповідає 200 OK, але майже порожня: наприклад, «У цій категорії немає товарів». Google її сканує, бачить порожнечу й відмовляється індексувати. Тоді або додайте товари, або віддайте 404.
Крок 4. Примусова повторна перевірка
Коли якість сторінки вже покращено, зробіть масову автоматичну перевірку поточного статусу в індексі, щоб переконатися: запит на переіндексування пройшов, а відповідь API відображає оновлення.
Сервіс індексації SpeedyIndex надсилає пріоритетний сигнал. Це спонукає Googlebot знову відвідати URL, опрацювати зміни й переглянути рішення про індексацію. Особливо корисно, якщо ви оновили тисячі сторінок і не можете подавати їх вручну через GSC.
Порада: не запускайте сервіс індексації, доки сторінку не покращено. Примусовий повторний обхід слабкої сторінки знову дасть той самий статус «Crawled — not indexed».
Поширені запитання (посібник з усунення проблем)
Чи шкодить «Crawled — currently not indexed» SEO всього сайту?
Так, опосередковано. Велика кількість низькоякісних непроіндексованих сторінок розмиває загальну оцінку якості. Це сигнал для Google, що значна частина сайту не дає цінності, тож бюджет обходу й потенціал ранжування сильних сторінок можуть постраждати.
Скільки часу потрібно, щоб вийти з цього статусу?
Відновлення не миттєве. Після покращення контенту й запиту на повторний обхід (або через наш інструмент індексації) Google зазвичай переробляє URL за 1–3 тижні. Сам запит без змін контенту здебільшого не спрацює.
Чи варто ставити noindex замість виправлення?
Це робоча стратегія проріджування контенту. Якщо сторінки (архівні товари, старі теги) не закривають намір користувача і їх неможливо покращити, метатег noindex кращий за зависання в невизначеності. Так ви звільняєте бюджет обходу для комерційних сторінок.
Чому URL стрічок RSS мають статус «Crawled — not indexed»?
CMS на кшталт WordPress автоматично генерують RSS (наприклад, /feed/). Googlebot їх сканує, але правильно не індексує: це XML-дані, а не контент для користувача. Можна ігнорувати або заблокувати в robots.txt.
Чи може цей статус бути наслідком проблем із рендерингом JavaScript?
Так, це поширена причина. Якщо контент залежить від клієнтського рендерингу (CSR), Googlebot може побачити порожню сторінку. Перевірте знімок у «Test Live URL» у Search Console. Якщо екран порожній, потрібен динамічний рендеринг.
Чим «Crawled» відрізняється від «Discovered»?
Discovered означає, що Google не вистачило ресурсів (бюджет обходу) і сторінку ще не відвідали. Crawled означає, що Google уже був, оцінив якість і відхилив сторінку. «Crawled» виправити складніше.
Чи допомагає внутрішнє перелінкування виправити цю помилку?
Так. Google сприймає внутрішні посилання як індикатор важливості. Якщо сторінка «сирітська» (без внутрішніх посилань), система вважає її другорядною. Посилання з авторитетних сторінок сигналізують, що контент цінний.