Как сделать структурированные данные вашего сайта доступными для ИИ

Свежее исследование выявило проблему сайтов, полагающихся на JavaScript для структурированных данных (микроразметки). Эти данные, часто в формате JSON-LD, труднодоступны для ИИ-краулеров, если они не содержатся в первоначальном HTML-ответе.

Такие краулеры, как GPTBot (используется в ChatGPT), ClaudeBot и PerplexityBot, не могут выполнить JavaScript и пропускают любые структурированные данные, выводимые с его помощью.

Это создаёт проблемы для сайтов, использующих такие инструменты, как, например, Google Tag Manager (GTM), для вставки JSON-LD на стороне клиента, поскольку многие ИИ-краулеры не могут читать динамически генерируемый контент.

Рекомендация месяца: Telega.in — платформа нативных интеграций в Telegram-каналах. Проверенные вручную каналы и боты. Помогаем найти целевую аудиторию в Telegram и запускать эффективные интеграции.

Что вебмастерам нужно знать о JSON-LD и ИИ-краулерах

Эли Берреби, основатель SEM King, изучил, что происходит, когда JSON-LD добавляется с помощью Google Tag Manager без рендеринга на стороне сервера (SSR).

Он выяснил, почему этот тип структурированных данных часто не воспринимается ИИ-краулерами:

1. Первоначальная загрузка HTML. Когда краулер запрашивает веб-страницу, сервер возвращает первую версию HTML. Если структурированные данные добавлены с помощью JavaScript, их не будет в этом первоначальном ответе.
2. Выполнение JavaScript на стороне клиента. JavaScript запускается в браузере и изменяет объектную модель документа (DOM) для пользователей. На этом этапе GTM может добавить JSON-LD в DOM.
3. Краулеры без JavaScript-рендеринга. ИИ-краулеры, которые не могут запускать JavaScript, не видят изменений в DOM. Это означает, что они пропустят любой JSON-LD, добавленный после загрузки страницы.

В общем, структурированные данные, добавленные только с помощью JavaScript на стороне клиента, невидимы для большинства ИИ-краулеров.

Чем отличаются традиционные поисковые системы

Традиционные поисковые краулеры, такие как Googlebot, могут читать JavaScript и обрабатывать изменения, внесённые в веб-страницу после её загрузки, включая данные JSON-LD, вводимые Google Tag Manager.

В отличие от них, многие ИИ-краулеры не могут читать JavaScript и видят только необработанный HTML с сервера. В результате они пропускают динамически добавляемый контент, например JSON-LD.

Предупреждение Google о чрезмерном использовании JavaScript

Эта проблема связана с более широким предупреждением Google о чрезмерном использовании JavaScript.

В недавнем подкасте команда Google обсудила растущую зависимость от JavaScript. Хотя он позволяет создавать динамические функции, JS не всегда идеально подходит для таких важных SEO-элементов, как структурированные данные.

Мартин Сплитт, специалист Google по работе с разработчиками, объяснил, что веб-сайты бывают разными – от простых страниц до сложных приложений. Важно сбалансировать использование JavaScript и обеспечить доступность ключевого контента в исходном HTML.

Джон Мюллер, ещё один представитель Google Search, согласился с ним, отметив, что разработчики часто прибегают к JavaScript, когда более простые варианты, такие как статический HTML, были бы более эффективными.

И что же делать?

Разработчики и SEO-специалисты должны обеспечить доступность структурированных данных для всех краулеров, чтобы избежать проблем с поисковыми краулерами ИИ.

Вот несколько решений:

1. Рендеринг на стороне сервера (SSR). Рендеринг страниц на сервере для включения структурированных данных в первоначальный HTML-ответ.
2. Статический HTML. Используйте микроразметку непосредственно в HTML, чтобы ограничить зависимость от JavaScript.
3. Предрендеринг. Предлагайте пререндеренные страницы, на которых JavaScript уже был выполнен, предоставляя краулерам полностью отрендеренный HTML.

Эти подходы соответствуют рекомендациям Google отдавать приоритет разработке на основе HTML и включению важного контента, например структурированных данных, в первоначальный ответ сервера.

Почему это важно

Значение ИИ-краулеров со временем будет только расти, и они играют по другим правилам, в отличие от традиционных поисковых систем.

Если ваш сайт зависит от GTM или другого клиентского JavaScript для структурированных данных, вы упускаете возможности ранжирования в результатах поиска, основанного на ИИ.

Перейдя на серверные или статические решения, вы сможете защитить свой сайт от будущих проблем и обеспечить его видимость в традиционном и ИИ-поиске.

Сообщение Как сделать структурированные данные вашего сайта доступными для ИИ появились сначала на Блог SEO-аспиранта.