Как обойти семплирование и собрать полные данные для продвинутой аналитики

Нас часто спрашивают, как обойти семплирование и ограничения в отчетах стандартного Google Analytics. Как получить полные данные для маркетинговой отчетности. У этой задачи может быть несколько решений, например:

• Перейти на платный Google Analytics 360 и настроить экспорт сырых данных в Google BigQuery.
• Использовать Google Analytics App+WEB. Пока что продукт находится в бета-версии и позволяет бесплатно выгружать данные о поведении пользователей в BigQuery.
• Использовать другие сервисы, которые собирают данные с сайта в BigQuery.

У каждого из перечисленных решений есть свои особенности и ограничения. В статье мы подробно рассмотрим эти ограничения и расскажем, как их обойти с помощью OWOX BI.

Главное ограничение Google Analytics 360 — это его высокая стоимость. Самые свежие действия пользователей появятся в таблицах BigQuery не раньше, чем через 15 минут. Даже за такую точность доставки придется доплачивать: по умолчанию выгрузка сессий обновляется три раза в сутки.

Также, возможно, придется доплачивать за обработку запросов в BigQuery. Таблица экспорта из GA 360 содержит большое количество уровней вложенности и множество полей, которые могут оставаться пустыми в 80% случаев. Чем больше уровней вложенности в таблице, тем дороже запросы. Если у вас много отчетов, которые нужно обновлять ежедневно или еженедельно, обработка данных будет занимать значительную часть расходов на BigQuery.

App+Web собирает данные в структуре, отличной от стандартного Google Analytics. Если в GA все основано на сессиях, то в App+Web — на пользователях и событиях. Это может стать проблемой для многих аналитиков и маркетологов, которые привыкли работать с GA — им придется изучать новую структуру данных, переделывать систему метрик на сайте и существующие отчеты. Кстати, эту проблему могут иметь и другие сервисы, которые собирают данные с сайта в BigQuery в собственной структуре.

Поскольку экспорт из GA 360 и App+Web в Google BigQuery — это слепок данных, которые собираются в интерфейс Google Analytics, в нем не предусмотрено ретроспективное обновление записей. Например, возврат по транзакции запишется как отдельная сессия, не связанная с записью об оплате. Поэтому корректную сумму выручки по заказу придется пересчитывать вручную.

Ни одно из перечисленных решений не позволяет передавать в BigQuery расходы по рекламным кампаниям на уровне сессии. А значит, вы не узнаете, сколько потратили на привлечение конкретного сегмента пользователей. Не сможете рассчитать ROI и ДРР для разных когорт, товарных групп и посадочных страниц.

Зная эти ограничения, мы в OWOX BI решили улучшить для бизнеса опыт работы с сырыми данными. Мы провели сотни продуктовых интервью и получили такой список пожеланий:

1. Данные с сайта должны передаваться в BigQuery в полном объеме и в неагрегированном виде.
2. Данные о поведении пользователя должны доставляться в BigQuery в режиме, близком к реальному времени.
3. В сессионных таблицах BigQuery должны быть расходы на рекламу.
4. Структура таблицы должна быть компактной и максимально наполненной, чтобы использовать запросы к данным по оптимальной стоимости.
5. Данные должны быть синхронизированы по ключевым параметрам в ретроспективном периоде.
6. Нужна возможность сверить данные в GBQ с данными в GA на случай значимых расхождений.

Мы учли эти пожелания и разработали собственный стриминг данных с сайта в BigQuery.

Давайте рассмотрим, какие ограничения Google Analytics и стандартного экспорта в BigQuery помогает обойти OWOX BI, как он это делает и самое главное — что это дает бизнесу.

Суть семплирования в том, что из всего объема данных выбирается какая-то часть и на ее основе строятся отчеты. И чем меньше эта выборка, тем сложнее доверять такому отчету. С OWOX BI вы можете получить полные несемплированные данные для создания более точных отчетов и принятия обоснованных решений.

Каждое взаимодействие пользователя с сайтом (просмотр страницы, клик по кнопке, просмотр баннера, заказ) передается в GA отдельным сообщением — хитом. Важно, что в момент сбора данных ограничений на количество хитов нет.

В Google Analytics

В интерфейсе GA при обработке данных и создании отчетов применяется ограничение по количеству хитов. Из-за этого вы получаете либо семплирование данных, либо агрегированные таблицы (строка (other) в отчете). Кроме того, если вы хотите использовать сегмент, создать собственный отчет, данные будут отображаться в семплированном виде почти всегда.

В OWOX BI

Сервис копирует содержимое хита в момент отправки данных с вашего сайта и направляет его на точку сбора вашего проекта в Google BigQuery. Вы получаете сырые несемплированные данные без ограничений по количеству собранных и обработанных хитов.

Допустим, вы собираете трафик промо-страниц, статистику рекламных подрядчиков или лендингов по каждому бренду/производителю товаров в разные ресурсы Google Analytics. Чтобы уложиться в лимит хитов в ресурсах GA, вам приходится отключать ценный для вас трафик. В BigQuery эти данные можно собирать в одной таблице. Благодаря этому у вас появится база для стратегических решений и комплексное видение эффективности сайта и рекламных кампаний.

С OWOX BI вы быстрее сформируете триггерную рассылку или обнаружите аномалию в отправке данных на сайте, потому что данные о действиях пользователей появляются в вашем проекте BigQuery в течение 1-5 минут.

Как это работает в Google Analytics

Данные поступают в GA в полном объеме только спустя 48 часов (в GA 360 — спустя 4 часа). Отчеты в режиме реального времени отображают ограниченное количество параметров и показателей и не дают возможность персонализировать действия пользователей.

Стандартный экспорт из GA 360 в GBQ может работать в двух режимах:

• Выгружать данные раз в 8 часов условно бесплатно (вы платите за лицензию GA 360 и хранение данных в GBQ).
• Выгружать данные раз в 15 минут — вы платите дополнительно за каждый обработанный терабайт данных.

App+WEB создает две таблицы:

• Промежуточную — в нее складываются записи событий за текущий день. Таблица обновляется каждые 15 минут и удаляется после формирования таблицы за полный день.
• Таблица с данными за полный день — формируется раз в сутки.

Как это работает в OWOX BI

OWOX BI забирает данные напрямую с сайта и сразу же отправляет их на точку доступа GBQ вашего проекта. Вы получаете полные неагрегированные данные о действиях пользователя в течение 1-5 минут после того, как они произошли.

Отслеживая действия пользователей на сайте в реальном времени, вы можете увеличить продажи с помощью триггерных рассылок и персональных предложений. Например, когда пользователь добавил товар в корзину, но не купил или не закончил оформление депозита на сайте банка.

Также это поможет вам вовремя обнаруживать и устранять проблемы на сайте: падение трафика или конверсий, возникновение ошибок в коде сайта.

С OWOX BI вы получите полную картину о действиях пользователей на вашем сайте, даже если они делают заказы, состоящие из 15+ артикулов, или просматривают большие списки товаров.

Как это работает в Google Analytics

В GA есть ограничение на размер передаваемого хита — 8 КБ. К примеру, если размер сообщения о транзакции превышает этот лимит, оно не попадет в GA.

Как это работает в OWOX BI

В OWOX BI максимально допустимый объем передаваемого в BigQuery хита увеличен до 16 КБ.

Примеры использования для Ecommerce

Когда вы отслеживаете просмотр страниц каталога с помощью Enhanced Ecommerce, размер хита с информацией о списке товаров может превышать 8 КБ. Такое случается, если в одном сообщении пробуют отправить более 10 товаров, если все названия передаются в коде сайта кириллицей или у каждого товара записывается дополнительный параметр. В таком случае просмотр списка не попадет в GA. Однако, благодаря OWOX BI вы найдете его среди сырых данных в GBQ и сможете построить более точный отчет о просмотренных списках товаров.

Примеры использования для банков

Или, к примеру, вместе с заявками на банковский продукт вы хотите собрать много дополнительных сведений о клиенте и самом продукте. Если эти сведения записываются в коде сайта на кириллице, такое сообщение может превысить лимит по размеру и не попасть в GA. А с OWOX BI оно запишется в таблицы GBQ, и у вас будет более точная статистика конверсий на сайте.

OWOX BI рассчитывает ценность каждой сессии. Благодаря этому вы сможете посчитать ROAS для новых и вернувшихся пользователей. Сравнить рентабельность когорт, например, в зависимости от того, видели они баннер или нет. Узнать, сколько вы тратите и сколько зарабатываете на каждой из групп товаров. Оценить эффективность рекламы для разных регионов, посадочных страниц, мобильных версий и приложений.

Как это работает в Google Analytics

В GA можно вручную загрузить расходы из разных рекламных сервисов. Однако вы не узнаете, сколько потратили на привлечение конкретного клиента или сегмента пользователей, потому что данные о расходах в GA агрегированы и привязаны к рекламным кампаниям.

App+WEB также не позволяет передавать в BigQuery расходы по рекламным кампаниям на уровне сессии/пользователя.

Как это работает в OWOX BI

OWOX BI автоматически загружает расходы в Google Analytics и Google BigQuery, распределяя их по сессиям согласно UTM-меткам. Благодаря этому вы знаете стоимость каждой сессии в разрезе 5 меток (source, medium, campaign, keyword, content), а значит, можете строить отчеты по CPC, CPA, CPO и ДРР на сырых данных. Это повышает точность отчетов и помогает эффективнее распределять маркетинговый бюджет.

С помощью OWOX BI вы можете узнать, сколько потратили на каждую сессию, и сгруппировать расходы и доходы по пользователям, когортам или посадочным страницам.

Например, вы хотите понять, какие группы товаров выгоднее продвигать. Потому что товар, который привлекает пользователя — это не обязательно тот же товар, что пользователь покупает. Чтобы найти наиболее рентабельные для продвижения категории товаров, необходимо сгруппировать расходы на онлайн-маркетинг по категориям. Это можно сделать с помощью OWOX BI, который передает данные о расходах из GA в GBQ и распределяет их по всем сессиям с UTM-метками. То есть и расходы и доход в этом случае являются свойствами сессии.

С OWOX BI вам не нужны дополнительные манипуляции с данными, чтобы учесть выкупаемость заказов, возвраты после покупки или узнать, что делал новый подписчик на вашем сайте за последние 3 месяца. Сервис позволяет ретроспективно обновлять данные, загруженные в Google BigQuery.

Как это работает в Google Analytics

В стандартном GA ретроспективно обновить статус заказа можно только, если между заказом и оплатой прошло не больше 4 часов. В противном случае оплата будет записана в GA как новая сессия. Например, если вы 3 апреля добавите возврат по транзакции от 18 марта, в отчете за 18 марта вы все так же будете видеть транзакцию на полную сумму. Соответственно, расчет той же ценности по каналам будет выполняться с погрешностью.

В App+Web на данный момент недоступна работа с Measurement Protocol. Что не позволит вам обновить статус заказа, или загрузить информацию о пользователи, задним числом.

Как это работает в OWOX BI

В таблицах, которые OWOX BI собирает в BigQuery, можно ретроспективно обновить следующую информацию:

• Данные о транзакции — провести возврат, частичный возврат либо изменить сумму сроком до 30 дней.
• Данные о пользователе — если пользователь зарегистрировался или авторизовался на сайте, то его User ID будет «протянут» на 30 дней назад.
• Данные о расходах (в полях adCost, attributedAdCost), включая расходы со всех рекламных площадок, импортированные в Google Analytics, за срок до 90 дней.

Примеры использования для банков

Если пользователь сегодня оформил заявку на кредит, и у него появился User ID, во всех предыдущих сессиях с того же устройства тоже появится его User ID. Эти сессии вы сможете использовать для анализа пути к заказу, более точной атрибуции дохода от рекламных кампаний и для прогнозирования конверсии других пользователей.

Примеры использования для Ecommerce

C OWOX BI вам станет удобнее учитывать возвраты и анализировать эффективность рекламных кампаний — в таблицах стриминга всегда отображается актуальная сумма заказа. Если возврат был в другой день, вам не придется разыскивать его в таблицах за другие даты.

Если вы планируете строить отчеты о ROPO (Research Online Purchase Offline), расчеты сделать проще, когда User ID протянут на максимальное количество исторических сессий покупателя.

Как мы говорили выше, таблица стандартного экспорта из Google Analytics 360 в BigQuery может иметь много уровней вложенности и пустых полей, что увеличивает стоимость обработки этих данных.

OWOX BI поможет вам оптимизировать расходы на хранение и обработку данных в GBQ. В таблицах стриминга меньше пустых полей, меньше уровней вложенности, поэтому сами таблицы и запросы к ним «весят» меньше.

OWOX BI поможет вам обойти ограничения GA на сбор данных. Если вы планируете отслеживать все действия пользователей — от просмотра баннера до выбора дополнительных услуг в заказе — дополнительные хиты можно отправлять напрямую в Google BigQuery.

Как это работает в Google Analytics

Вся информация о взаимодействии пользователя с вашим сайтом передается в Google Analytics посредством отдельных хитов — сообщений, которые отправляются на сервер GA. 

Как это работает в OWOX BI

В момент формирования хита OWOX BI заменяет адрес для отправки данных с ресурса GA на адрес вашего проекта в Google BigQuery. Мы можем дублировать все хиты, уходящие в GA, в таблицы GBQ или же полностью либо частично блокировать сбор всех данных в GA и отправлять хиты только в таблицы GBQ.

У такого решения есть несколько преимуществ:

1. Вы получаете несемплированные данные с сайта в хорошо знакомой структуре Google Analytics 360, под которую уже написаны тысячи SQL-запросов. Это сэкономит ваше время и снизит необходимость регулярного обращения к аналитикам.
2. Вы можете настроить сбор данных без ущерба для скорости загрузки вашего сайта. Это возможно благодаря тому, что OWOX BI дублирует хиты, отправляемые в GA, а не перегружает ваш GTM отдельным JS-счетчиком.
3. Мы не только гарантируем SLA в договоре, но и имеем необходимую функциональность для мониторинга качества данных и автоматического сохранения информации при сбоях в вашем Google Analytics и Google Cloud проекте. Вы можете быть уверены в качестве данных для отчетов без дополнительных усилий с вашей стороны.

Однако, если вам необходимо собирать данные о поведении пользователей без JS-счетчика Google Analytics, с OWOX BI это также возможно. Мы можем собирать данные о хитах с вашего сайта в Google BigQuery с помощью собственного кода отслеживания.

Примеры использования для банков

Если вы планируете собирать с сайта чувствительные пользовательские данные (тип клиента, реквизиты, параметры заказа) — передавайте их напрямую в BigQuery, где защита информации регламентируется стандартом безопасности Tier 4. Любую чувствительную информацию можно передавать в хэшированном или шифрованном виде.

Примеры использования для Ecommerce

Допустим, на вашем сайте более 1000 баннеров. Вы планируете отслеживать просмотры и клики по каждому из них и анализировать, как это повлияло на покупку в той же или последующих сессиях. Если отслеживать фактические просмотры каждого баннера, объем данных, которые отправляются в GA, превысит лимит на 20-25%.

С OWOX BI вы можете отправлять всю статистику по баннерам напрямую в Google BigQuery (в обход GA) и получать инсайты об эффективности внутренних промо-кампаний. Так вы не потеряете данные из-за семплирования и агрегирования данных в стандартном GA и выхода за лимиты в GA 360.

С OWOX BI вы можете передавать с сайта в Google BigQuery неограниченное количество пользовательских параметров и показателей. Это позволит вам сегментировать пользователей по любому признаку и строить более глубокие отчеты для детального анализа.

В Google Analytics же действуют ограничения на количество кастомным метрик, собираемых с сайта: 20 для стандартной версии и 200 для GA 360. App+Web тоже имеет достаточно жесткие лимиты: 500 событий, 25 параметров события и 25 свойства пользователя.

OWOX User ID поможет вам оптимизировать расходы на привлечение и ремаркетинг, если у вас есть сеть сайтов с пересекающейся аудиторией. Также вы сможете оценить эффект Post-View для баннерной и медийной рекламы.

1. С помощью 3d party cookie OWOX BI проставляет одинаковый идентификатор на различных сайтах (это может быть ваш второй сайт с другим доменом, либо, например, медийная реклама на независимой рекламной площадке).
2. Далее по этому ключу происходит объединение сеансов пользователя или же аудиторий нескольких сайтов.

Если ваш холдинг состоит из нескольких сетей, проанализируйте взаимное пересечение аудиторий сайтов и узнайте, как оптимизировать бюджет на ремаркетинг и охватные кампании.

По нашему опыту, точность определения geo-позиции пользователя в OWOX BI в среднем на 20% выше, чем в аналогичных отчетах GA.

Как это работает в Google Analytics

GA определяет гео-позицию, используя Google API. Этот метод не всегда надежен, так как может не поддерживаться либо быть заблокированным в некоторых версиях браузера или действиями пользователя (особенно с учетом GDPR).

Как это работает в OWOX BI

Определение geo-позиции в OWOX BI происходит с помощью сервиса Google — Cloud Load Balancing. Этот сервис специализируется на том, что балансирует нагрузку сети и связывает данные по гео в рамках определенного IP-адреса. Соответственно, стримингу не требуется разрешение пользователя, мы избегаем блокировки и тем самым получаем более точные данные по гео.

isTrueDirect — параметр, который указывает, относится сессия к прямому заходу на сайт (direct трафик) или должна быть атрибутирована к какому-то другому источнику.

Как это работает в Google Analytics

Переменная isTrueDirect в GA приобретает значение true в следующих случаях:

• Это был действительно прямой заход на сайт (то есть пользователь ввел адрес сайта в адресную строку или перешел из закладки).
• Если в двух последовательных заходах полностью совпала информация по точке входа (источник, канал, кампания и т. д.). То есть GA определит вторую сессию как direct-трафик, хотя на самом деле она инициирована рекламой.

Как это работает в OWOX BI

В таблицах OWOX BI мы определяем isTrueDirect = true только в случае прямого захода на сайт. Это позволяет максимально точно оценить силу бренда и корректно оценить стоимость конкретной сессии.

Отчеты с параметром isTrueDirect помогут вам оценить эффективность awareness-рекламы. Рост прямых переходов в начале пользовательского пути позволит сделать выводы о вкладе офлайн- и охватных кампаний в ваш маркетинг.

В отличие от Google Analytics, в BigQuery вы можете собирать и использовать PII данные клиентов, в том числе email и номера телефонов. Не теряйте пользователей, которые не дошли до конца воронки, но пробовали оставить заявку на сайте. Телефон или электронную почту в GBQ можно использовать для сегментации пользователей и обратной связи с ними.

Как это работает в Google Analytics

В GA запрещено передавать в незашифрованном виде персональные данные о пользователе. В противном случае, ваш аккаунт окажется заблокированным.

Как это работает в OWOX BI

В таблицах OWOX BI мы используем параметры &tel и &email, которые не поддерживаются в GA, чтобы передать данные о персоналии пользователя в BigQuery в удобном для работы виде.

Примеры использования для банков

Собирайте данные пользователей, которые пытались оформить заявку на кредит или другую услугу, но не смогли отправить форму на сайте по каким-то причинам. Сотрудники контакт-центра смогут связаться с такими клиентами и помочь им по телефону.

Примеры использования для Ecommerce

Если вы не собираете сквозной идентификатор пользователя User ID во всех системах, телефон и электронная почта могут использоваться для связки онлайн- и офлайн-данных.

Если у вас нет аналитика, который работает с сырыми данными, воспользуйтесь конструктором отчетов в нашем сервисе Smart Data. Выбирайте готовые шаблоны или создавайте собственные дашборды в несколько кликов без знаний SQL. Smart Data позволяет объединить данные стриминга и CRM-системы, чтобы получить надежную базу для принятия решений.

Мы регулярно добавляем новые отчеты, которых нет в Google Analytics:

• Контроль подрядчиков по CPA.
• ROPO-анализ.
• Конверсионные пути пользователей.
• Выкупаемость заказов в CRM.
• Эффективность колл-трекинга.
• И многие другие.

Вы можете бесплатно попробовать все возможность OWOX BI Smart Data.

Если вам нужны отчеты, адаптированные к особенностям вашего бизнеса и системы учета, вам поможет команда аналитиков OWOX BI. Запишитесь на демо, чтобы обсудить детали.