Статьи
Что такое сырые данные и как их использовать
Что общего между овощами и данными? И те, и другие в сыром виде приносят больше пользы. И если стандартными отчетами Google Analytics можно по-быстрому утолить голод, то из сырых данных вы сможете приготовить что-то свежее, уникальное и получить вдохновляющие инсайты.
Вам доступны гигабайты данных о пользователях ежедневно, но они не принесут ценности, пока не начнут работать на вас. В этой статье мы разберем, что такое сырые данные, зачем они нужны, как их получить и использовать.


Содержание
- Что такое сырые и агрегированные данные
- Зачем нужны сырые данные
- Где хранить сырые данные
- Как собирать сырые данные с помощью OWOX BI
- Построение отчетов на основе сырых данных с помощью OWOX BI
Что такое сырые и агрегированные данные
Слова «данные» и «информация» часто используются как синонимы, например, чтобы избежать повторений в тексте статьи :) Однако у них есть принципиальные различия.
Данные — это фиксированные сведения о событиях и явлениях, которые хранятся на определенных носителях, а информация — это результат обработки данных при решении конкретных задач.
Например, в хранилище Google BigQuery собираются данные, а когда мы пишем к ним SQL-запрос, то в ответ система выдает уже информацию.
В информатике, аналитике, маркетинге и некоторых других сферах у этих двух понятий есть специальные названия — сырые (необработанные) и агрегированные (обработанные) данные.
Например, Google Analytics собирает сырые данные о всех взаимодействиях пользователей с вашим сайтом: просмотры страниц, пользовательские события, транзакции. Затем для формирования отчетов система их обрабатывает: применяет семплирование, агрегирование и фильтры (если вы их настроили).
Как работает агрегирование в отчетах Google Analytics? Когда в отчете количество строк со значениями одного параметра превышает заданный лимит (50 тыс. для отчетов за день и 1 млн строк для отчетов за любой период), система агрегирует (объединяет) оставшиеся значения в строку «Другие»:

Зачем нужны сырые данные
Чем меньше данных вы используете для анализа, тем менее точными будут его результаты. Семплирование может искажать показатели в отчетах и приводить к ошибочным решениям. Вы рискуете не заметить рекламу, которая приносит прибыль, или наоборот — тратить деньги на неэффективные кампании.
Работать с агрегированной информацией удобно для отслеживания основных KPI сайта, однако ее недостаточно для решения более сложных задач. Только с помощью сырых данных вы сможете:
- Проводить более глубокий анализ метрик и их зависимостей.
- Отслеживать весь путь пользователя от знакомства с компанией до покупки.
- Строить любые отчеты без лимитов и ограничений GA и извлекать ценные инсайты.
- Объединить данные из разных источников и настроить сквозную аналитику.
- Создавать сложные воронки продаж, которые отвечают структуре бизнеса.
- Оценивать взаимное влияние каналов на продажи с помощью моделей атрибуции на основе воронки.
- Сегментировать свою аудиторию и настроить более прицельный таргетинг.
- Прогнозировать конверсии с помощью машинного обучения.
Преимущества сырых данных
1. Качество принимаемых решений
Собирая статистику с сайта в Google BigQuery или другое хранилище, можно обойти семплирование и прочие ограничения Google Analytics. Вы будете анализировать полные данные, а значит и качество решений, принимаемых на их основе, будет гораздо выше.
Читайте также: как собирать полные данные о поведении пользователей на сайте и расходы из рекламных сервисов с минимальными ресурсными затратами.

2. Любые отчеты без ограничений
Интерфейс Google Analytics или любой другой системы аналитики ограничивает ваши возможности для создания отчетов. К примеру, лимитами на количество параметров и показателей, а также их сочетаемостью друг с другом. А имея доступ к сырым данным, вы можете строить отчеты с любым количеством и сочетанием нужных вам метрик. Например, когортный анализ в разрезе показателей, интересных для вашего бизнеса.

3. Сквозная аналитика по вашим правилам
Сырые данные сайта можно объединить с информацией из рекламных сервисов, систем колл-трекинга, email-рассылок и CRM, чтобы настроить сквозную аналитику.
Это позволит вам учесть все точки касания пользователей с вашей компанией, проанализировать их пути к конверсии, оценить влияние всех усилий маркетинга (как онлайн, так и офлайн) на бизнес-показатели, найти самые эффективные каналы маркетинга и оперативно оптимизировать те, что приносят убыток.
Читайте также: как использовать аналитику не только для составления отчетов, но и для того, чтобы не истощать свой бюджет.

4. Более точный таргетинг
Вы можете сегментировать пользователей в зависимости от их действий на сайте (просмотр страниц, клик по ссылке, добавление товара в корзину и т. д.), а затем отправлять им триггерные рассылки. Кроме того, вы можете автоматически загружать созданные аудитории в рекламные сервисы для запуска ремаркетинговых кампаний, а также настроить стратегию управления ставками на каждый сегмент аудитории.
Сегментация аудитории поможет вам сделать рекламу более релевантной, повысить конверсии и лояльность клиентов, оптимизировать маркетинговую стратегию и снизить расходы.
Читайте также: как компания «Эльдорадо» оптимизировала рекламные кампании с помощью решения OWOX BI, способного рассчитывать вероятность конверсии.

5. Защита от ботов и мошенничества в CPA-сетях
Только благодаря сырым данным вы можете обнаружить подозрительную активность на сайте, например слишком большое количество регистраций за день. Кроме того, они помогут вам выявить недобросовестных CPA-партнеров, которые могут подменять источник трафика на странице оформления заявки.
Читайте также: как обезопасить себя от сотрудничества с недобросовестными веб-мастерами в CPA-сетях с помощью продуктов OWOX BI.

6. Отсутствие vendor lock-in рисков
Собирая сырые данные в Google BigQuery, вы не зависите от ETL сервисов и других инструментов, которые используете. Вы сохраните пользу от собранной информации, даже если решите отключиться от сервиса и использовать собственное решение.
Где хранить сырые данные
Для сбора, хранения и обработки сырых данных мы рекомендуем использовать облачное хранилище Google BigQuery, потому что оно:
- Позволяет загружать большие массивы данных и быстро их обрабатывать с помощью SQL.
- Гибко масштабируется — по мере роста своего бизнеса вы сможете получать от BigQuery больше возможностей.
- Гарантирует безопасность. Вы полностью контролируете доступ к своему проекту благодаря использованию Google-аккаунта и двухфакторной авторизации.
- Имеет оптимальную цену — вы платите только за объем собираемых и обрабатываемых данных.
- Легко интегрируется с продуктами Google и популярными системами для визуализации и построения отчетов.
Читайте также: какие проблемы встречаются при построении отчетов в Google Analytics и как решить их с помощью Google BigQuery.

Как собирать сырые данные с помощью OWOX BI
OWOX BI собирает сырые данные в Google BigQuery непосредственно с сайта. Сервис не зависит от ограничений Google Analytics, что позволит вам строить отчеты без семплирования и по любым параметрам.
При этом OWOX BI использует структуру данных, совместимую со структурой Google Analytics, под которую написано множество примеров SQL-запросов. Это сэкономит время вашей команды на подготовку отчетов.
OWOX BI передает статистику с сайта в Google BigQuery в полном объеме и в неагрегированном виде. Размер передаваемого хита увеличен до 16 КБ, что вдвое больше, чем в Google Analytics. Вы получите полную картину о действиях пользователей на вашем сайте.
Кроме того, с OWOX BI вы можете собирать в Google BigQuery неограниченное количество пользовательских параметров и показателей. Это позволит вам сегментировать пользователей по любому признаку и строить более глубокие отчеты для детального анализа.
Чтобы настроить сбор сырых данных с сайта в Google BigQuery:
- Войдите в OWOX BI, используя свой аккаунт Google.
- Активируйте необходимые доступы и создайте поток стриминга.
- Скопируйте код отслеживания и разместите его на сайте удобным вам способом.


Построение отчетов на основе сырых данных с помощью OWOX BI
OWOX BI не только собирает сырые данные с сайта, но и автоматически объединяет их со статистикой из рекламных сервисов, колл-трекинга, email-систем и CRM, чтобы вы могли получать отчеты без помощи аналитиков и знания SQL.
С помощью простого конструктора в сервисе OWOX BI Smart Data вы можете выбирать нужные метрики и строить любые отчеты по рекламным кампаниям, ROPO, RFM, LTV и когортному анализу.
Преимущества работы с OWOX BI Smart Data
Стройте отчеты без технической подготовки
Вам регулярно нужны отчеты по рекламным кампаниям, но нет времени изучать SQL или ждать ответа от аналитиков? С OWOX BI вам не нужно разбираться в структуре данных. Просто выберите в конструкторе отчетов Smart Data параметры и показатели, которые хотите видеть в отчете. Сервис мгновенно выдаст в ответ понятный график и таблицу.
Сосредоточьтесь на своем бизнесе, а не источниках данных и их структуре
OWOX BI предоставляет данные для отчета, когда они вам нужны, и не ограничивает вас готовыми дашбордами. Вы один раз подключаете свои данные к модели, а остальное время можете инвестировать в анализ и выводы.
В основе каждого отчета — ваша бизнес-модель
Наши специалисты настроят модель данных, учитывающую особенности вашего бизнеса. Вы сможете оценить влияние всех усилий маркетинга, как онлайн, так и офлайн, на бизнес-показатели.
Кроме того, вы можете использовать данные, собранные OWOX BI, для создания отчетов в Google Sheets, Google Data Studio, Power BI, Tableau и других системах визуализации, которые интегрируются с BigQuery.
Если вам нужны отчеты, адаптированные к особенностям вашего бизнеса, команда аналитиков OWOX BI готова помочь с их настройкой. Запишитесь на демо, чтобы обсудить детали.
Часто задаваемые вопросы
-
Что такое сырые и агрегированные данные?
Данные — это фиксированные сведения о событиях и явлениях, которые хранятся на определенных носителях, а информация — это результат обработки данных при решении конкретных задач. Например, в хранилище Google BigQuery собираются данные, а когда мы пишем к ним SQL-запрос, то в ответ система выдает уже информацию. В информатике, аналитике, маркетинге и некоторых других сферах у этих двух понятий есть специальные названия — сырые (необработанные) и агрегированные (обработанные) данные. -
Зачем собирать сырые данные?
В Google Analytics есть ограничения, которые мешают глубже вникнуть в данные и исследовать их со всех сторон:- Данные в отчетах всегда агрегируются.
- Семплирование может исказить данные в отчете и привести к ошибочным решениям.
- Отчеты содержат ограниченное количество параметров и показателей.
- Лимит на количество строк.
- Нужно ждать до 24-48 часов, пока система завершит обработку данных.
-
Как получить сырые данные из Google Analytics?
- Собирать сырые данные с помощью OWOX BI — все хиты, которые передаются с вашего сайта в Google Analytics, параллельно отправляются и в Google BigQuery.
- Использовать Google Analytics API, чтобы получить доступ к нужным вам параметрам и показателям вне интерфейса системы.
- Настроить стандартный экспорт из Google Analytics 360 в Google BigQuery.
- Использовать собственное решение: копировать хиты с сайта и сохранять их на своих серверах или в облачном хранилище.
-
Почему стоит собирать данные в Google BigQuery?
- Сервис позволяет хранить и обрабатывать миллиарды строк (это петабайты данных) с помощью SQL.
- Высокая скорость обработки.
- Масштабируемость.
- Полная безопасность данных.