Обзор основных функций Google BigQuery — тренируемся писать запросы для маркетинг-анализа

Чем больше информации накапливает бизнес, тем острее встает вопрос, где ее хранить. Если у вас нет возможности или желания содержать собственные серверы, выручит Google BigQuery. Это быстрое, экономичное и масштабируемое хранилище для работы с Big Data, в котором можно писать запросы с помощью SQL-like синтаксиса, стандартных и пользовательских функций (User-defined function).

В этой статье мы рассмотрим основные функции BigQuery и покажем их возможности на конкретных примерах. Вы узнаете, как писать базовые запросы, и сможете опробовать их на demo данных.

SQL (Structured Query Language) — язык структурированных запросов для работы с базами данных. С его помощью можно получать, добавлять в базу и изменять большие массивы данных. Google BigQuery поддерживает два диалекта: Standard SQL и устаревший Legacy SQL.

Какой диалект выбрать, зависит от ваших предпочтений, но Google рекомендует использовать Standard SQL, так как он обладает преимуществами:

• Гибкость и функциональность при работе с вложенными и повторяющимися полями.
• Поддержка языков DML и DDL, которые позволяют менять данные в таблицах, а также управлять таблицами и представлениями в GBQ.
• Скорость обработки больших объемов данных выше, чем у Legasy SQL.
• Поддержка всех текущих и будущих обновлений в BigQuery.

Подробнее о разнице между диалектами вы можете узнать в справке.

По умолчанию запросы в Google BigQuery запускаются на Legacy SQL.

Переключиться на Standard SQL можно несколькими способами:

1. В интерфейсе BigQuery в окне редактирования запроса выберите «Show Options» и снимите галочку возле опции «Use Legacy SQL»:

2. Перед запросом добавьте строку #standardSQL и начните запрос с новой строки:
   

Чтобы вы могли параллельно тренироваться и запускать запросы вместе с нами, мы подготовили таблицу с demo данными. Заполните форму, и мы пришлем таблицу вам на email.

Скачайте demo данные и загрузите их в ваш проект Google BigQuery. Проще всего это сделать с помощью аддона OWOX BI BigQuery Reports.

1. Установите аддон.
2. Откройте таблицу, которую вы сохранили в Google Sheets, и в разделе «Дополнения» выберите «OWOX BI BigQuery Reports» — «Upload Data to BigQuery»:

3. В появившемся окне выберите ваш проект Google BigQuery, набор данных (dataset) и придумайте название таблицы, в которой будут храниться загружаемые данные.
   
4. Укажите формат загружаемых данных, как показано на скриншоте:

Если у вас еще нет проекта в GBQ, создайте его. Для этого понадобится активный биллинг-аккаунт в Google Cloud Platform. Пусть вас не пугает, что нужно привязать банковскую карту — без вашего ведома ничего с нее не спишется. Кроме того, при регистрации вы получите 300$ на 12 месяцев, который сможете потратить на хранение и обработку данных.

Прежде, чем переходить к функциям Google BigQuery, давайте вспомним, как выглядят базовые запросы в зависимости от диалекта:

При построении запросов чаще всего используются следующие группы функций: Aggregate function, Date function, String function и Window function. Рассмотрим каждую группу подробнее.

Функции агрегирования позволяют получить сводные значения по всей таблице. Например, рассчитать средний чек, суммарный доход за месяц или выделить сегмент пользователей, совершивших максимальное количество покупок.

В таблице мы привели самые популярные функции из этого раздела:

С перечнем всех функций вы можете ознакомиться в справке: Legacy SQL и Standard SQL.

Давайте посмотрим на примере demo данных, как работают перечисленные функции. Вычислим средний доход по транзакциям, покупки с наибольшей и наименьшей суммой, общий доход и количество всех транзакций. Чтобы проверить, не дублируются ли покупки, рассчитаем также количество уникальных транзакций. Для этого пишем запрос, в котором указываем название своего Google BigQuery проекта, набора данных и таблицы.

#legasy SQL

#standard SQL

В итоге получаем такие результаты:

Проверить результаты расчетов вы можете в исходной таблице с demo данными, используя стандартные функции Google Sheets (SUM, AVG и другие) или сводные таблицы.

Как видим из скриншота выше, количество транзакций и уникальных транзакций отличается. Это говорит о том, что в нашей таблице есть 2 транзакции, у которых дублируется transactionId:

Поэтому, если вас интересуют именно уникальные транзакции, используйте функцию, которая считает уникальные строки. Либо вы можете сгруппировать данные с помощью выражения GROUP BY, чтобы избавиться от дублей перед тем, как применять функцию агрегации.

Эти функции позволяют обрабатывать даты: менять их формат, выбирать необходимую часть (день, месяц или год), смещать дату на определенный интервал.

Они могут вам пригодится в следующих случаях:

• При настройке сквозной аналитики — чтобы привести даты и время из разных источников к единому формату.
• При создании автоматически обновляемых отчетов или триггерных рассылок. Например, когда нужны данные за последние 2 часа, неделю или месяц.
• При создании когортных отчетов, в которых необходимо получить данные в разрезе дней, недель, месяцев.

Функции для работы с датами, используемые чаще всего:

Список всех функций вы найдете в справке: Legacy SQL и Standard SQL.

Рассмотрим на demo данных, как работает каждая из приведенных функций. К примеру, получим текущую дату, приведем дату из исходной таблицы в формат %ГГГГ-%ММ-%ДД, отнимем и прибавим к ней по одному дню. Затем рассчитаем разницу между текущей датой и датой из исходной таблицы и разобьем текущую дату отдельно на год, месяц и день. Для этого вы можете скопировать примеры запросов ниже и заменить в них название проекта, набора данных и таблицы с данными на свои.

#legasy SQL

#standard SQL

После применения запроса вы получите вот такой отчет:

Строковые функции позволяют формировать строку, выделять и заменять подстроки, рассчитывать длину строки и порядковый номер индекса подстроки в исходной строке. Например, с их помощью вы можете:

• Сделать в отчете фильтры по UTM-меткам, которые передаются в URL страницы.
• Привести данные к единому формату, если название источников и кампании написаны в разных регистрах.
• Заменить некорректные данные в отчете, к примеру, если название кампании передалось с опечаткой.

Самые популярные функции для работы со строками:

Детальнее со всеми строковыми функциями вы можете ознакомиться в справке: Legacy SQL и Standard SQL.

Разберем на примере demo данных, как использовать описанные функции. Предположим, у нас есть 3 отдельных столбца, которые содержат значения дня, месяца и года:

Работать с датой в таком формате не очень удобно, поэтому объединим ее в один столбец. Чтобы сделать это, используйте SQL-запросы, приведенные ниже, и не забудьте подставить в них название своего проекта, набора данных и таблицы в Google BigQuery.

#legasy SQL

#standard SQL

После выполнения запроса мы получим дату в одном столбце:

Часто при загрузке определенной страницы на сайте в URL записываются значения переменных, которые выбрал пользователь. Это может быть способ оплаты или доставки, номер транзакции, индекс физического магазина, в котором покупатель хочет забрать товар и т. д. С помощью SQL-запроса можно выделить эти параметры из адреса страницы. Рассмотрим два примера, как и зачем это делать.

Пример 1. Предположим, мы хотим узнать количество покупок, при которых пользователи забирают товар из физических магазинов. Для этого нужно посчитать количество транзакций, отправленных со страниц, в URL которых есть подстрока shop_id (индекс физического магазина). Делаем это с помощью следующих запросов:

#legasy SQL

#standard SQL

Из полученной в результате таблицы мы видим, что со страниц, содержащих shop_id, отправлено 5502 транзакции (check = true):

Пример 2. Допустим, вы присвоили каждому способу доставки свой delivery_id и прописываете значение этого параметра в URL страницы. Чтобы узнать, какой способ доставки выбрал пользователь, нужно выделить delivery_id в отдельный столбец.

Используем для этого следующие запросы:

#legasy SQL

#standard SQL

В результате получим в Google BigQuery такую таблицу:

Эти функции похожи на функции агрегирования, которые мы рассмотрели выше. Их основное отличие заключается в том, что вычисления проводятся не на всем множестве данных, выбранных с помощью запроса, а на его части — подмножестве или окне.

С помощью оконных функций вы можете агрегировать данные в разрезе групп, не используя оператор JOIN для объединения нескольких запросов. Например, рассчитать средний доход в разрезе рекламных кампаний, количество транзакций в разрезе устройств. Добавив еще одно поле в отчет, вы сможете легко узнать, к примеру, долю дохода от рекламной кампании на Black Friday или долю транзакций, сделанных из мобильного приложения.

Вместе с каждой функцией в запросе необходимо прописывать выражение OVER, которое определяет границы окна. OVER содержит 3 компоненты, с которыми вы можете работать:

• PARTITION BY — определяет признак, по которому вы будете делить исходные данные на подмножества, например PARTITION BY clientId, DayTime.
• ORDER BY — определяет порядок строк в подмножестве, например ORDER BY hour DESC.
• WINDOW FRAME — позволяет обрабатывать строки внутри подмножества по определенному признаку. Например, можно посчитать сумму не всех строк в окне, а только первых пяти перед текущей строкой.

В этой таблице мы собрали оконные функции, используемые чаще всего:

Список всех функций вы можете посмотреть в справке для Legacy SQL и для Standard SQL: Aggregate Analytic Functions, Navigation Functions.

Пример 1. Допустим, мы хотим проанализировать активность покупателей в рабочее и нерабочее время. Для этого необходимо разделить транзакции на 2 группы и рассчитать интересующие нас метрики:

• 1 группа — покупки в рабочее время с 9:00 до 18:00 часов.
• 2 группа — покупки в нерабочее время с 00:00 до 9:00 и с 18:00 до 00:00.

Кроме рабочего и нерабочего времени, еще одним признаком для формирования окна будет clientId, то есть на каждого пользователя у нас получится по два окна:

Давайте на demo данных рассчитаем средний, максимальный, минимальный, и суммарный доход, количество транзакций и количество уникальных транзакций по каждому пользователю в рабочее и нерабочее время. Сделать это нам помогут запросы, приведенные ниже.

#legasy SQL

#standard SQL

Посмотрим, что получилось в результате, на примере одного из пользователей с clientId=’102041117.1428132012′. В исходной таблице по этому пользователю у нас были следующие данные:

Применив запрос, мы получили отчет, который содержит средний, минимальный, максимальный и суммарный доход с этого пользователя, а также количество транзакций. Как видно на скриншоте ниже, обе транзакции пользователь совершил в рабочее время:

Пример 2. Теперь немного усложним задачу:

• Проставим порядковые номера для всех транзакций в окне в зависимости от времени их совершения. Напомним, что окно мы определяем по пользователю и рабочему / нерабочему времени.
• Выведем в отчет доход следующей / предыдущей транзакции (относительно текущей) в рамках окна.
• Выведем доход первой и последней транзакций в окне.

Для этого используем следующие запросы:

#legasy SQL

#standard SQL

Результаты расчетов проверим на примере уже знакомого нам пользователя с clientId=’102041117.1428132012′:

Из скриншота выше мы видим, что:

• Первая транзакция была в 15:00, а вторая — в 16:00.
• После текущей транзакции в 15:00 была транзакция в 16:00, доход которой равен 25066 (столбец lead_revenue).
• Перед текущей транзакцией в 16:00 была транзакция в 15:00, доход которой равен 3699 (столбец lag_revenue).
• Первой в рамках окна была транзакция в 15:00, доход по которой равен 3699 (столбец first_revenue_by_hour).
• Запрос обрабатывает данные построчно, поэтому для рассматриваемой транзакции последней в окне будет она сама и значения в столбцах last_revenue_by_hour и revenue будут совпадать.

Полезные статьи о Google BigQuery:

• Инструменты для визуализации данных Google BigQuery
• Как загрузить данные в Google BigQuery
• Как выгрузить сырые данные из Google Ads в Google BigQuery
• Коннектор Google BigQuery ↔ Google Sheets
• Автоматизация отчетов в Google Sheets на данных из Google BigQuery
• Автоматизация отчетов в Google Data Studio на данных из Google BigQuery

Если вы хотите собирать несемплированные данные с сайта в Google BigQuery, но не знаете с чего начать, запишитесь на демо. Мы расскажем вам о всех возможностях, которые вы получите с BigQuery и OWOX BI.

В этой статье мы рассмотрели самые популярные функции из разделов Aggregate function, Date function, String function, Window function. Однако в Google BigQuery есть еще много полезных функций, например:

• Casting functions — позволяют приводить данные к определенному формату.
• Table wildcard functions — позволяют обращаться к нескольким таблицам из набора данных.
• Regular expression functions — позволяют описывать модель поискового запроса, а не его точное значение.

О них мы обязательно еще напишем в нашем блоге, а пока вы можете опробовать на demo данных все функции, описанные в этой статье.