Решил выйти на новый уровень профессионализма, и получить знания в сфере визуализации данных рекламных кабинетов не с помощью сторонних решений от Microsoft, а уже своими руками через Python и экосистему Яндекса. (Click House DataLens). Что же я хочу научиться делать:
- выгружать самые актуальные данные напрямую из Яндекс Директа с помощью собственного кода на Python и нейросетей, создавая программы на основе описания задач на естественном языке;
- делать преобразования с выгруженными данными, чтобы их проще было загружать в базу данных и потом визуализировать (ETL-процессы);
- объединять рекламные данные с аналитическими (Яндекс Метрикой), CRM-системой, а также другими сервисами (Вордстат, Вебмастер и др.);
- строить автоматические отчеты для всех своих клиентов в Yandex DataLens с привязкой к ключевым показателям;
- автоматически обновлять данные, корректировать статистику и загружать ее по расписанию;
- быть независимым от различных сторонних решений типа Adveronix, Albato, Power BI и т.д.;
- анализировать данные с помощью передовых технологий и нейроаналитики, встроенной в DataLens (ИИ‑агент для мгновенного построения графиков и поиска инсайтов
В курсе планируется пройти весь цикл настроек и разработки собственного приложения работы с данными API Яндекс директа, чтобы не зависеть от сторонних решений и приложений. Например таких как Power BI, Excel, и других, которые по большому счету не дают работать с огромными потоками данных рекламных систем. Тот же Power BI может виснуть или отказываться принимать данные сервера из-за ограничений если работает через кастомные коннекторы.
Для мелких рекламных кабинетов с небольшим трафиком и количеством кампаний подойдёт и Power BI, но все равно есть риск блокирования софта, или ужесточение закона об обороте персональных данных. Связка Python, Click House, YandexDataLens закрывает эту проблему, так как все находится в юрисдикции РФ.
В самом курсе предполагается материал с подачей для маркетологов, и сам посыл про то, что маркетологи тоже могут писать код. Пусть даже это будет вайб-кодинг с помощью нейросети 🤓
Info
Что такое вайб кодинг простыми словами
Вайб кодинг — это программирование с помощью искусственного интеллекта, который понимает естественный язык и пишет код сам.
Для пользователя важно хорошо сформулировать, что нужно сделать, а AI превращает это в рабочую программу.
На курсе по визуализации данных Я. Директа на Python и DataLens это значит, что писать всю программу вручную не обязательно — можно задавать задачи и получать код, который потом можно запускать и при необходимости дорабатывать.
Зачем визуализировать данные?
В принципе этот вопрос сегодня уже не актуален, в том смысле, что сам формат текста в больших данных не дает делать правильных выводов. Причина — огромные массивы. Не облачая гигантские потоки информации в графики, диаграммы распределения и сводные таблицы, понять что происходит становится невозможным. Технологии позволяют сегодня собирать с любого ресурса тысячи метрик, прочитать их человеческому глазу в обычном табличном виде невозможно, требуется сжатие и структурирование с визуализацией. Процесс ETL (извлечение, трансформация, загрузка) является начальным этапом, после чего уже выбирается способ представления — в нашем случае YandexDataLens.
DataLens продукт Яндекса и позволяет делать 100% интеграцию со своей рекламной системой, а учитывая что поисковик в РФ монополист, обладает огромным количеством вычислительных мощностей и является единственным крупным поисковиком в СНГ и Европе способным конкурировать с Гуглом, выбор в сторону этой экосистемы логичен.
Работа ведется через среду разработки PyCharm. Вот почему:
PyCharm — популярная интегрированная среда разработки Python, в которой удобно создавать и тестировать скрипты для работы с API Яндекс.Директа.
С помощью Python в PyCharm можно писать запросы к API, обрабатывать выгружаемые данные, делать их преобразование и подготовку к загрузке в облачные хранилища.
Для визуализации в Yandex DataLens данные обычно загружают из облака или баз данных (ClickHouse, Yandex Database и др.), которые можно питать скриптами на Python.
В PyCharm удобно использовать библиотеки для работы с API (requests, yadirstat и др.) и обработки данных (pandas), чтобы строить ETL-процессы подготовки данных.
Обучающие курсы и документация при работе с API Яндекс.Директа и Yandex DataLens часто рекомендуют PyCharm как основное средство разработки.
Работа с рекламными кабинетами через анализ больших данных на длительных периодах времени позволяет вести более тонкую настройку, и быстро реагировать на рыночные изменения. К сожалению бизнес в России пока плохо применяет техники визуализации рекламного трафика, веб-аналитики и последующей стройки стратегии рекламных кампаний на основе данных. Любая рекламная кампания в основном замыкается на порочном круге:
Найм специалиста — настройка рекламных кампаний — неплохой старт — замедление — стагнация — убыток — смена специалиста
Имея в штате или в консультантах веб-аналитика, способного настраивать цели и конверсии в счетчике метрики, а так же визуализировать весь поток трафика с метриками из кабинета и целями в связке, позволяет избежать порочного круга. Под ногами появляется фундамент, а решения о бюджетах и стратегиях становятся осмысленными, выходя из рамок гипотез и домыслов. ✍️
В конце можно добавить, что нейронки скорее всего научатся визуализировать данные в ближайшем будущем (с помощью специалиста веб-аналитика), что-то уже делается сейчас. Но пока это очень сырой вариант. Неточности, ошибки, элементарное отсутствие машины ИИ на почве бизнеса не дает верно интерпретировать и делать грамотные построения графиков. Нужен специалист способный погрузиться в продукт, осознать его специфику, внедрить цели на сайте, после чего уже приступить к обработке данных и визуализации. Нейронка может выполнять только промты — их нужно грамотно составлять для такого ответственного блока затрат как интернет реклама.
Сегодня чтобы настроить рекламную кампанию в Яндексе не нужны особые навыки, да простят меня коллеги директологи, иногда самая дурацкая кампания собранная на автостратегии работает лучше, чем собранная с парсингом семантики, группировками и всеми канонами управления бюджетом. Вся соль в ее анализе и управлении трафиком по полученным данным. Начиная от стоимости клика, заканчивая моделью поведения на сайте клиента и выполненными целями.
В процессе обучения я решил писать заметки и статьи, которые приходят мне в голову 💆. Сливать обучение я не планирую, это скорее идеологические конспекты с небольшими нюансами настроек. Автору курса отдаю должное, Я. Осипенков специалист и преподаватель с огромным опытом.
Боярский Глеб Юрьевич @GlebBoyarskii — Telegram | VK
Обо мне:
Настройка Яндекс Директ, Таргет, Google (Yandex) Tag Manager, разработка Power BI и DataLens дашбордов, глубокая аналитика рекламных систем, комплексная веб-аналитика и performance-маркетинг.