Скачать [karpov.courses, Александр Сахнов, Валерий Бабушкин, Николай Назаров] Симулятор A - B тестов (2022)

[IvX]

Автор: karpov.courses, Александр Сахнов, Валерий Бабушкин, Николай Назаров
Название: Симулятор A - B тестов (2022)

Описание:

ДЛЯ КОГО ПОДХОДИТ ЭТОТ КУРС:

1. Продакт-менеджеры - Если вы занимаетесь развитием продукта и хотите научиться принимать обоснованные решения на основе данных.
2. Аналитики - Если вы анализируете бизнес-метрики и хотите углубиться в особенности A/B-тестирования.

Этот курс подходит всем, кто интересуется A/B-тестированием, даже без глубоких знаний в программировании и математической статистике.

Что вы изучите:

1. Разработку оптимального дизайна онлайн и офлайн экспериментов.
2. Применение современных методов для повышения чувствительности A/B-тестов.
3. Проверку гипотез с использованием сложных метрик, для которых стандартные тесты не подходят.
4. Параллельное проведение множества экспериментов.

Какие задачи будут рассмотрены:

1. Дизайн эксперимента

Вы подготовите дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов после рефакторинга кода и обновления бэкенда сайта.

1. Анализ метрики отношений

Вы изучите, как использовать метрику среднего времени доставки для оценки эффективности замены транспорта курьеров.

1. Чувствительные тесты

Вы научитесь повышать чувствительность тестов для выявления даже небольших улучшений, которые могут быть важны для вашего бизнеса.

1. Множественное тестирование

Вы разработаете подход к одновременному проведению нескольких экспериментов, чтобы более эффективно проверять множество гипотез.

ПЛАН КУРСА ://

Давайте представим, что вы присоединились к команде аналитиков пиццерии, которая активно развивается в онлайн-сфере и проводит эксперименты для улучшения качества обслуживания. Вам предстоит определить, какая версия сайта работает лучше, проанализировать влияние рефакторинга бэкенда и оценить успехи в ускорении доставки.

Модуль 1 - Основы статистики

Изучим основы статистики, достаточные для успешного прохождения курса.

Модуль 2 - Знакомство с A/B-тестированием

В первый рабочий день мы познакомимся с данными и платформой для A/B-тестирования. Мы сформулируем гипотезы и проанализируем результаты первого эксперимента.

Модуль 3 - Проверка гипотез

Мы узнаем, как появилась идея проверки гипотез, создадим свой собственный критерий принятия решений и рассмотрим популярные методы для типичных метрик, а также их ограничения.

Модуль 4 - Дизайн эксперимента

Научимся выбирать оптимальные параметры для запуска эксперимента, такие как продолжительность, размер выборки и минимальное обнаружимое изменение. Также разберёмся, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.

Модуль 5 - Доверительные интервалы

Познакомимся с методом бутстрэпа и научимся строить доверительные интервалы для различных метрик, а также принимать решения, основанные на них.

Модуль 6 - Повышение чувствительности тестов

Мы рассмотрим современные способы увеличения чувствительности A/B-тестов и применим их на практике. Вы научитесь уменьшать объем выборки, необходимый для проведения эксперимента.

Модуль 7 - Выбор метрик

Выбор подходящей метрики для эксперимента может быть сложным. Мы разберем различные типы метрик, научимся выбирать наиболее подходящие для каждого эксперимента и узнаем, как отслеживать успешность A/B-теста.

Модуль 8 - Cuped и стратификация

Мы ознакомимся с продвинутыми методами повышения чувствительности A/B-тестов, такими как Cuped и стратификация, основанными на дополнительной информации.

Модуль 9 - Множественное тестирование

Познакомимся с техниками множественного тестирования и одновременного проведения нескольких экспериментов в ситуации, когда гипотез слишком много.

Модуль 10 - Исследование метрик отношения: анализ и подходы

При анализе гипотез о равенстве метрик отношения, таких как CTR, использование стандартных тестов оказывается неуместным в силу наличия зависимостей между наблюдениями. В этом модуле мы рассмотрим различные методы для проверки таких гипотез и попрактикуемся в их применении на практике.

Скачать:

Качать без ограничений