Як «проста експеримент» заробила Обаму $60 млн

21 жовтня 2010 року Президент Барак Обама відвідав Пало Альто. Для отримання грошей на виборчу кампанію організована вечеря, вартість участі в якій склала 30 400 доларів. Це дуже ефективний метод підвищення коштів, хоча це може працювати тільки якщо у вас є можливість запросити президента. Як ви піднімаєте кошти, якщо у вас є лише сайт, який ніхто не бачив, крім бабусі? Саме в цій ситуації ми знайшли себе в 2007 році, коли Обама була запущена для президента, а проміжок від найближчого конкурента висловили подвійно-цифрові відсотки.



У 2008 році, коли я був директором відділу аналітики Обамської адміністрації, моя робота була для прийняття рішень щодо даних. Ми розпочалися з простого експерименту в грудні 2007 року. З цього експерименту ми уклали, що кожен відвідувач на нашому сайті був унікальний «швидкий внесок» і, більш важливо, скориставшись цією «оппортуністю» через оптимізацію та тестування A/B, ми можемо підняти десятки мільйонів доларів.

Цей експеримент протестував два блоки нашого сайту: блок з картиною і відео (медіа секція) і блок з кнопкою (всі-в-дії).

Для експерименту ми використовували Google Optimizer і виконали повний фактор багатовимірного тесту. Ми протестували всі комбінації гудзиків та медіа контенту. У нас було 4 варіанти кнопок, 3 фотографії та 3 відео, які означали 24 (4 * 6) комбінації для тесту. Кожен відвідувач цільової сторінки був випадково показаний один з комбінацій, і ми в свою чергу відстежуємо кількість відвідувачів, які залишили свою електронну пошту.



До того, як ви бачите результати, спробуйте вгадати, що кнопка та медіа контент, які ви думаєте, було найбільш успішним?

метрика, яку ми використовували для вимірювання успіху експерименту, була курсом підписок. Для того, щоб бути більш точним, це кількість людей, які підписалися, поділених кількістю людей, які побачили певну версію сторінки. З загальної кількості відвідувачів 310,382 відвідали сторінку посадки під час експерименту, це означає, що близько 13,000 осіб побачили кожну версію.

Нижче наведено значення для кожного з варіантів сторінки посадки:

І ми спостерігали ці значення при оцінці комбінації різних варіантів:

Найкраще поєднання кнопки та медіа контенту «Кобінація 11», що складається з кнопки «Learn more» та фото сімейства:

До того, як ми запустили експеримент, люди, які працюють на поході, віддали перевагу "Відео" (останнє на списку слайдів вище). Якщо ми не запустили експерименту, ми, ймовірно, покладемо цей відео на нашому сайті. В результаті таке тріфле може бути смертельною помилкою, оскільки вона виявилася, будь-які відео впливають на перетворення слабкіше, ніж будь-яке зображення.

11.6% — конвертація виграшу, на відміну від 8.26% оригінальної сторінки. Таким чином, нам вдалося отримати 40,6% більше підписів. Давайте спробуємо зрозуміти, куди з'явилася ця фігура. Якщо ми припустимо, що це поліпшення буде продовжуватися по всій кампанії, то пізніше, ближче до кінця, ми зможемо оцінити фінальні фігури і визначити зміни, які цей експеримент призвело до. В ході проведення акції було підписано 10 млн. осіб. Якщо ми не запустили цей експеримент і просто залишили початкову сторінку, що число буде близько 7.1 млн. осіб. Це менше 2,9 млн адрес електронної пошти.

Відправлення електронних листів людям, які залишили свої електронні листи з пропозицією волонтера, привабили 10 відсотків з них. В кінці вдалося залучити 288,000 волонтерів з 2,880,000 адрес електронної пошти, які набагато більше, ніж спочатку заплановані. В середньому кожен лист отримав через нашу цільову сторінку, додану $21 до кампанії. В цілому, додаткові 2,880,000 поштових адрес з нашого списку призвели до додаткових $60 млн в пожертвування.

Знання

1. Кожен відвідувач сайту – це можливість. Не пропустіть цю можливість, використовуйте оптимізацію та тестування A/B, це дасть вам додаткову перевагу.
2. Перевірте припущення. Всі в поході люблять відео. Але в кінці відео працювали гірше фотографії. Ми ніколи не знаємо, якщо ми не перевірили наші припущення.
3. Експериментувати рано і експериментувати частіше. Ми запустили експеримент у грудні 2007 року, і він працював до кінця президентської кампанії. Оскільки перший експеримент був настільки ефективним, ми продовжуємо експериментувати по всій кампанії.

Переклад був проведений співробітниками Генерату. Проект клубу - перший сервіс в Росії для оптимізації цільових сторінок в автоматичному режимі. Ми будемо раді відповісти на всі ваші питання.

П.С. У статті є переклад оповідання про допомогу тестування А/Б у виборчій кампанії Барака Обама. На жаль, через неперевершені помилки Хабра не вдалося вказати це при створенні видання. Апології для згубства!

Джерело: habrahabr.ru/company/generateclub/blog/233141/