Начиная любую работу с данными, вне зависимости от того, что именно вы хотите с ними сделать, будет полезно сформулировать для себя ответы на ключевые вопросы о их природе. Эти вопросы применимы ко всем трем областям использования данных, о которых мы говорили вчера: профессиональная среда, общественная и личная. Вопросы также не зависят от формы имеющихся данных — таблица, база данных, корпоративный дашборд или презентация. Иногда ответы на эти вопросы бывают очень простыми, а иногда требуют длительных размышлений.

Этот вопрос напрямую влияет на доверие к полученным результатам анализа. Если кто-либо делится с вами фактами, показывает какие-либо промежуточные данные, но при этом не раскрывает источник информации, отнеситесь к этому с максимальной осторожностью.

Как только вы разберетесь с источником данных, следует понять кто поддерживает данные в актуальном виде, кто является их ответственным владельцем.

Например, в корпоративной среде, физически базы данных могут поддерживаться службой информационных технологий, а наполняться уже бизнес-пользователями, которые работают с конечными агентами, заключающими страховые сделки.

Это может казаться вам незначительной деталью, но ответ на этот вопрос приводит к потрясающей разнице в результате. Время — это фундаментальная характеристика любых данных, которые мы с вами собираем. Если кто-то будет показывать вам любой график или диаграмму, вы всегда будете интересоваться к какому времени относятся эти данные.

Наборы данных часто могут быть очень большими, и каждая запись может характеризоваться десятками, сотнями или даже тысячами атрибутов или переменных. Часто совсем нецелесообразно рассматривать каждую из них по отдельности. Для поиска закономерностей вам придется сузить поле зрения до наиболее важных переменных, те, которые именно вы считаете важными. Вам также надо подумать о форме этих переменных — будут ли они рассматриваться вами в виде индивидуальных значений или агрегированного числа или в виде стат.показателей.

Ну и когда дело доходит до определения показателей, дьявол кроется в деталях. Всегда узнавайте описание важных переменных. Если вы не встречаете и не находите его, обязательно запрашивайте отдельно, если есть возможность.

Каждое значение данных создается процессом или системой, которая может включать в себя как человеческий, так и машинный ввод.

Если вы смотрите на оценки удовлетворённости клиентов, как они были получены? Данные получились в результате опроса или анкетирования? Было ли это проведено лично или в электронном виде? Это было анонимно? Кому был отправлен опрос? Было ли заполнение опроса необязательным или обязательно? Все эти и многие другие вопросы помогают вам определить что на самом деле значат результаты опроса.

Между данными в системах и реальностью всегда есть разрыв, который часто зависит от системы сбора и измерения данных. Ваша задача — понять, насколько этот разрыв может быть критическим.

Как только мы задали все вопросы к данным относительно их природы, у нас возникают новые — уже по сути. Самые простые из вопросов касаются прошлого, и это, обычно, нам узнать проще всего. Например, получая статистику по продажам йогурта, мы точно можем ответить на такие вопросы, как «сколько йогурта было продано», «сколько выручки принесли продажи йогурта», «в какой день недели или время суток йогурт покупали чаще всего».

Представьте, что мы хотим изучить мнение пользователей нашего мобильного приложения по доставке еды. Хотим узнать удовлетворенность сервисом. Но как можно опросить абсолютно всех пользователей приложения? Что если у нас несколько сотен пользователей? Индивидуальный прямой опрос каждого получится долгим и дорогим.

Но если мы отправим для части пользователей предложение пройти опрос, то какая-то группа людей его пройдет. Мы получим выборку пользователей, а на ее основе — сможем посчитать и оценку удовлетворенности — тех, кто ответил на наш опрос. После этого, мы сможем примерно понять и уровень удовлетворенности вообще всех клиентов. Он будет не идеально точным (мы не можем опросить их всех), но такое приближенное знание будет лучше, чем вообще ничего.

В терминах статистики, все пользователи приложения – это генеральная совокупность (population). Генеральная совокупность – это все люди или все объекты с общим признаком, которые мы бы хотели изучить, будь у нас безграничные ресурсы. Это могут быть все жители планеты Земля, все потенциальные клиенты будущего музыкального приложения, все запасные части автомобилей в продаже. Очевидно, мы физически не можем изучить все эти объекты.

Пользователи, которые прошли наш опрос — попадают в выборку (sample) для нашего анализа. На основе выборки, мы можем заключать выводы, которые при хорошем качестве выборки затем распространяются на генеральную совокупность.

После анализа выборки, мы обладаем набором статистик, причем, чем больше выборка, тем полученная статистика будет более приближенной к параметрам исходной генеральной совокупности.

→ подробнее про выборки
→ подробнее про репрезентативность

Из полученной выборки данных мы легко сможем найти средний показатель удовлетворенности. Допустим, в нашем первом опросе он оказался равен 7,6 баллов из 10. Если мы решим провести опрос повторно, показатель средней удовлетворенности вряд ли окажется ровно таким же. Как нам понять, насколько сильно этот показатель может меняться, и насколько мы можем вообще ему доверять?

Мы можем давать не точечные оценки («показатель равен строго 7,6»), а интервальные («средний показатель варьируется от 7,4 до 8,2»), используя доверительные интервалы.

Обычно, доверительный интервал задается на уровне 95%. Это значит, что если мы используем 95%-ный доверительный интервал, то после составления многих выборок и расчета среднего показателя по каждой из них, конечный результат будет находиться в пределах указанного доверительного интервала в 95% случаев.

→ подробнее про доверительные интервалы

Для ёмкой оценки набора данных используют методы описательной статистики: агрегации и меры центральной тенденции.

«Центральная тенденция» — это «середина» того или иного распределения. Меры центральной тенденции — это числа, которые могут описать множество значений в наборе данных одним числом. Наиболее популярные из них: среднее, медиана, мода.

→ подробнее про медиану
→ подробнее про моду

Если у нас есть данные по заработной плате 24 сотрудников компании, большинство из которых — рядовые менеджеры, а 3 занимают руководящие топ-должности. Какая мера центральной тенденции подойдет для характеристики такого набора лучше всего?

Так как среднее просто делит сумму всех наблюдений на их количество, то показатель среднего не будет учитывать неравномерное распределение величин. Не смотря на то, что правдивая средняя у большинства (!) сотрудников будет где-то в районе 30−40 тысяч рублей, то рассчитанная средняя показывает 130 тысяч. Медиана ближе к наблюдаемой истине — ведь мы знаем и видим природу этих данных еще и визуально.

Посчитать какую-либо меру центральной тенденции для определения характеристики данных иногда бывает недостаточно. Мы стараемся описать данные одной цифрой, но иногда ответ на вопрос кроется в чем-то еще. Посмотрим на выбросы и меру разброса данных.

Выбросы можно определять по-разному, но на них точно следует обращать внимание. Они почти всегда говорят о необходимости перепроверки данных. Возможно, выброс появился из-за ошибки в записи данных — это важно отыскать, чтобы результаты анализа были корректными. Или, возможно, выброс попал к вам из другой категории данных, которую вы не берете в свой анализ (анализировали только подростков, а попал взрослый).

→ подробнее про выбросы

Как только мы получили представление, где находится центр имеющегося набора данных, возникает вопрос — насколько сильно данные отличаются друг от друга? Можем использовать два метода для этой оценки: размах (вариацию) и стандартное отклонение.

Стандартное отклонение, или среднеквадратичное отклонение, более совершенный термин из статистики. Это мера оценки разброса значений от их средней величины. Иногда два набора данных с одинаковым средним могут оказаться совершенно разными по разбросу величин. Для этого считают стандартное отклонение.

→ подробнее про стандартное отклонение

Распределения помогают нам оценить свойства имеющихся данных. Для работы с распределениями чаще всего используют гистограммы и диаграммы boxplot (ящик-с-усами).

Важно обратить внимание, что гистограмма показывает количество наблюдений, а не абсолютный показатель, не смотря на то, что внешне гистограмма похожа на обычную столбиковую диаграмму.

→ подробнее про гистограммы

Распределения важны для понимания природы наших данных. На гистограмме будут хорошо видны асимметрии, возможные выбросы, меры центральной тенденции. В общем, это некий «слепок» наших данных, который мы, кстати, можем сравнивать с другими слепками других данных — и это будет эффективно!

Обычно, имеющиеся данные сравнивают с разными эталонными моделями — распределениями, которые встречаются настолько часто, что они были выведены в устоявшиеся закономерности. Одно из них — нормальное распределение.

Конечно, в настоящей жизни встретить идеальное нормальное распределение сложно — но многие данные и наблюдения к нему стремятся.

Например, если мы проведем два замера результатов тестирования учеников — до обучения и после обучения — то получим два отличающихся распределения. В первом случае, распределение выглядит более нормальным, а во втором — со смещением вправо. Т. е. большее количество учеников получили более высокий результат тестирования после обучения.

Распределения могут быть очень разнообразны, например, с асимметрией в правую или в левую сторону (т.е. большая часть значения сосредоточена ближе к одному или другому концу). Также выделяют бимодальное распределение или мультимодальное (2 или много мод соответственно).

Наши клиенты делают заказы в конкретные временные интервалы. Внутри компании используют TMS систему для того, чтобы составить маршруты курьеров. Заказы должны быть доставлены вовремя и с минимальными затратами. При этом, при составлении маршрутов необходимо оценить два типа времени: время на дорогу из точки, А в точку В (для этого используют Яндекс), и время на обслуживание клиента.

Раньше для обслуживания каждого покупателя закладывали 19 минут. И оценить реальное время обслуживания было возможно лишь вручную, засекая секундомер в поездке с курьером. После размещения телеметрии в автомобилях, проанализировав Большие Данные GPS трекеров, в команде смогли оценить реальное время обслуживания клиентов. По времени пробития чека и времени закрытия заказа курьером в его приложении привязали его к конкретным заказам. Медиана реального времени обслуживания была 14 минут. При этом были случаи обслуживания и 20 минут, и 30 минут, и 40 минут. Возникла идея построения модели прогнозирования времени обслуживания клиента для учета этого времени в маршрутизации.

Модель учитывает факторы: Вес заказа, Объем заказа, Этаж, Гео-координаты (широта, долгота), Тип оплаты, Интервал доставки, Количество ящиков. По оценкам, модель позволит на 8% сократить среднее время обслуживания клиентов, на 1% увеличить кол-во доступных заказов, при тех же самых ресурсах, сохранив уровень сервиса. Модель внедрена в TMS и тестируется на реальных заказах.

В планах по развитию провести Хакатон с использованием партнерских гео-данных (наличие домофона, шлагбаума, парковки) для повышения точности модели и формирования ИТ-бренда Утконос.