Сегодняшний день мы хотим начать с обсуждения областей нашей жизни, в которых мы используем данные. Мы хотим обсудить применение данных, но немного заглянуть за пределы нашего рабочего места.

Для начала, давайте сделаем небольшое упражнение и ответим на несколько вопросов которые касаются вас лично.

Как показывает обсуждение в чате нашего марафона, многие участники рассматривают навыки работы с данными в контексте их профессиональной карьеры. Когда мы слышим о данных, нам всегда приходят образы компаний, которые решают какие-либо бизнес задачи, у нас возникают образы и названия профессий, таких как дата-аналитики или дата-инженеры.

Но не стоит ограничивать сферу применения грамотной работы с данными только коммерческой деятельностью. Данные помогают нашему обществу создавать более умный и функциональный мир вокруг нас. Навыки грамотной работы с данными так же хорошо помогают и в личной жизни каждого человека.

Скорость инноваций за последние несколько десятилетий увеличилась драматически, и мы вынуждены изучать новые навыки для того, чтобы успевать за временем. В 80-х годах переход от больших мэйнфреймов к персональным компьютерам привел к необходимости изучения базовых компьютерных навыков. В 90-х развитие интернета и всемирной сети накрыло информационными технологиями большую часть планеты. Переход в новое тысячелетие и быстрое развитие социальных медиа породило сотни профессий связанных с данными — ввод данных, инженерия данных, работа с базами данных, дата-аналитика… После 2015 года начала быстро развиваться волна self-service аналитики и работа с данными перестала быть уделом небольшого количества специалистов. Каждый должен быть грамотным по работе с данными.

→ Исследование LinkedIn по необходимым навыкам работы в 2020 году (англ.) (из РФ доступ к LinkedIn заблокирован)
→ Статистика вакансий аналитиков данных по hh.ru

Если мы применим наши знания только в области корпоративных интересов, работа с данными не сможет раскрыть весь свой потенциал. Это происходит потому, что корпоративная нацеленность на получение прибыли становится бóльшим приоритетом, чем здоровье общества и окружающей среды.

Данные не уберегут нас от капиталистических отношений, но могут снабдить нас знаниями и осветить основные проблемы, с которыми мы сталкиваемся в обществе. Некоммерческие организации и отдельные граждане могут собирать, находить, анализировать данные по разным темам, таким как:
→ Изменение климата и окружающей среды
→ Права человека
→ Кризисы, связанные с инфекционными заболеваниями
… и многим другим.

Порталы открытых данных (вы можете найти и другие, если поищите термин «открытые данные»)
открытые данные России
открытые данные Москвы
открытые данные Санкт-Петербурга

Применяя здоровую долю скептицизма к данным, а также имея возможность и желание изучать что-то новое, мы можем сделать сбор данных, распространение информации, знаний и мудрости началом больших преобразований в обществе.

Данные могут быть полезны не только на уровне корпораций, государственных органов, коммьюнити или общества, но также могут помочь в нашей личной жизни.

Мы все живем в мире с большим количеством сенсорных устройств вокруг нас: на наших запястьях, в наших карманах, иногда даже встроенных в наше тело. Эти устройства помогают нам узнать сколько шагов мы прошли, как долго и куда мы путешествовали, уровень нашего сердцебиения, как хорошо мы спим ночью, уровень сахара в крови и ещё множество-множество разных полезных метрик о нас самих.

Такое количество возможностей привело в последнее время к отдельному большому течению — «Quantified self movement». Проводятся конференции, выпускаются журналы, собираются онлайн-форумы для обмена подходами к сбору данных о самих себе и их анализу с целью улучшения качества жизни.

→ Описание термина Quantified self на Википедии
→ Сайт движения (англ.)

Будете ли вы отслеживать свои персональные данные через трекеры или различные сенсорные устройства или просто будете вести заметки о своей жизни — это может стать хорошим первым шагом на вашем пути к грамотной работе с данными.

Перейдем к следующей теме, которая поможет различать важное и неважное: шум/сигнал. Сигнал — это та информация, которая вам необходима. Шум — это вся остальная информация, которая мешает найти нужный сигнал.

Представьте себя игроком баскетбольной команды, вам надо принять решение — передавать кому-то пас или попытаться забить мяч самостоятельно? За пару секунд вы должны оценить положение игроков своей команды, игроков команды противника, вспомнить их сильные и слабые стороны, прислушаться к тренеру и своей интуиции, услышать подсказки болельщиков и вспомнить математические прогнозы, которые вы читали неделю назад. Довольно много информации? Но не вся из нее полезна.

При исследовании данных руководствуйтесь несколькими ключевыми принципами, которые помогут вам получить наиболее качественный результат.

На наше восприятие влияет большое количество когнитивных искажений. Чаще всего, при работе с информацией, наш мозг сталкивается с четырьмя большими группами проблем:
→ Переизбыток информации — это сложно и тяжело, поэтому мы агрессивно отсекаем всё ненужное. Среди шума ищем и выявляем сигнал.
→ Недопонимание нас путает, поэтому мы активно достраиваем картину, заполняем пробелы в понимании в соответствии с нашим опытом. Сигнал становится историей.
→ Нам приходится действовать быстро, чтобы не упустить шанс, поэтому мы сразу перепрыгиваем к заключениям. Истории оформляются в решения.
→ Проще нам от этого не становится, поэтому мы пытаемся запомнить самое важное. Решения дают нам информацию для корректировки моделей мира и себя.

Эти четыре проблемы вызывают четыре ошибки-последствия:
→ Мы не видим всего. Часть информации, которую мы отсекаем, на самом деле оказывается ценной и важной.
→ Поиск смыслов приводит нас к галлюцинациям. Иногда мы придумываем несуществующие детали только из-за предположений и предубеждённости, а также достраиваем смыслы и истории, которых не было в реальности.
→ Быстрые решения могут быть плохими. Некоторые из быстрых реакций и решений оказываются нечестными, корыстными и непродуктивными.
→ Память усиливает ошибки. Некоторые вещи, которые мы запоминаем, усиливают когнитивные искажения и обусловленность, ухудшая мыслительные процессы.

→ Подробнее про когнитивные искажения можно прочитать тут

Теперь мы начинаем постепенно погружаться в статистику. И начинаем с понятия корреляции и причинно-следственной связи.

Корреляция часто рассчитывается на начальном этапе анализа данных, она позволяет посмотреть как связаны друг с другом выбранные переменные.

Корреляция двух величин может говорить о существовании некоторого общего фактора, который влияет на параллельное изменение этих величин. Хотя сами показатели напрямую могут не взаимодействовать.

Сила корреляции двух величин рассчитывается коэффициентом корреляции.

Корреляция — вполне логичная и математически проверяемая история. Есть коэффициент корреляции, которой говорит о ее силе. Обычно, сложности начинаются с попытки ответить на вопрос: как влияют друг на друга рассматриваемые величины? Как одна переменная зависит от второй? Такое поведение объясняется причинно-следственной связью.

Но важно понимать разницу между этими концепциями, потому что каждая из них приводит к очень разным выводам. При корреляции непонятно что на что влияет – может событие А влияет на событие Б, или событие Б влияет на событие А? А может, есть некоторое третье событие С, которое влияет и на А и на Б. Все эти варианты приведут к разным выводам, хотя исходные данные будут одними и теми же.

Проект DataLiteracy.ru проводил обсуждения темы грамотной работы с данными с представителями бизнеса, образования и общественных организаций, на которых поднимались интересные вопросы. Предлагаем вам изучить любой из представленных ниже разговоров (или сразу несколько) по наиболее интересному для вас домену знаний.