Может быть, вы выздоравливающий специалист по данным?
Почему кажется, что так много статей обсуждают профессию инженера данных?
Возможно, это связано с тем, что в отчете Dice о рабочих местах в сфере технологий за 2020 год инженерия данных названа самой быстрорастущей областью в 2020 году, увеличившись на ошеломляющие 50%, в то время как роль в науке о данных увеличилась только на 10%?
Или, может быть, это просто потому, что алгоритм Medium знает, что вы хотите читать статьи по инженерии данных.
Это поднимает важный вопрос.
Подходит ли вам инженерия данных?
Что такое Data Engineering - краткая версия?
Инженеры по обработке данных перемещают, модифицируют и управляют наборами данных из десятков, если не сотен внутренних приложений компании, поэтому аналитикам и специалистам по данным не нужно тратить свое время на постоянное извлечение наборов данных.
Они также могут создать базовый уровень данных, который позволяет различным источникам данных подключаться к нему для получения дополнительной информации или контекста.
Эти специалисты обычно первыми обрабатывают данные. Они обрабатывают данные, чтобы они были полезны для всех, а не только для систем, в которых они хранятся.
Есть очевидные причины стать инженером по обработке данных - например, высокая зарплата и многочисленные возможности из-за ограниченной конкуренции на рынке труда, - но сегодня мы не зацикливаемся на них. Вместо этого подумайте о следующих мыслях, которые более актуальны для описания должности.
Вам нравится общая картина и мысли о системах
Вы относитесь к тому типу людей, которым нравятся идеи «большой картины» и то, как работают системы? Инжиниринг данных может стать для вас идеальной работой.
Как инженер по обработке данных вы видите весь жизненный цикл данных от начала до конца. Вы видите, как данные работают на стороне программного обеспечения, как они обрабатываются и как они попадают на аналитический уровень.
Помимо понимания данных, вы понимаете логику, лежащую в основе программного обеспечения или приложения, и то, как они функционируют, а также знаете, как преобразовать данные, чтобы их было легко использовать для аналитиков. Это означает знание сценария использования аналитика.
Эффективное выполнение работы означает знание того, как часто человеку, использующему данные, требуются обновления. Это каждый день? Каждый час? Есть ли у них модель с обновлением данных в реальном времени?
Вот общие вопросы, которые инженеры по обработке данных задают себе каждый день:
- Как разработчики программного обеспечения настраивали потоки пользователей и бизнес-логику?
- Какая степень детализации необходима ученым, чтобы данные были наиболее эффективными?
- Является ли таблица моментальным снимком, который обновляет информацию при потере исторических данных, или в ней хранятся исторические данные, и нужен способ управления дубликатами?
Другими словами, вам нужно понимать рабочий процесс, а не только конвейеры.
Стоит отметить, что многие инженеры по обработке данных переходят на роль архитектора программного обеспечения или аналогичную роль, потому что они понимают всю систему.
Вы специалист по восстановлению данных
«Специалист по восстановлению данных» - это распространенное прозвище в LinkedIn. Это часто относится к специалистам по данным, которые перешли на роль инженеров данных.
Если вам действительно нравится аспект данных, но вы также цените компоненты автоматизации, программирование и проектирование системы, вы можете предпочесть разработку данных. Инженеры по обработке данных создают системы.
Хотя специалисты по обработке данных также могут иногда строить, их роль не предназначена для этого. Инженеры по обработке данных регулярно создают системы, и лучшим из них это нравится.
Вам нравится создавать автоматизированные системы
Если вам нравится создавать автоматизированные системы, подумайте о инженерии данных.
Инженеры по обработке данных разрабатывают системы, которые переносят данные из точки А в точку Б. Они автоматизируют рабочие процессы и процессы. Они автоматизируют мониторинг, управление данными, перемещение данных и проверки качества данных, а иногда у них есть возможности для внедрения моделей машинного обучения или статистических моделей в конвейеры данных, созданные специалистами по данным.
Если вам нравится автоматизация, вы можете делать это каждый день. Вы найдете новые системы для автоматизации, новые проблемы, которые нужно решать, и ежедневные возможности решать головоломки, связанные с переносом данных из одной точки в другую.
Возможно, вам потребуется оптимизировать рабочие процессы, потому что данные слишком долго перемещаются из точки A в точку B. Как можно обойти ограничения текущей системы? Вам нужно подумать о распределенных системах? Какие технологии доступны, чтобы помочь вам решить проблему?
Вам нравится работать с передовыми технологиями
Инженеры по обработке данных вынуждены использовать самые современные инструменты и системы. Ежедневно растет огромная проблема с данными, и эти инженеры лучше всех ее решают. Они выясняют, как объединить источники данных в одну централизованную систему, как обработать набор данных, который слишком велик для одной рабочей нагрузки, и как распределить обработку между несколькими узлами.
Ежедневно вам нужно будет рассматривать свои технические возможности, будь то старые инструменты с открытым исходным кодом или новые современные решения. Если вам нравится знать, как другие люди решают проблему больших данных и используют эти системы, инженерия данных будет для вас хорошим выбором.
Вам нравятся данные
Конечно, вам нужно получать удовольствие от данных. Инженерам данных нравятся данные, и они знают, как они движутся, как движутся и как события внутри системы представляют повседневные события и сложные взаимодействия. Данные могут быть для чего угодно - людей, автомобилей, оборудования и т. Д. Вам нравится думать о данных и о том, как они собираются и объединяются, чтобы люди могли проводить логический анализ. Если это вы, то инженерия данных, вероятно, вам идеально подойдет.
Последние мысли
Некоторые люди находят данные скучными, но другим нравится думать об аналитической стороне вещей или разрабатывать системы. Поле расширяется, и возможности есть повсюду. В Интернете вы найдете сотни статей об инженерии данных, и сотни миллионов долларов текут в эту область.
Нет лучшего времени, чтобы окунуться в мир инженерии данных.
Если вы хотите узнать больше об инженерии данных, подумайте о том, чтобы присоединиться ко мне на некоторых из моих других социальных сайтов.
Подпишитесь на Youtube от Seattle Data Guy
Подпишитесь на мою еженедельную рассылку новостей
"Подпишись на меня в Твиттере"
