Короче, вот странное чувство, от которого я не могу избавиться:
Где-то по пути работа с данными стала ощущаться... фальшивой.
Несколько лет назад дата-инженерию не упоминали, чтобы впечатлить свидание из Tinder. Быть дата-инженером значило быть изолентой техстека — собирать всё на скотче, чтобы данные оказались там, где нужно, и в том виде, в каком нужно. Это был хаос, и довольно уродливый.
Это значило, что Spark-джобы молча умирали на 6-м стейдже, и никто не знал почему, или что ты в панике деплоишь фикс сломанного Airflow DAG за пять минут до стендапа, или обычную панику в Slack: «Кто, бл*ть, опять полез в Parquet-схему?!»
Это был хаос. Это было больно. Это было по-настоящему.
Теперь всё — питч
Сейчас кажется, что любое комьюнити, к которому я обращаюсь — X/Twitter, Reddit, LinkedIn, даже Stack Overflow — превратилось в SaaS-питчфест, замаскированный под группу поддержки. У всех есть отполированное решение. Каждый вопрос звучит как подводка. Каждый пост заканчивается ссылкой.
Ни у кого больше нет настоящих проблем.
Раньше мы обсуждали проблемы. Настоящие.
«Слушайте, мне нужно забэкфиллить 3ТБ исторических данных в Snowflake, и я на 90% уверен, что разорю компанию, если запущу этот запрос. Что делать?»
«У меня странная проблема с моделью данных, как бы вы это сделали?»
«Каждый раз при деплое новой consumer group скачет Kafka lag. Логов нет. Не понимаю, что делать дальше.»
«Как лучше всего настроить это в Spark?»
«dbt нормально работает на dev. На проде он поджигает warehouse. Я ничего не менял — буквально ничего. Помогите!»
Теперь задаёшь базовый вопрос — и получаешь ответ, проспонсированный венчурными деньгами:
«Привет! А ты видел наш stealth AI-driven, написанный на Rust, blockchain-enabled оркестратор CDC-пайплайнов? Пиши в личку, если интересно — скидки для ранних пользователей!»
Бро. Мне буквально нужна была помощь с синтаксисом LEFT JOIN.
Даже конференции изменились. Раньше ты шёл на доклад и слушал военную историю о том, как кто-то еле пережил свой первый GDPR-аудит, или как он скейлил PostgreSQL до стратосферы. Теперь это просто кинойты, забитые стартаперским жаргоном и архитектурными диаграммами, которые никогда не видели прода.
Раньше ты слышал настоящую боль. Теперь слышишь продуктовую стратегию. Reddit (и похожие технические форумы) стали привлекательными, бесплатными маркетинговыми каналами для стартапов на ранней стадии.
Текущая волна AI-хайпа только усилила эту проблему. Каждый сабреддит, блог и лента завалены недоваренными мнениями про AI и туториалами, сгенерированными ChatGPT, которые больше похожи на SEO-спам, чем на реальные знания.
Раньше кто-то писал пост под названием «Как я случайно уронил прод и выжил» — и он взлетал. Теперь это одни SEO-листиклы от Gemini про «9 обязательных практик data governance для SMB в 2025».
Тошнит, к чёрту это всё. Из-за LLM люди теперь верят, что знают больше, чем на самом деле.
Усталость от тулов реальна
Слушай — я понимаю. Реально понимаю.
Хочешь монетизировать свою боль? Уважение. Создавать вещи — это ценно, и превратить свою боль в техническое решение, которое можно продать — это здорово. Да, чёрт возьми, строй свою мечту. Но есть тонкая грань между тем, чтобы делиться опытом, и бесконечно впаривать свой продукт.
Мы все знаем разницу. Мы инженеры, а не идиоты.
Прямо сейчас кажется, что мы эту грань перешли.
Существует больше 500 разных «modern data» тулов. Выбрать один — всё равно что выбирать зубную пасту в супермаркете, где 84 варианта. Когда выбора слишком много, это скорее мешает, чем помогает. Это превращается в шум. А хуже того — в перформанс.
Теперь всё обязано быть «modern». Даже когда всё, что тебе на самом деле было нужно — это ночная cron-джоба, которая тихо работала. Но это недостаточно секси и недостаточно AI-enabled, чтобы про это твитнуть, да?
Лучшие пайплайны — те, о которых никто не говорит, потому что они просто работают.
The Modern Data Survey, 2024
Может, самое панк-рок, что мы сейчас можем сделать в этой индустрии (я что, постарел?) — это снова стать скучными. Такое чувство, что мы сделали простые вещи устаревшими на вид.
Что дальше?
Мы движемся к миру закрытых знаний. Закрытые блоги, приватные клубы, экспертиза за пейволлом.
Массовый интернет больше не место для обмена знаниями. Он для развлечения. И это нормально — но давайте называть вещи своими именами.
В 90-х и 2000-х в интернете сидели в основном те, кто работал с информацией. Исследователи, самоделкины, инженеры. Теперь это все — и все здесь тратят деньги. Это гнёт всю систему в сторону «развлеки меня, я не хочу думать». AI только ускорил этот процесс.
Мы дрейфуем в мир, где знание монополизировано, развлечение алгоритмизировано, а любопытство удовлетворяется парой источников без проверки. Не для всех — но для масс. Большинству этого достаточно.
Но для тех, кто всё ещё строит вещи? Идеального ответа не будет никогда. Никакого «финального» тула. Никакого единственно лучшего языка программирования. Только тот же самый грязный, странный, изолентный инжиниринг, которым мы всегда занимались. И в этом суть.
Подводя итог
Я не против тулов. Хорошие тулы спасают жизни. Но, если честно, мне не хватает тех настоящих, беспорядочных разговоров.
Мне не хватает инженера, который скидывал скриншот взорвавшегося DAG с подписью «ну, это новое».
Мне не хватает тредов на форуме на 40 комментариев о том, не проще ли просто использовать Airflow, вместо того чтобы за три года внедрять уже пятый оркестратор.
Мне не хватает, когда кто-то говорил «это работает, но выглядит мерзковато — вот почему» и скидывал самый проклятый шелл-скрипт, который ты когда-либо видел... и который реально работал.
Мне не хватает, когда мне говорили «нет, ты не сходишь с ума — BigQuery иногда просто так себя ведёт».
Так что если ты всё ещё чинишь сломанные ETL-джобы, bash-скрипты, оптимизируешь Spark-джобы или всё ещё воюешь со schema drift, нестабильными DAG-ами и алертами по бюджету, в которых нет никакого смысла — просто знай: ты не делаешь это неправильно. Ты не отстал от жизни. Ты просто настоящий инженер. Что бы ты ни читал в интернете.
А если ты строишь тулы? Отлично. Просто помни: сначала будь человеком. Будь настоящим.
Рассказывай нам истории, а не продажные питчи. Может, даже спроси, как мы решаем свои проблемы, вместо того чтобы предполагать, что твоё решение подходит.