Bueno, aquí va una sensación rara de la que no me puedo sacudir:
En algún punto del camino, trabajar con datos empezó a sentirse... falso.
Hace unos años, la ingeniería de datos no era algo que mencionabas para impresionar a tu cita de Tinder. Ser data engineer significaba ser la cinta adhesiva del stack tecnológico, uniendo cosas como se podía para que los datos llegaran a donde y cómo hacían falta. Era caótico, y bastante feo.
Significaba que los jobs de Spark morían en silencio en el stage 6 y nadie sabía por qué, o deployar un fix con pánico para un DAG de Airflow roto cinco minutos antes del standup, o el clásico ataque de pánico en Slack: «¿Quién demonios tocó el schema de Parquet esta vez?!»
Era caótico. Era doloroso. Era real.
Ahora todo es un pitch
Ahora siento que cada comunidad a la que recurro — X/Twitter, Reddit, LinkedIn, hasta Stack Overflow — se convirtió en un pitchfest de SaaS disfrazado de grupo de apoyo. Todos tienen una solución pulida. Cada pregunta suena a gancho de venta. Cada post termina con un link.
Ya nadie tiene problemas reales.
Antes hablábamos de problemas. De los de verdad.
«Oye, necesito hacer un backfill de 3TB de datos históricos en Snowflake, y estoy 90% seguro de que voy a arruinar a la empresa si corro esta query. ¿Qué hago?»
«Tengo un problema raro con el modelo de datos, ¿cómo lo resolverían ustedes?»
«El lag de Kafka se dispara cada vez que despliego un consumer group nuevo. Sin logs. No tengo idea de cómo seguir.»
«¿Cuál es la mejor forma de configurar esto en Spark?»
«dbt funciona bien en dev. En prod le prende fuego al warehouse. No cambié nada — literalmente nada. ¡Ayuda!»
Ahora haces una pregunta básica y te responden con algo financiado por venture capital:
«¡Hola! ¿Ya viste nuestro orquestador de pipelines de CDC, stealth, impulsado por IA, hecho en Rust y con blockchain? Escríbeme si te interesa — hay descuentos para early adopters.»
Bro. Literalmente solo necesitaba ayuda con la sintaxis de un LEFT JOIN.
Hasta las conferencias cambiaron. Antes ibas a una charla y escuchabas a alguien contar cómo apenas sobrevivió a su primera auditoría de GDPR, o cómo escaló PostgreSQL hasta la estratósfera. Ahora son puros keynotes llenos de jerga de startup y diagramas de arquitectura que nunca vieron producción.
Antes escuchabas dolor real. Ahora escuchas estrategia de producto. Reddit (y foros técnicos parecidos) se convirtieron en canales de marketing atractivos y gratis para startups en etapa temprana.
La ola actual de hype de IA solo amplificó el problema. Cada subreddit, blog y timeline está inundado de opiniones a medio cocinar sobre IA y tutoriales generados por ChatGPT que se sienten más como spam de SEO que como conocimiento real.
Antes alguien escribía un post titulado «Cómo tiré producción por accidente y sobreviví» y se volvía viral. Ahora son puras listas generadas con Gemini para SEO sobre «9 prácticas esenciales de data governance para pymes en 2025».
Puaj, al diablo con eso. Los LLM ahora hacen que la gente crea que sabe más de lo que realmente sabe.
El cansancio de herramientas es real
Mira — lo entiendo. De verdad lo entiendo.
¿Quieres monetizar tu dolor? Respeto. Construir cosas tiene valor, y convertir tu dolor en una solución técnica que puedas vender es fantástico. Claro que sí, ve a construir tu sueño. Pero hay una línea fina entre compartir tu experiencia y promocionar sin parar tu producto.
Todos sabemos la diferencia. Somos ingenieros, no idiotas.
Ahora mismo, parece que cruzamos esa línea.
Hay más de 500 herramientas distintas de "modern data" ahí afuera. Elegir una es como intentar elegir una marca de pasta de dientes en un supermercado con 84 opciones. Cuando tienes demasiadas opciones, estorba más de lo que ayuda. Se convierte en ruido. Y peor todavía — se convierte en algo performático.
Ahora todo tiene que ser "moderno". Incluso cuando lo único que realmente necesitabas era un cron job nocturno que funcionara en silencio. Pero eso no es lo bastante sexy ni lo bastante "impulsado por IA" como para twittearlo, ¿no?
Los mejores pipelines son de los que nadie habla — porque simplemente funcionan.
The Modern Data Survey, 2024
Quizás lo más punk-rock (¿ya estoy viejo?) que podemos hacer en esta industria ahora mismo... es volver a ser aburridos. Siento que hicimos que las cosas simples parecieran anticuadas.
¿Qué sigue?
Vamos rumbo a un mundo de conocimiento cerrado con llave. Blogs cerrados, clubes privados, y experiencia detrás de paywalls.
El internet masivo ya no es un lugar para compartir conocimiento. Es para entretenimiento. Y eso está bien — pero llamémoslo por su nombre.
En los 90 y los 2000, la gente que estaba en línea eran mayormente los que trabajaban con información. Investigadores, aficionados, ingenieros. Ahora es todo el mundo — y todo el mundo gasta dinero aquí. Lo cual dobla todo el sistema hacia "entretenme, no quiero pensar". La IA solo aceleró este proceso.
Estamos derivando hacia un mundo donde el conocimiento está monopolizado, el entretenimiento está algoritmizado, y la curiosidad se satisface mirando solo una o dos fuentes sin verificar. No para todos — pero sí para las masas. Para la mayoría de la gente, con eso alcanza.
¿Pero para los que todavía construyen cosas? Nunca va a haber una respuesta perfecta. Ninguna herramienta "final". Ningún lenguaje de programación mejor que todos los demás. Solo la misma ingeniería desprolija, rara, hecha con cinta adhesiva que siempre hicimos. Y ese es el punto.
Para cerrar
No estoy en contra de las herramientas. Las buenas herramientas salvan vidas. Pero, honestamente, extraño esas conversaciones genuinas y desprolijas.
Extraño al ingeniero que compartía una captura de un DAG explotando con el pie de foto "bueno, eso es nuevo".
Extraño los hilos de foro que llegaban a los 40 comentarios discutiendo si simplemente deberías usar Airflow en vez de adoptar tu quinto orquestador en tres años.
Extraño que alguien dijera "esto funciona, pero es medio asqueroso — te explico por qué" y después soltara el shell script más maldito que hayas visto... que en realidad funcionaba.
Extraño que me dijeran "no, no estás loco — así se comporta BigQuery a veces".
Así que si todavía estás arreglando jobs de ETL rotos, scripts de bash, optimizando jobs de Spark o todavía peleando contra schema drift, DAGs inestables y alertas de presupuesto que no tienen ningún sentido — solo debes saber esto: no lo estás haciendo mal. No estás desconectado de la realidad. Simplemente eres un ingeniero de verdad. Sin importar lo que leas en internet.
¿Y si estás construyendo herramientas? Genial. Solo recuerda ser humano primero. Sé real.
Cuéntanos historias, no discursos de venta. Quizás incluso pregunta cómo resolvemos nuestros problemas, en vez de asumir que tu solución encaja.