Desarrollador de Data Lake (AWS -SQL-Python- Tableau)
Sobre el Rol
Desde Common MS, estamos apoyando a uno de los mayores bancos con un nuevo proyecto greenfield, Origin, para desarrollar una solución interna de data lake. Esta plataforma apoyará servicios de BI, herramientas de ciencia de datos y otras iniciativas dentro de SCIB. Ingerirá datos de mercado en tiempo casi real desde múltiples fuentes y los almacenará en la nube de AWS .
Buscamos un Desarrollador Senior con experiencia en ingestión de big data, procesos ETL y manejo de grandes volúmenes de datos. Este rol será clave para desarrollar y mantener ETLs de alta calidad, asegurando escalabilidad, rendimiento y eficiencia en el procesamiento de datos.
Responsabilidades
* Desarrollar y mantener pipelines ETL para la ingestión de datos estructurados y no estructurados en lotes y tiempo casi real .
* Optimizar el almacenamiento y procesamiento de datos utilizando Parquet, servicios de AWS (Athena, EMR, QuickSight) y herramientas externas (Tableau, Apache Spark, Presto, etc.) .
* Diseñar y gestionar un catálogo centralizado de metadatos para garantizar la consistencia y accesibilidad de los datos.
* Colaborar con ingenieros de datos, científicos de datos y partes interesadas del negocio para comprender los requisitos y entregar soluciones de alta calidad.
* Garantizar la calidad, integridad y seguridad de los datos en la plataforma.
* Optimizar continuamente el rendimiento y reducir costos mediante buenas prácticas en computación en la nube y arquitectura de datos .
* Trabajar en un equipo ágil, asegurando iteraciones rápidas y adaptación a las necesidades del negocio.
Requisitos
* Experiencia sólida en SQL, Python
* Experiencia demostrada en tecnologías de big data y desarrollo de ETL .
* Conocimientos prácticos de servicios de AWS (S3, Athena, Glue, EMR, Lambda, etc.).
* Dominio de frameworks de procesamiento de datos (Apache Spark, Presto, Tableau, etc.).
* Conocimiento de formatos de datos Parquet, gestión de metadatos y particionamiento de datos .
* Familiaridad con pipelines CI/CD y sistemas de control de versiones como Git .
* Capacidad para trabajar en entornos dinámicos y colaborar con equipos multifuncionales.
Requisitos Deseados
* Experiencia en el sector financiero, especialmente en trading electrónico y flujos de precios .
* Conocimiento de mercados de renta fija y procesamiento de datos de mercado.
* Habilidades analíticas y de resolución de problemas con un enfoque en escalabilidad y rendimiento .
Lo que Ofrecemos
* La oportunidad de construir una plataforma de datos innovadora con alta visibilidad dentro del banco.
* Trabajo con tecnologías de vanguardia en la nube y big data .
* Ambiente colaborativo y ágil en un banco de inversión global.
* Salario competitivo y oportunidades de desarrollo profesional .
¡Únete a nosotros y forma parte del futuro de la toma de decisiones basada en datos en la banca de inversión !