Resumen del Puesto
Diseñar, implementar y mantener soluciones de datos inteligentes de extremo a extremo. Colaborar con equipos multifuncionales para mejorar la calidad, fiabilidad y escalabilidad de nuestras plataformas de datos en la nube.
Responsabilidades Principales:
* Diseñar e implementar soluciones de datos de extremo a extremo, asegurando la calidad, fiabilidad y escalabilidad de los datos.
* Optimizar plataformas de datos basadas en la nube (AWS), aprovechando las últimas características y servicios para mejorar el rendimiento y la eficiencia.
* Colaborar con equipos y partes interesadas para definir los requisitos de datos y desarrollar soluciones innovadoras basadas en datos.
* Gestionar el backlog del equipo y definir los siguientes pasos de desarrollo para optimizar los flujos de trabajo.
* Utilizar Docker y Jenkins para el despliegue de infraestructura y la automatización de procesos.
* Mejorar la escalabilidad, fiabilidad y rendimiento del código utilizando las mejores prácticas del sector.
* Liderar el diseño y la implementación de soluciones de integración de datos, como el replicador de sistemas heredados y la creación de APIs internas para mejorar la operativa.
Proyectos Actuales:
* Biblioteca Python centralizada con herramientas y funciones mejoradas utilizadas en todos los equipos.
* APIs en Python Flask para mejorar el rendimiento de los planes de mantenimiento de aviones.
* API de Web Scraping en Python para realizar búsquedas eficientes en mercados según listas de productos.
* Replicador de datos de sistemas heredados para optimizar la carga de datos y acelerar la ingesta en nuestro Data Lake.
Requisitos:
* Experiencia de al menos 5 años como Data Engineer, con un enfoque en el diseño, implementación y optimización de soluciones de datos.
* Dominio de AWS y sus servicios (EMR, ECS, S3, RDS, Redshift, Glue, etc.).
* Experiencia con Big Data y Apache Spark (PySpark) para procesamiento masivo de datos.
* Experiencia en desarrollo con Python (Pandas, Flask, Boto3, SQLAlchemy) y SQL.
* Conocimientos avanzados de ETL/ELT, data modeling, data integration, y data warehousing.
* Familiaridad con Apache Airflow, Jenkins, Docker y Kubernetes para la gestión de pipelines y flujos de trabajo.
* Métodologías ágiles (Scrum) y trabajo colaborativo en equipos multidisciplinarios.
* Inglés avanzado tanto hablado como escrito.
Beneficios:
* Tecnologías de vanguardia.
* Metodologías ágiles.
* Horaeres flexibles.
* Presupuesto de formación de 1200€ anuales.
* Seguro médico privado.
* Programa de compensación flexible.
* Wellhub (Gympass).
* Comunidades tecnológicas.
* Muchos eventos increíbles.
Adscripción a Políticas de Seguridad:
El empleado se adherirá a las políticas de seguridad de la información y tendrá acceso a información confidencial relacionada con Capitole y el proyecto en el que está trabajando.