Como Data Engineer Senior, serás responsable de diseñar, implementar y mantener soluciones de datos inteligentes de extremo a extremo. Colaborarás estrechamente con equipos multifuncionales para mejorar la calidad, fiabilidad y escalabilidad de nuestras plataformas de datos en la nube. Entre tus principales responsabilidades, se incluyen:
* Diseñar e implementar soluciones de datos de extremo a extremo, asegurando la calidad, fiabilidad y escalabilidad de los datos.
* Optimizar plataformas de datos basadas en la nube (AWS), aprovechando las últimas características y servicios para mejorar el rendimiento y la eficiencia.
* Colaborar con equipos y partes interesadas para definir los requisitos de datos y desarrollar soluciones innovadoras basadas en datos.
* Gestionar el backlog del equipo y definir los siguientes pasos de desarrollo para optimizar los flujos de trabajo.
* Utilizar Docker y Jenkins para el despliegue de infraestructura y la automatización de procesos.
* Mejorar la escalabilidad, fiabilidad y rendimiento del código utilizando las mejores prácticas del sector.
* Liderar el diseño y la implementación de soluciones de integración de datos, como el replicador de sistemas heredados y la creación de APIs internas para mejorar la operativa.
Proyectos principales que desarrollamos:
* Biblioteca Python centralizada con herramientas y funciones mejoradas utilizadas en todos los equipos.
* APIs en Python Flask para mejorar el rendimiento de los planes de mantenimiento de aviones.
* API de Web Scraping en Python para realizar búsquedas eficientes en mercados según listas de productos.
* Replicador de datos de sistemas heredados para optimizar la carga de datos y acelerar la ingesta en nuestro Data Lake.
Requisitos:
* Experiencia de al menos 5 años como Data Engineer, con un enfoque en el diseño, implementación y optimización de soluciones de datos.
* Dominio de AWS y sus servicios (EMR, ECS, S3, RDS, Redshift, Glue, etc.).
* Experiencia con Big Data y Apache Spark (PySpark) para procesamiento masivo de datos.
* Experiencia en desarrollo con Python (Pandas, Flask, Boto3, SQLAlchemy) y SQL.
* Conocimientos avanzados de ETL/ELT, data modeling, data integration, y data warehousing.
* Familiaridad con Apache Airflow, Jenkins, Docker y Kubernetes para la gestión de pipelines y flujos de trabajo.
* Metodologías ágiles (Scrum) y trabajo colaborativo en equipos multidisciplinarios.
* Inglés avanzado tanto hablado como escrito.
Valoramos positivamente:
* Conocimientos de Azure DevOps y Git.
* Experiencia trabajando en entornos de data lakes y con grandes volúmenes de datos.
* Capacidad de liderazgo y orientación a la mejora continua en soluciones de datos.
* ¿Qué te ofrecemos?
Si te apasiona la ingeniería de datos y estás listo para enfrentar desafíos en un entorno tecnológico avanzado, ¡esperamos conocerte!
Somos geniales, pero contigo seremos aún mejores.
Para esto tendrás:
* 👨💻 Proyectos interesantes. Tecnologías de vanguardia. Metodologías ágiles.
* 😁 Felicidad y baja tasa de rotación.
* 🎓 Presupuesto de formación de 1200€ anuales.
* ⌚ Horarios de trabajo flexibles.
* 🌏 Más de 900 profesionales cualificados, de más de 27 nacionalidades.
* 🎯 Rutas profesionales a medida.
* 📆 Seguimientos mensuales. Evaluación continua 360º.
* 🩺 Seguro médico privado.
* 💰 Programa de compensación flexible.
* 🦾 Wellhub (Gympass).
* 📢 Comunidades tecnológicas.
* 🥳 Muchos eventos increíbles.
¿Aún no nos conoces? ¡Descúbrenos! https://capitole-consulting.com/
Mira lo que piensan de nosotros 👀 https://www.glassdoor.es/Opiniones/Capitole-Consulting-Opiniones-E2060890.html
El empleado se adherirá a las políticas de seguridad de la información:
* Tendrá acceso a información confidencial relacionada con Capitole y el proyecto en el que está trabajando.
* Deberá cumplir con las políticas de seguridad y las pautas internas de la empresa y del cliente.
* Se le requerirá firmar un NDA.