Sr Data Engineer Databricks y Python

hace 3 semanas

Ciudad de México Multiplica Talent A tiempo completo

**Responsabilidades**:

- Diseñar, desarrollar y mantener pipelines de datos eficientes y escalables en Databricks.
- Utilizar Python y otras herramientas asociadas para realizar procesamiento y análisis de grandes volúmenes de datos.
- Integrar, transformar y cargar datos (ETL) desde diversas fuentes hacia plataformas de almacenamiento (Data Lakes, Data Warehouses).
- Colaborar con científicos de datos, analistas de negocio y otros equipos técnicos para entender los requisitos de los proyectos de datos y proporcionar soluciones adecuadas.
- Optimizar el rendimiento de los pipelines de datos y garantizar la calidad y consistencia de los datos procesados.
- Participar en el diseño y mantenimiento de la infraestructura de datos en la nube, utilizando plataformas como AWS, Azure o Google Cloud.
- Implementar pruebas de validación de datos, realizar análisis de calidad de datos y asegurar la integridad de las bases de datos.
- Documentar procesos, arquitecturas y procedimientos de integración de datos.
- Mantenerse actualizado con las mejores prácticas y las nuevas herramientas relacionadas con ingeniería de datos, incluyendo avances en Databricks y Python.

**Requirements**:

- Experiência sólida en Databricks, especialmente en la creación de workflows y pipelines de datos.
- Amplia experiência en Python para el procesamiento de datos, incluyendo bibliotecas como pandas, numpy, pySpark, entre otras.
- Conocimientos sólidos en arquitectura de datos y almacenamiento de datos (Data Lakes, Data Warehouses).
- Experiência trabajando con Apache Spark o tecnologías similares.
- Familiaridad con la implementación de soluciones ETL (Extract, Transform, Load) en ambientes de producción.
- Conocimientos de bases de datos SQL y NoSQL.
- Buen nível de inglés (oral y escrito), con capacidad para trabajar en un entorno internacional y comunicarte de manera efectiva con equipos globales.
- Conocimiento en la nube (AWS, Azure, Google Cloud) es altamente deseable.
- Habilidad para solucionar problemas complejos relacionados con el procesamiento de datos y la optimización del rendimiento.
- Experiência trabajando con herramientas de control de versiones (como Git).
- Capacidad para trabajar de manera autónoma y en equipo en proyectos colaborativos.

**Deseables**:

- Conocimiento en herramientas de orquestación de workflows como Airflow o Luigi.
- Experiência con tecnologías de contenedores como Docker.
- Familiaridad con metodologías ágiles de desarrollo de software (Scrum, Kanban).
- Experiência previa en la creación de modelos de Machine Learning o en la integración de datos para proyectos de AI.

**Benefits**:

- 100 % remoto desde cualquier país de Latinoamérica.
- Pagos en dólares (USD)
- Acceso exclusivo a un 60% de descuento en cursos de inglés, francés, alemán, portugués e italiano gracias a nuestra colaboración con una reconocida plataforma de aprendizaje.
- Descuentos especiales en planes de medicina, psicología, nutrición y entrenamiento físico.
- Soporte personalizado de un Account Manager durante todo el proyecto.
- Al completar tu primer proyecto, obtendrás acceso a nuestra comunidad de freelancers y una lista de proyectos exclusivos en más de 5 países, incluyendo EE.UU.
- Proyecto retador con empresa de tecnologia importante.

**Sobre el contrato**:

- Contractor/ freelance.
- El cliente tiene un proyecto corto (2 meses) con potencialidad de extender a 6 merses y otro que es mínimo 12 meses (1 año)

  • Sr. Data Warehouse Engineer

    hace 1 semana

    Ciudad de México Trinity Industries A tiempo completo

    **Trinity Industries Corporate IT **is seeking a **Sr Data Warehouse Engineer **in our **Queretaro, MX** office. This role will be part of the Enterprise Data Warehouse team. **What you'll do**: - Design and Implement ETL pipelines - Develop and manage dashboards - Work with business stake holders to understand the business requirements and translate them...

  • Cloud-databricks - Big Data

    hace 7 meses

    México Valce A tiempo completo

    We are seeking a talented Databricks Developer to join our team and contribute to the design, development, and implementation of Databricks solutions. As a Databricks Developer, you will play a crucial role in building and optimizing data pipelines, creating scalable data models, and enabling advanced analytics and machine learning capabilities using...

  • Databricks Solutions Engineer

    hace 2 meses

    Ciudad de México, Ciudad de México Valce A tiempo completo

    We are seeking a skilled Databricks Solutions Engineer to contribute to the design, development, and implementation of data-driven solutions using cutting-edge technology.**Job Overview**

  • Sr Data Engineer with Databricks

    hace 7 días

    Ciudad de México Globant A tiempo completo

    We are a digitally native company that helps organizations reinvent themselves and unleash their potential. Our innovative approach combines design, engineering, and scale to create cutting-edge solutions for our clients. Right now, we are looking for **Data Engineers with Databricks**to join our team at Globant! **You will get the chance to**: - Design...

  • Azure Data Engineer

    hace 7 meses

    México Talent Accelerator A tiempo completo

    Una compañía mexicana líder en Software as a Service y Estudios de Mercado está buscando a un Azure Data Engineer. Tu responsabilidad principal será el desarrollo de pipelines para la extracción, transformación y carga de datos **(ETL)** en la nube mediante **Azure.** Esto implica utilizar herramientas como: - Azure SQL Server - Azure Blob Storage -...

  • Databricks Data Engineer

    hace 6 meses

    México Derevo A tiempo completo

    **Databricks Data Engineer** **Summary**: The desired profile should have at least 5 years hands-on experience in designing, establishing, and maintaining data management and storing systems. Skilled in collecting, processing, cleaning, and deploying large datasets, understanding ER data models, and integrating with multiple data sources. Efficient in...

  • Databricks Data Engineer

    hace 7 meses

    México Derevo A tiempo completo

    About Us: At Derevo, we are dedicated to empowering businesses and individuals to unleash the value of data within organizations. We achieve this by implementing analytics processes and platforms with a comprehensive approach covering the entire cycle necessary to achieve it. Derevo started in 2010 with a simple idea - to create more than a company, but a...

  • Data Engineer

    hace 7 meses

    Ciudad de México Hashmap A tiempo completo

    **Req ID**:247158 We are currently seeking a Data Engineer to join our team in CDMX, Ciudad de México (MX-CMX), Mexico (MX). Description: - Design, develop, test, deploy, support, enhance data integration solutions seamlessly to connect and integrate ThermoFisher enterprise systems in our Enterprise Data Platform. - Innovate for data integration in...

  • Senior Python Data Engineer

    hace 7 meses

    México Reveille technologies A tiempo completo

    **Title :Senior Python Data Engineer (10+ years of exp is required)** **Location: Mexico (Remote)** **Duration: Long Term** **Note: Don’t Submit AWS Data Engineer** **Responsibilities**: - 10+ Years in engineering solutions using PySpark and Python - String SQL AND framework development experience. - Experienced in working in a Cloud environment -...

  • Sr. Data Engineer

    hace 4 meses

    Ciudad de México, CDMX Encora A tiempo completo

    **Important Information**: - **Years of Experience**: Minimum of 5 years - **Job Mode**: Full-Time - **Work Mode**: Remote/Hybrid **Job Summary**: Encora is seeking a Sr. Data Engineer to design and implement data features utilized by hotels globally. This role will play a pivotal part in supporting and evolving our cloud-based (AWS) decision support...

  • Sr Data Engineer with Talend

    hace 2 meses

    Ciudad de México, CDMX Globant A tiempo completo

    We are a digitally native company that helps organizations reinvent themselves and unleash their potential. Our innovative approach combines design, engineering, and scale to create cutting-edge solutions for our clients. Right now, we are looking for **Data Engineers with Databricks** to join our team at Globant! **_You will get the chance to:_** - Work...

  • Data Engineer

    hace 5 días

    Ciudad de México NTT DATA A tiempo completo

    **Req ID**: 217549 We are currently seeking a Data Engineer to join our team in Ciudad de México, México (MX-MEX), Mexico (MX). - Analyze and understand data sources & APIs - Design and Develop methods to connect & collect data from different data sources - Design and Develop methods to filter/cleanse the data - Design and Develop SQL, Hive queries, APIs...

  • Data Engineer

    hace 3 meses

    Ciudad de México, CDMX NTT DATA A tiempo completo

    NTT Data Company, somos todas las personas que la formamos. Un equipo de más de 139.000 profesionales, tan diverso cómo diversos son los 50 países en los que estamos presentes y los diferentes sectores en los que desarrollamos nuestra actividad; telecomunicaciones, entidades financieras, industria, utilities, energía, administración pública y...

  • Data Engineer

    hace 20 horas

    Ciudad de México Everest Technologies A tiempo completo

    **Description**: The primary responsibility of Senior Data Management Engineer is to build data pipelines, model and prepare data, perform complex data analysis to answer Business questions, build and automate data pipeline and quality framework to enable and promote self-service data pipelines, assist in operationalizing the AI / ML Engineering solutions....

  • Data Engineer

    hace 6 días

    Ciudad de México NTT Data Services A tiempo completo

    **Req ID**: 218394 We are currently seeking a Data Engineer - Azure to join our team in CDMX, Ciudad de México (MX-CMX), Mexico (MX). **Must have Skills**: - _4+ Years of overall experience in building data pipelines and ETL using following Technologies Microsoft Azure Cloud Platform, Azure SQL. _ - _SQL knowledge and experience_ **Good to have skills...

  • Data Engineer

    hace 7 meses

    Ciudad de México Montserrat Flores A tiempo completo

    Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información Solicita: Data Engineer Para laborar en Ciudad de México o Querétaro o Guadalajara o Monterrey **Perfil**: Escolaridad: Ingeniería en Sistemas, Informática o afín. Experiência: Mínima de 3 años. Inglés: Inglés conversacional fluido...

  • Data Engineer

    hace 3 meses

    México, Zac. Valce Talent Solutions A tiempo completo

    Hola! Estamos en búsqueda de un **ingeniero de datos** con al menos **2+ **años de experiência y conocimiento en: - 1+ exp Google Cloud Plataform (**GCP**) - Desarrollar pipelines de integración de datos usando Spark/Dataproc y Apache Beam/Data Flow en Google Cloud para cargar repositorios en Big Query y SQL Servery automatizarlos con DAGs en Composer -...

  • Desarrolladores Python Semi Sr y Sr, Distrito

    hace 5 días

    Ciudad de México ETH Colombia A tiempo completo

    Desarrolladores Python Semi Sr y Sr en Distrito Federal. Busco desarrolladores Python Jr (entre 2 y 4 años de experiência) y semi Sr (Min. 4 años de experiência) para trabajar en ciudad de México (Remoto con reuniones esporádicas en oficina). Preferible experiência en Banca o seguros. Tiempo completo. Experiência en frameworks como Django...

  • Senior Data Engineer

    hace 5 días

    Ciudad de México NTT DATA A tiempo completo

    **Req ID**: 217604 We are currently seeking a Senior Data Engineer to join our team in Ciudad de México, México (MX-MEX), Mexico (MX). 5+ years of experience with Hadoop (Cloudera) or Cloud Technologies Expert level building pipelines using Apache Beam or Spark Familiarity with core provider services from AWS, Azure or GCP, preferably having supported...

  • Senior Data Engineer

    hace 2 días

    Ciudad de México The Coca-Cola Company A tiempo completo

    Position Overview**: Responsibilities for Senior Data Engineer Required Qualifications Desired Qualifications- Build the infrastructure required for optimal extraction, transformation, and loading of data from various data sources (structured and unstructured) using the Azure stack. - Design and implement data solutions on Azure modern data platform...