IA QA Engineer
hace 2 semanas
This is a remote position.En Layer7 se está construyendo tecnología de hiperescala e inteligencia artificial confiable con el propósito de impulsar sistemas que impactan a millones de usuarios y a las operaciones críticas de grandes empresas.El equipo formado por más de 100 profesionales entre ingenieros científicos y expertos en QA trabaja en desafíos de alta complejidad técnica desde sistemas distribuidos y resilientes hasta modelos de lenguaje avanzados listos para producción.La cultura de Layer7 combina alto rendimiento innovación y curiosidad técnica fomentando el crecimiento personal y profesional dentro de un entorno colaborativo y equilibrado.Únete a nuestro equipoAprovecha esta oportunidad para desarrollar tus habilidades y crecer profesionalmente en un ambiente dinámico y colaborativo.ResponsibilitiesComo AI QA Engineer tu misión será diseñar ejecutar y documentar pruebas de calidad y seguridad para modelos de lenguaje a gran escala. Trabajarás en conjunto con equipos de ingeniería producto y ciencia de datos asegurando que cada modelo cumpla con estándares rigurosos de precisión coherencia y cumplimiento.Diseñar y ejecutar planes de prueba para evaluar razonamiento factualidad consistencia y robustez de prompts.Identificar y documentar alucinaciones errores lógicos bias y fallas de grounding o jailbreak.Evaluar la fidelidad de la recuperación (RAG) el uso correcto de herramientas y la estabilidad en tareas complejas.Definir y mantener rúbricas de evaluación criterios de aprobación y reportes reproducibles de errores.Colaborar en estrategias de red-teaming y pruebas adversariales para mejorar la seguridad de los modelos.Automatizar flujos de validación y métricas (precisión recall faithfulness toxicidad latencia) usando Python/SQL.Proponer mejoras a prompts sistemas de guardrails y procesos de evaluación continua.Oportunidades de DesarrolloTrabajar con tecnologías de vanguardia en evaluación de LLMs (OpenAI Evals W&B RAG evaluators).Desarrollar frameworks de QA para sistemas generativos de nivel empresarial.Participar en pruebas multilingües y de cumplimiento normativo (compliance & safety).Colaborar con equipos internacionales y contribuir directamente a la confiabilidad de modelos desplegados globalmente.Ambiente de TrabajoFormarás parte de un equipo especializado en evaluación de IA generativa y aseguramiento de calidad con alta autonomía técnica y enfoque ético. Promovemos un entorno donde la comunicación clara el pensamiento crítico y la curiosidad técnica son fundamentales.RequirementsEste rol es ideal para profesionales con experiencia en QA de sistemas de IA evaluación de modelos de lenguaje o pruebas de robustez y seguridad en ML.Licenciatura, maestría o doctorado en Ciencia de Datos Computación Lingüística Computacional o campo afín.Experiencia práctica en QA para sistemas de ML/IA o evaluación de modelos generativos.Conocimiento de técnicas de red-teaming bias/fairness testing grounding verification y adversarial evaluation.Dominio de Python y frameworks de automatización (PyTest, SQL).Experiencia con herramientas de evaluación de LLMs (OpenAI Evals LangChain W&B MLflow).Capacidad para diseñar métricas y reportes de evaluación reproducibles.Comunicación analítica y detallada con habilidad para explicar razonamientos y hallazgos.BenefitsSueldo competitivoPrestaciones de ley y superioresAmbiente de trabajo colaborativo y de aprendizaje #J-18808-Ljbffr
-
Sr QA Engineer
hace 1 semana
Mexico City ITKAWA TECHNOLOGIES LLC A tiempo completoSenior QA Engineer / QA Lead (Freelance) Engagement Type: Freelance / Independent Location: Remote (Mexico) Schedule: Monday to Friday, 9:00 AM – 5:00 PM (EST – USA Timezone) Contract Duration: Long-term engagement with possibility of extensions Role Overview We are seeking a highly experienced Senior QA Engineer / QA Lead (Freelance) to design, execute,...
-
Sr QA Engineer
hace 1 semana
Mexico City ITKAWA TECHNOLOGIES LLC A tiempo completoSenior QA Engineer / QA Lead (Freelance) Engagement Type: Freelance / Independent Location: Remote (Mexico) Schedule: Monday to Friday, 9:00 AM – 5:00 PM (EST – USA Timezone) Contract Duration: Long-term engagement with possibility of extensions Role Overview We are seeking a highly experienced Senior QA Engineer / QA Lead (Freelance) to design, execute,...
-
IA Engineer
hace 1 semana
Mexico City Orion Innovation México A tiempo completoGoNet An Orion Innovation Company, somos una empresa Internacional líder en servicios de tecnología con oficinas en México y Estados Unidos. Proveemos a soluciones de negocios de alto impacto. Debido a nuestro constante crecimiento nos encontramos en búsqueda de talento como: IA Engineer Estarás encargado del diseño, desarrollo e implementación de...
-
IA Engineer
hace 1 semana
Mexico City Orion Innovation México A tiempo completoGoNet An Orion Innovation Company, somos una empresa Internacional líder en servicios de tecnología con oficinas en México y Estados Unidos. Proveemos a soluciones de negocios de alto impacto. Debido a nuestro constante crecimiento nos encontramos en búsqueda de talento como: IA Engineer Estarás encargado del diseño, desarrollo e implementación de...
-
QA Engineer
hace 3 semanas
Mexico City Covestic Inc A tiempo completoSummary The QA Engineer works within an Agile, collaborative development team to ensure product quality and reliability. This role is responsible for validating software before release, confirming it meets requirements, operates efficiently, and aligns with client needs. The position includes reviewing system specifications, creating and executing test...
-
QA Engineer
hace 3 semanas
Mexico City Covestic A tiempo completoSummary The QA Engineer works within an Agile, collaborative development team to ensure product quality and reliability. This role is responsible for validating software before release, confirming it meets requirements, operates efficiently, and aligns with client needs. The position includes reviewing system specifications, creating and executing test...
-
QA Engineer
hace 3 semanas
Mexico City Milestone Technologies, Inc. A tiempo completoJoin to apply for the QA Engineer role at Milestone Technologies, Inc. 2 days ago Be among the first 25 applicants Join to apply for the QA Engineer role at Milestone Technologies, Inc. Company Overview Milestone Technologies is a global IT managed services firm that partners with organizations to scale their technology, infrastructure and services to drive...
-
QA Engineer
hace 3 semanas
Mexico City Milestone Technologies, Inc. A tiempo completoJoin to apply for the QA Engineer role at Milestone Technologies, Inc. 2 days ago Be among the first 25 applicants Join to apply for the QA Engineer role at Milestone Technologies, Inc. Company Overview Milestone Technologies is a global IT managed services firm that partners with organizations to scale their technology, infrastructure and services to drive...
-
QA Engineer
hace 1 semana
Mexico City - Paseo Marsh McLennan A tiempo completoCompany:Marsh McLennan AgencyDescription:QA EngineerWe are seeking a QA Engineer to join our team at MMA. This role will be based in Mexico City. This is a hybrid role that has a requirement of working at least three days a week in the office. As a QA Engineer at MMA, you will ensure that testing processes are effectively implemented and adhered to...
-
Remote Bilingual Senior QA Engineer
hace 2 semanas
Mexico City Convergys A tiempo completoA leading technology and services provider seeks a Senior Quality Assurance Engineer - Bilingual to define and maintain a comprehensive QA strategy while executing detailed manual test cases. The ideal candidate has over 5 years of hands-on QA experience, particularly in mobile app testing, and strong problem-solving skills. This position offers remote work...
