QA Engineer

Overview En Creai, nos especializamos en aprovechar el poder de la inteligencia artificial y el aprendizaje automático para transformar negocios. Nuestra misión es ayudar a los clientes a reducir costos, aumentar la eficiencia y desbloquear nuevas oportunidades mediante soluciones de IA de vanguardia. Descripción del Puesto Como QA Engineer, serás el guardián de la calidad en nuestro producto SaaS, responsable de asegurar la excelencia tanto en nuestro AI Virtual Agent como en la plataforma Admin Backoffice. En este rol estratégico, desarrollarás y ejecutarás estrategias de testing comprehensivas que abarcan desde testing tradicional de aplicaciones web hasta metodologías especializadas para validación de comportamientos de IA y calidad de respuestas de modelos de lenguaje. Trabajarás de manera colaborativa con ambos Tech Area Leaders y sus equipos, diseñando frameworks de testing automatizados, implementando pipelines de calidad continua, y estableciendo los estándares de quality assurance que permitan a nuestra organización escalar con confianza. Tu expertise será fundamental para mantener la confiabilidad, seguridad y experiencia de usuario excepcional en productos que combinan tecnologías tradicionales con IA de vanguardia. Responsabilidades Este Puesto Exige: Testing de Aplicaciones Tradicionales: Desarrollar y ejecutar planes de testing comprehensivos para dashboards, reportes, sistemas de facturación, herramientas de administración y flujos de integración empresarial, asegurando funcionalidad correcta y experiencia de usuario óptima. Testing de Integración: Validar integraciones complejas con APIs de terceros, webhooks, sincronización de datos, y sistemas externos, incluyendo testing de failover, manejo de errores, y escenarios de recuperación. Testing de Performance: Ejecutar pruebas de carga, estrés y performance para aplicaciones web, incluyendo testing de escalabilidad, tiempo de respuesta, y optimización de recursos bajo diferentes condiciones de uso. Testing de Seguridad: Colaborar con el equipo de DevOps/Cybersecurity para ejecutar pruebas de seguridad de aplicaciones web, incluyendo testing de autenticación, autorización, manejo de datos sensibles, y vulnerabilidades comunes. Testing Especializado para IA: Validación de Comportamiento de IA, incluyendo metodologías de testing para agentes conversacionales, coherencia de respuestas, adherencia a la personalidad del agente, manejo de contexto y capacidades de seguimiento de instrucciones. Testing de Prompts y Responses: Crear suites de testing para prompt engineering, incluyendo validación de calidad de respuestas, consistencia en diferentes contextos, manejo de edge cases, y testing de guardrails de seguridad en LLMs. Testing de RAG y Knowledge Systems: Validar sistemas de recuperación de información, incluyendo relevancia de resultados, exactitud de búsqueda semántica y calidad de respuestas augmentadas con conocimiento externo. AI Safety Testing: Ejecutar pruebas específicas para detectar comportamientos no deseados en IA, incluyendo bias testing, jailbreaking attempts, prompt injection resistance y validación de content filtering. Evaluation Automation: Implementar frameworks de evaluación automatizada para LLMs, incluyendo métricas de calidad, scoring de consistencia y monitoreo continuo de performance del agente virtual. Automatización y Frameworks de Testing: Test Automation con frameworks modernos (Cypress, Playwright, Selenium), testing de UI, API testing, e integración end-to-end. CI/CD Integration: Integrar testing automatizado en pipelines de CI/CD, incluyendo testing de regresión, smoke tests, y quality gates que bloqueen deployments con issues críticos. Testing Infrastructure: Diseñar infraestructura de testing, entornos de prueba, gestión de datos y herramientas que soporten tanto aplicaciones tradicionales como sistemas de IA. Reporting y Métricas: Implementar sistemas de reporte de calidad, tracking de métricas de testing y dashboards para visibilidad del health del producto a stakeholders técnicos y de negocio. Colaboración y Liderazgo de Calidad: Cross-Team Collaboration para establecer estrategias de testing, participar en planning sessions y proporcionar feedback sobre quality risks. Quality Advocacy: Promover prácticas de calidad y educar a developers sobre testing best practices y cultura de quality-first development. Bug Lifecycle Management: Gestionar el ciclo completo de defects (identificación, reproducción, documentación y verificación de fixes). Testing Strategy: Definir y evolucionar la estrategia global de testing para productos SaaS con componentes de IA. Requisitos Indispensables Experiencia en QA/Testing: Mínimo 3 años de experiencia en roles de QA Engineer, Test Engineer, o similar, con historial demostrado de testing de aplicaciones web o productos SaaS en producción. Automatización de Testing: Experiencia con frameworks de test automation (Cypress, Playwright, Selenium) e integración con CI/CD. Testing de APIs: Conocimiento sólido de API testing con herramientas como Postman, Rest Assured u otros, incluyendo REST y GraphQL. Metodologías de Testing: Conocimiento de testing funcional, de integración, rendimiento y seguridad, con diseño de casos y enfoque basado en riesgos. Herramientas de Testing: Experiencia con herramientas de gestión de testing (JIRA, TestRail) para tracking y reporting. Testing de Aplicaciones Web: Experiencia en pruebas de apps web modernas, diseño adaptable y validación de experiencia de usuario. Scripting y Programación: Habilidades en Python, JavaScript u otros lenguajes para automatización y desarrollo de herramientas de QA. Colaboración Cross-Funcional: Trabajo estrecho con desarrollo, gestión de producto y stakeholders técnicos. Comunicación en Español e Inglés: Capacidad para comunicarse eficazmente en ambos idiomas, especialmente para documentación y reporte de issues. Requisitos Deseables Testing de Sistemas de IA: Interés o experiencia en testing de IA, chatbots o productos con ML. Performance Testing: Conocimiento de herramientas como JMeter, LoadRunner o k6 y análisis de cuellos de botella. Security Testing: Prácticas de seguridad, escaneo de vulnerabilidades y pruebas de controles de seguridad de apps. Test Data Management: Estrategias de gestión de datos de prueba, enmascaramiento y generación de datos sintéticos. Agile/DevOps Practices: Experiencia en entornos Agile/Scrum y DevOps. Certificaciones de Testing: ISTQB, CSTE u otras certificaciones relevantes. Beneficios Trabajo 100% remoto con horario alineado a CST. PTO ilimitado y presupuesto anual para desarrollo. Presupuesto para equipamiento y bonos semestrales por desempeño. Beneficio de salud y oportunidades de crecimiento en IA y tecnología. Ambiente de startup dinámico, enfoque en resultados y balance vida-trabajo. Te invitamos a postularte Incluso si no cumples con todos los requisitos, valoramos experiencias y perspectivas diversas. Si te apasiona el reclutamiento y quieres crecer en una empresa enfocada en datos e IA, nos encantaría conocerte Ecatepec de Morelos, México. Ingeniero/a de Soporte y Mantenimiento Jr. (Java/Python) #J-18808-Ljbffr