Validación de Modelos LLM: Metodologías y Mejores Prácticas
Presencial (Aula Virtual en directo) - 44 h
Grado de dificultad: Intermedio-Avanzado
Consulta los Requisitos para realizar el curso
Fechas:
Días 4, 5, 6, 11, 12, 13, 18, 19, 20, 25, 26, 27 y 28 de marzo de 2025.
Horario:
De 17:00 h a 20:30 h. El 28 de marzo horario de 17:00 a 19:00 h.
Aula virtual
Personal 100% especializado.
Asesoramiento
Apoyo y asesoramiento continuo.
Diploma
Certificado de aprovechamiento.
Objetivos del curso
El curso adopta un enfoque práctico y teórico, con sesiones de discusión de conceptos de validación de modelos seguidas de prácticas guiadas. Los participantes realizarán evaluaciones con ejemplos reales de LLM, profundizando en la interpretación de métricas. Habrá un espacio de consultas y resolución de dudas en tiempo real con el tutor.
Más en desglose sería:
- Comprender la importancia de la validación en modelos LLM para asegurar precisión, coherencia y fiabilidad.
- Aprender a diseñar pruebas de validación y evaluación de rendimiento en modelos LLM.
- Conocer los diferentes métodos de evaluación cuantitativa y cualitativa de modelos de lenguaje.
- Familiarizarse con herramientas y métricas de validación como Perplexity, BLEU, ROUGE, y métricas personalizadas para LLM.
Nivel de conocimientos y requisitos
Conocimientos previos: Comprensión básica de modelos de lenguaje, Python y Machine Learning. Experiencia en el uso de bibliotecas de NLP.
Requisitos técnicos: : Computadora con acceso a internet, entorno de desarrollo en Python configurado (Jupyter Notebook o Google Colab recomendado).
Metodología
La metodología a seguir va a ser mediante el uso de aula virtual esta metodología se basa en el uso de plataformas digitales que permiten la realización de clases en tiempo real, facilitando la interacción entre estudiantes y profesores de manera similar a una clase presencial.
Perfil de docente y/o empresa proveedora
Empresa proveedora: POSSIBLE INCORPORATED
Possible Incorporated SL es una empresa tecnológica especializada en soluciones integrales de inteligencia artificial y análisis de datos, proporcionando herramientas que optimizan procesos y facilitan la toma de decisiones estratégicas. Con un enfoque multidisciplinario, Possible abarca un amplio espectro del conocimiento artificial, posicionándose como un referente en la implantación de IA Generativa en procesos de negocio.
Capacidades Tecnológicas:
1. Conocimiento Artificial y IA Avanzada
2. Arquitectura y Gestión de Datos
3. Analítica Predictiva y Modelado Avanzado
4. Implementación de Modelos de Lenguaje (LLM)
5. Visión por Computadora
Docentes:
Javier Martínez Torres
Cursó Matemáticas en la USC y el Doctorado en la UVIGO. Cuenta con más de 10 años de experiencia como analista de datos, ML Engineer y cargos de gestión en el ámbito de la Ciencia de Datos. Es profesor Titular de la UVIGO (excedencia) y de la UNED (excedencia). Es autor de más de 70 artículos JCR y participó en diversos congresos internacionales. Actualmente es CEO y socio de Possible, anteriormente Director de IA en NTT DATA.
Iago Ocarranza Prado
Estudió Ingeniería de Telecomunicaciones (Telemática) en la UVigo y actualmente está en fase de doctorado, por la misma universidad, sobre procesos ML con entrada y salida funcional. Cuenta con más de 10 años de experiencia como programador python en diferentes ámbitos como software, data engineering, data scientist, data analytics, etc. Participó en múltiples proyectos para grandes multinacionales y organizaciones públicas. Actualmente está trabajando en diseño de arquitectura de soluciones en plataformas de datos. Es el CTO de Possible.
¿Qué vas a aprender?
- Introducción a la Validación de Modelos LLM
- Importancia de la validación en modelos de lenguaje.
- Problemas comunes en LLM y cómo detectarlos.
- Métricas de Evaluación Cuantitativa
- Perplexity, BLEU, ROUGE.
- Limitaciones de las métricas estándar y ajustes necesarios para LLM.
- Evaluación Cualitativa de LLM
- Pruebas humanas y evaluación de coherencia semántica.
- Métodos de validación a través de feedback de usuarios.
- Desempeño y Eficiencia del Modelo
- Análisis de tiempo de respuesta y recursos computacionales.
- Ajuste del modelo para mejorar la eficiencia en LLM.
- Documentación y Reportes de Resultados
- Cómo documentar los resultados de evaluación de manera efectiva.
- Preparación de reportes de rendimiento para stakeholders.
Resumen de características del curso
- Recomendable tener certificado digital para acceder https://campusvirtualemprego.xunta.gal/.
- Acceso las 24 horas a los contenidos que el docente suba a https://campusvirtualemprego.xunta.gal/ durante el período del curso.
- Clases martes, miércoles y jueves de 17:00 a 20:30.
- Nivel: Intermedio-Avanzado.
- Curso 100% en castellano.
- Acceso directo al tutor para resolver todas tus dudas.
- Diploma emitido por la Consellería de Emprego, Comercio e Emigración después de revisar que el alumno ha cumplido con los requisitos exigidos para superar el curso con la cualificación de APTO. El Clúster TIC Galicia no es responsable de la fecha de emisión de dicho diploma.
Solicita tu plaza!
Preguntas frecuentes FAQs
- +- ¿Puedo realizar estos cursos?
Si eres una persona activa en Galicia, puedes matricularte en estos cursos. Que se entiende por persona activa:
- Desempleado/a registrado/a en el servicio público de empleo en Galicia.
- Autónomo/a en Galicia.
- Trabajador/a por cuenta ajena de empresa no gallega pero adscrito a un centro de trabajo en Galicia.
- Trabajador/a por cuenta ajena de empresa gallega, trabaje o no en Galicia.
Los funcionarios o personal laboral público solo podrán participar en cursos de formación transversal.
- +- ¿Son gratuitos?
Esta formación es gratuita, fruto de un convenio firmado entre la Consellería de Promoción do Emprego e Igualdade y el Clúster TIC Galicia, enmarcada dentro del Plan de Recuperación, Transformación y Resiliencia. Está 100% financiada por el Ministerio de Educación, Formación Profesional y Deportes - U.E. – Next Generation y la Xunta de Galicia.
Estos cursos no son subvencionados por la Fundación Tripartita (FUNDAE).
- +- ¿Qué tengo que hacer para participar?
En primer lugar, tienes que solicitar plaza en los cursos publicados a través de formulario habilitado en esta página. No hay un límite de solicitudes de cursos. Posteriormente el Clúster TIC asignará plazas y si hay plaza en los cursos solicitados contactaremos contigo para formalizar la matrícula. En el caso de que solicitaras varios cursos y que estos sean incompatibles en horarios, podrás escoger en cual/es te quieres matricular finalmente.
- +- ¿Qué documentación es necesaria para matricularse?
Es necesario aportar al Cluster TIC la documentación requerida para la formalización de la matrícula antes del inicio del curso.
- Documento de formalización de inscripción firmado que le enviará el Cluster TIC.
- Documento que acredite que es una persona activa en Galicia o vinculada a una empresa con sede en Galicia. Los documentos válidos son, cabecera de la nómina o recibo de autónomos del mes anterior al inicio del curso, o DARDE de la oficina de desempleo.
- +- ¿Qué criterios se utilizan para seleccionar a los alumnos?
El Clúster TIC contactará con todas las personas que solicitaron plaza para un curso, salvo que la demanda fuese muy alta, en dicho caso se dará prioridad a las solicitudes por orden de entrada, y se solicitará la documentación necesaria para la matriculación. El criterio de selección será por orden de entrada de toda la documentación requerida. Si 3-5 días antes de comienzo del curso no se recibe una notificación indicando que fue seleccionado se entiende que NO está matriculado. En el caso de que no tenga plaza se avisará y tendrá en cuenta su matrícula para futuras ediciones de ese mismo curso, si se hace.
- +- ¿Cuántos cursos se pueden hacer?
Puedes realizar todos los cursos que quieras, con la limitación de tu tiempo disponible para tener un aprendizaje efectivo.
Si los cursos son presenciales mediante videoconferencia no deben solaparse en los horarios, tienes que poder realizar el 100% de las horas de cada curso.
- +- ¿En qué idioma se imparten los cursos?
Los cursos son en castellano. Si algún curso se impartiera en otro idioma estaría expresamente detallado en la ficha informativa del curso.
- +- ¿Puedo hacer un curso si estoy en el extranjero?
Por motivos de seguridad puede haber problemas de conexión desde el extranjero. Si el curso es de teleformación, lo normal es que las plataformas de los proveedores no den problemas, y se pueda hacer. En el caso de la formación por Aula Virtual en directo, dado que se realiza a través de una plataforma alojada en servidores de la Xunta de Galicia, se podría habilitar una vía de conexión para días puntuales, pero no se podría hacer todo el curso desde el extranjero.
- +- ¿Hay exámenes?
En los cursos de teleformación hay exámenes y hay que superarlos todos para obtener la cualificación de APTO en el curso.
Si el curso es presencial mediante videoconferencia no hay exámenes, la asistencia al curso es el único requerimiento para la evaluación de este.
- +- ¿Qué se exige para superar un curso de teleformación?
Serán alumnos aptos los que cumplan con las siguientes condiciones:
- Estar conectado/a más del 30% de las horas del curso en la plataforma de teleformación.
- Aprobar todos los exámenes del curso con una nota mínima de 5 en una escala de 10.
Los dos requisitos deben cumplirse entre la fecha de inicio y la fecha de fin del curso.
- +- ¿Qué se exige para superar un curso de aula virtual?
Debe asistir como mínimo al 80% de las horas del curso para poder obtener una cualificación de APTO y obtener el diploma. No es posible justificar faltas de asistencia.
- +- ¿Obtendré un diploma?
La Consellería de Promoción do Emprego e Igualdade después de revisar que el alumno ha cumplido con los requisitos exigidos para superar el curso con la cualificación de APTO, emitirá un diploma. Se le enviará por correo electrónico una vez que la Consellería revise y valide el curso. El proveedor también puede facilitarle un diploma por su participación en el curso.
El Cluster TIC Galicia no es responsable de la fecha de emisión de dicho diploma.
- +- ¿Estos cursos puntúan para convocatorias de oposiciones?
Estos cursos son formación no formal. Debes consultar las bases de la oposición. Están ligados a Certificados de Profesionalidad, pero por si mismo no permite obtener la certificación, habría que revisar cada Certificado y completar la programación de todas las unidades de competencia que componen el certificado.
Formación 100% subvencionada por:
