Tarea: Evaluación de una Gema de Gemini frente a un chat general en la resolución de dudas científicas

El objetivo es analizar si una Gema de Gemini especializada (basada en un PDF de contenido científico) responde mejor a preguntas del alumnado que un chat generalista sin contexto.

Desarrollo de la tarea

1. Selección del contenido

Elige:

• Nivel educativo

• Materia científica

• Tema concreto

Ejemplos:

• Física → Leyes de Newton

• Biología → Fotosíntesis

• Matemáticas → Derivadas

• Redes → Modelo TCP/IP

2. Preparación del material (PDF)

Selecciona o crea un documento PDF que contenga:

• Explicación teórica

• Ejemplos

• Algún ejercicio

Este documento será la “fuente de conocimiento” de la Gema.

3. Diseño de la Gema de Gemini

Configura la Gema con:

• Rol: profesor de la materia

• Uso explícito del PDF como base

• Enfoque didáctico

Instrucciones de la Gema (ejemplo):

Utiliza un chat generalista para generar un prompt más o menos detallado que sirva de plantilla o guía para tu gema

Un ejemplo del resultado sería:

“Actúa como profesor de [materia] para estudiantes de [nivel]. Responde utilizando únicamente la información del documento proporcionado. Explica paso a paso, adapta el lenguaje al nivel del alumno y utiliza ejemplos cuando sea necesario. Si la respuesta no está en el documento, indícalo.”

4. Diseño de preguntas del alumnado

Crea 5 preguntas reales de estudiante, por ejemplo:

• Dudas conceptuales

• Problemas prácticos

• Errores típicos

Ejemplo:

• “¿Por qué una fuerza produce aceleración?”

• “Resuelve este ejercicio paso a paso…”

• “No entiendo este concepto, explícalo fácil”

5. Ejecución del experimento

Para cada pregunta:

1. Pregunta a la Gema (con PDF)

2. Pregunta al chat normal de Gemini

Guarda ambas respuestas.

6. Análisis comparativo

Crea una tabla comparativa para evaluar cada respuesta según:

• Exactitud científica

• Uso del contenido del PDF

• Claridad de la explicación

• Nivel educativo adecuado

• Capacidad didáctica (ejemplos, pasos…)

• Presencia de invenciones o errores

Responde:

• ¿Cuál responde mejor en cada caso?

• ¿La Gema utiliza correctamente el documento?

• ¿El chat general inventa o se desvía?

• ¿Qué sistema explica mejor para aprender?

• ¿En qué tipo de preguntas destaca cada uno?

7. Conclusiones didácticas

Haz una reflexión o conclusión sobre la idoneidad de usar gemas o sistemas RAG frente a chats básicos en el ámbito científico.

Producto final (máximo dos folios)

Debe incluir:

1. Materia, nivel y tema

2. Documento pdf y descripción del PDF utilizado

3. Diseño de la Gema y captura de pantalla del mismo

4. Preguntas planteadas

5. Análisis comparativo

6. Prompts utilizados y enlace a las conversaciones o captura de las mismas 

7. Conclusiones personales

Lista de cotejo