Cómo evaluar un tutor de IA antes de abrirlo a los alumnos
El set de evaluación de un tutor educativo: los cinco tipos de caso que tiene que incluir, cómo se mide la abstención correcta y qué umbral se acuerda antes de abrir la función.
Respuesta corta
En una plataforma educativa conviene construir primero la búsqueda semántica y después el tutor. Comparten el mismo trabajo de contenido, pero la búsqueda cuesta un orden de magnitud menos, no puede afirmar nada incorrecto y produce el dato que falta para dimensionar el tutor: qué preguntan los alumnos y con qué frecuencia.
Cuando una plataforma educativa decide invertir en IA, la conversación empieza casi siempre en el mismo lugar: un tutor conversacional. Es lo que se ve, es lo que la competencia anuncia y es lo que el equipo comercial puede vender.
Casi siempre recomendamos empezar por otro lado, y no por prudencia genérica. Es porque las dos funciones comparten el ochenta por ciento del trabajo y se diferencian en el riesgo.
Búsqueda semántica. El alumno escribe su duda con sus palabras y recibe el pasaje del material que la responde, con el enlace al minuto del video o a la página. No genera texto: recupera y muestra.
Tutor conversacional. El alumno escribe su duda y recibe una explicación redactada, que puede reformular, dar un ejemplo distinto o guiar paso a paso. Recupera y además genera.
La diferencia se ve mejor en una tabla.
| Búsqueda semántica | Tutor conversacional | |
|---|---|---|
| Trabajo de contenido | Transcribir, partir, indexar | El mismo |
| Capa adicional | Ninguna | Generación, límites, memoria |
| Costo por alumno | Bajo | Un orden de magnitud mayor |
| Puede afirmar algo falso | No | Sí, si no está bien acotado |
| Riesgo de integridad académica | Ninguno | Requiere límite explícito |
| Qué mide | Qué buscan los alumnos | Qué preguntan y cómo |
Uno: el trabajo es el mismo y se valida antes. Transcribir el video, partir el material por unidad conceptual, indexarlo con metadatos de curso y unidad. Eso es la primera mitad del tutor y la totalidad de la búsqueda. Construir la búsqueda primero no agrega trabajo: adelanta la verificación de que ese trabajo quedó bien.
Y la verificación es concreta. Si con la pregunta real de un alumno la búsqueda no trae el pasaje correcto, el tutor tampoco lo va a traer. La diferencia es que la búsqueda lo muestra —resultados malos, visibles— y el tutor lo disimula generando una respuesta plausible con el material equivocado.
Dos: la búsqueda no puede mentir. Devuelve pasajes del material o no devuelve nada. En un producto educativo, donde el usuario es exactamente quien no puede detectar un error de contenido, esa propiedad vale mucho durante los primeros meses.
Tres: produce el dato que falta. La pregunta que nadie puede responder antes de lanzar un tutor es cuántos mensajes por alumno por mes va a haber, y de eso depende todo el cálculo de costo. La búsqueda lo responde: qué se pregunta, con qué palabras, en qué momento del curso, con qué frecuencia. Es la diferencia entre estimar y medir.
Hay dos casos donde el orden se invierte, y conviene reconocerlos.
Cuando el valor está en el diálogo, no en encontrar. Un curso de idiomas donde el alumno necesita practicar conversación, o uno de habilidades donde hace falta un interlocutor que repregunte. Ahí la búsqueda no resuelve el problema del usuario, porque el problema no es localizar información.
Cuando el contenido es corto y bien conocido. Un catálogo de veinte cursos breves donde cada alumno ve todo. La búsqueda no tiene mucho que buscar, y el trabajo de indexado no se justifica por sí solo.
Fuera de esos dos casos, el orden se sostiene.
Vale la pena nombrarla porque es la que más se construye: un modelo general con una instrucción que dice «sos el tutor de este curso», sin recuperación.
Funciona en la demo y en el primer contacto con alumnos, porque responde bien las preguntas conceptuales generales. Falla en el mes dos, cuando aparecen las preguntas que dependen del curso: la notación que usa este profesor, el ejemplo de la unidad tres, el criterio de la rúbrica, la versión de la biblioteca que se usa en esta cursada.
El alumno no concluye que el sistema no tiene acceso al material. Concluye que la plataforma no sabe de su propio curso, que es un daño más caro de reparar que el tiempo que se ahorró.
Un curso, no el catálogo. El de más alumnos activos, transcripto e indexado entero.
La búsqueda visible en la interfaz, no escondida en un menú, con medición de búsquedas sin resultado útil.
Y al final del trimestre, tres números sobre la mesa: cuánto del catálogo hace falta transcribir para cubrir el uso real, cuántas consultas por alumno por mes hay, y qué porcentaje de esas consultas necesita una explicación en vez de un pasaje.
Con esos tres números, la decisión sobre el tutor deja de ser una apuesta.
El set de evaluación de un tutor educativo: los cinco tipos de caso que tiene que incluir, cómo se mide la abstención correcta y qué umbral se acuerda antes de abrir la función.
Las cinco razones por las que la recuperación sobre material de un curso falla más que sobre documentación técnica, y qué hay que cambiar en la preparación del contenido.
Cómo se calcula el costo de modelo por alumno activo en una plataforma educativa, qué lo dispara y las cuatro palancas que lo bajan sin degradar la respuesta.