Ficha para estudiantes

Hay una vaca en mi departamento: ¿entrené bien mi modelo?

Nombre y apellido:

Curso:	Fecha:	/	/

Esta es una ficha de actividades que se corresponde con la secuencia didáctica Hay una vaca en mi departamento: ¿entrené bien mi modelo?, publicada en el sitio https:/curriculum.program.ar/ de la iniciativa Program.ar de la Fundación Sadosky. Podés eliminar esta leyenda y editar la ficha según tus necesidades.

Actividad 1

1. En esta actividad trabajaremos con el entorno Teachable Machine y el archivo modelo_mascota_lugar.tm (que proveerá su docente).

2. Ingresen a: https://teachablemachine.withgoogle.com/

3. En el menú contextual, elijan la opción “Abrir el proyecto desde un archivo” o “Abrir desde Drive”, según les indique su docente.

4. Al abrir el archivo, cargarán un modelo ya existente. Verán que existen dos categorías y resta crear una nueva que llamaremos Casa de Campo.

a. Carguen en el programa la nueva clase o categoría “Casa de campo” para incluir animales como las vacas.

b. Suban las imágenes de la carpeta que les compartió su docente (fotoscampo.zip) como conjunto de entrenamiento de la nueva clase.

c. Entrenen el modelo siguiendo los pasos indicados por su docente.

Actividad 2

1. Pongan a prueba el modelo, que entrenaron anteriormente, con las imágenes que les facilite su docente.

2. Registren en la siguiente tabla la foto utilizada, la clase esperada, el resultado y si consideran que es correcto.

Imagen de prueba	Clase esperada	Clase predecida	¿Predijo correctamente?

3.	Una vez que completen la prueba, respondan las siguientes preguntas:

a.	¿Cuántas imágenes utilizaron para evaluar el modelo?

b.	¿Cuántas imágenes clasificó correctamente el modelo?

c.	¿Cuántas imágenes clasificó incorrectamente el modelo?

d.	¿Qué proporción del total de las imágenes fueron clasificadas correctamente?

4. Discutimos con toda la clase en torno a estas preguntas: ¿qué les parece que nos pueden indicar sus respuestas al punto 3? ¿Qué número mirarían para evaluar si un modelo funciona correctamente?

Actividad 3

1.	Repitan el proceso de evaluación con el nuevo conjunto de prueba que les facilite su docente.

2.	Registren en la tabla la foto utilizada, la clase esperada, el resultado y si consideran que es correcto.

Imagen de prueba	Clase esperada	Clase predecida	¿Predijo correctamente?

3.	Una vez que completen la prueba, respondan las siguientes preguntas:

a.	¿Cuántas imágenes utilizaron para evaluar el modelo?

b.	¿Cuántas imágenes clasificó correctamente el modelo?

c.	¿Cuántas imágenes clasificó incorrectamente el modelo?

d.	¿Qué proporción del total de las imágenes fueron clasificadas correctamente?

4.	Comparen los valores obtenidos con los que obtuvieron en la Actividad 2.

e.	¿Qué dirían sobre el modelo ahora?

f.	¿Qué sucedió con el nuevo conjunto de imágenes?

Actividad 4

1. Analicen el modelo que construyeron a partir de estas preguntas. Registren las respuestas.

a. ¿Con qué criterio está clasificando? ¿Con qué criterio debería clasificar?

b. ¿Cómo se dieron cuenta de esto? ¿Qué les dio la pista?

c. ¿Cómo modificarían el modelo para resolver este problema? Pueden dar un ejemplo.

2. Una vez modificado el modelo, ¿qué harían para ver si funciona mejor?

3.	Busquen y descarguen nuevas imágenes para volver a entrenar el modelo y ponerlo a prueba.

4.	Debatan entre ustedes: ¿podrían asegurar que el criterio con el que está clasificando el nuevo modelo es el correcto?

Actividad 5

1. Lean la siguiente situación en la que interviene un modelo de AA para resolver un problema de interés social.

Una empresa europea encargada de seguridad vial decidió desarrollar una solución para evitar accidentes causados por conducir en estado de somnolencia. Decidió entrenar un modelo de AA que detectase si la persona que conducía se estaba durmiendo, para alertarla y frenar automáticamente el auto. La solución diseñada utiliza una cámara que captura el rostro de la persona que conduce y determina si el auto debe seguir en movimiento o frenar. Primero se implementó en países europeos, donde el modelo funcionó muy bien con alta exactitud. Sin embargo, al implementarse en países asiáticos, muchos conductores reportaron que encendían el auto y automáticamente se apagaba.

2. Respondan las siguientes preguntas:

• ¿Cuál es la entrada que el modelo de AA utiliza?

• ¿Cuáles son las posibles categorías o clases del clasificador?

• ¿Qué tipo de datos habrán utilizado para entrenar el modelo?

• ¿Por qué creen que el modelo funcionaba bien en los países europeos y mal en los países asiáticos?

• ¿Pueden relacionar este problema con el conjunto de datos de entrenamiento? ¿Qué características tendrá ese conjunto de datos?

• ¿Qué características tendrán los conjuntos de datos de evaluación para los que se obtienen los mejores resultados? ¿Cuáles habrán utilizado los fabricantes para evaluar el modelo?

• ¿La proporción de aciertos y errores del modelo es igual para todos los grupos de personas?

Actividad 6

Vamos a analizar qué sucede con los traductores y el género de las palabras. Los traductores automáticos son una aplicación de IA de uso frecuente. Estas aplicaciones también son clasificadores, son modelos de AA basados en datos.

Ingresen a un traductor automático en línea como, por ejemplo, Google Translate.

1. Traduzcan la oración en castellano que figura en la primera columna de la tabla al finés (o finlandés). Elegimos este idioma porque no tiene marca de género (por ejemplo, cirujana y cirujano se dicen con la misma palabra). Anoten el resultado en la segunda columna

2. Tomen la frase en finés y vuelvan a traducirla al castellano, utilizando el mismo traductor. Escriban el resultado en la tercera columna.

Frase en castellano	Traducción en fines	Traducción del fines al castellano
La cirujana habla con el enfermero.
El profesor dijo que los estudiantes estaban tristes.
La comandante del vuelo llamó al azafato.
La programadora llamó al secretario.
Pueden completar con otras frases.

3. Imaginen cómo se entrena un traductor automático: ¿qué datos necesita? ¿Cómo estará organizado este conjunto de datos?

4. ¿Qué volumen de datos se imaginan que se necesita para entrenar estos modelos? ¿De dónde creen que obtienen el conjunto de entrenamiento?

5. ¿Qué palabras cambiaron en la traducción del finés al castellano con respecto a la frase en castellano original que les llamó la atención?

6. Para pensar entre todas y todos: ¿por qué les parece que se produjeron estos cambios? ¿Cómo aparecerán estas palabras en los datos de entrenamiento? ¿Por qué? ¿Qué consecuencias pueden generar estos errores?

Actividad 7

1. Lean y analicen la siguiente situación en la que interviene un modelo de AA para resolver un problema en un caso real.

Un problema se presentó en un sistema de la empresa tecnológica Amazon durante la selección de postulaciones de empleo. El modelo usado para la preselección había sido entrenado con los registros de contrataciones de los últimos 10 años. La mayoría de los ejemplos que había analizado el modelo correspondían a varones debido a la enorme desigualdad de género que existe en las empresas de tecnología. En el resultado, el modelo eligió una alta proporción de varones por sobre mujeres e, incluso, descartó los currículums si detectaba algunas palabras que asociaba como “típicamente femeninas”. Pueden leer la nota original en: https://www.reuters.com/article/amazon-com-contratacion-ia-idESKCN1MO0M4

2. Respondan con su grupo las siguientes preguntas:

a. ¿Qué toma como entrada el modelo de AA para predecir?

b. ¿Cuál es la salida o qué categorías asigna el modelo?

c. ¿Por qué creen que el modelo descartaba sistemáticamente las postulaciones de mujeres? ¿Pueden explicarlo en términos de sesgos en los datos? ¿Cómo se relaciona ese sesgo con el criterio de contratación histórico de la empresa (piensen tanto en las causas como en las consecuencias de ese sesgo)?

3. Para pensar con toda la clase: ¿confiarían en una oficina de selección de personal o una empresa reclutadora que descarte miles de postulaciones y no emita ninguna explicación? ¿Están de acuerdo con que esto suceda en la sociedad o les gustaría cambiarlo?

Criterios de Evaluación

TEMA	ACTIVIDAD	Al finalizar las actividades debería haber aprendido a:
Ciencia de datos, inteligencia artificial y aprendizaje automático / Modelos de aprendizaje automático	Actividades 2 y 3	Reconocer que para conocer el desempeño del modelo es necesario ponerlo a prueba sobre un conjunto de imágenes (conjunto de evaluación o test). Reconocer que el resultado de una evaluación es relativo al conjunto de datos utilizado para evaluar.
Actividad 4	Explicar el comportamiento inesperado del modelo a partir de un patrón en el conjunto de entrenamiento.
Ciencia de datos, inteligencia artificial y aprendizaje automático / Subjetividad expresada en los modelos. Sesgo. Computación y sociedad / Sesgos, prejuicios y estereotipos.	Actividad 5, 6 y 7	Inferir un sesgo en el conjunto de datos de entrenamiento a partir de errores sistemáticos de un modelo de AA. Asociar sesgos en los datos de entrenamiento con desigualdades existentes en la sociedad. Reconocer, en los casos abordados, la retroalimentación que existe entre los sesgos en los conjuntos de datos de entrenamiento y el funcionamiento de un modelo entrenado sobre datos sesgados y cómo esta situación profundiza desigualdades existentes.