El superintendente de las escuelas de Los Ángeles, Alberto Carvalho, dijo que está avanzando con su aventura en inteligencia artificial (una plataforma diseñada para ayudar a los estudiantes y las familias a navegar por las complejidades del distrito) a pesar del colapso de la empresa que diseñó un chatbot de inteligencia artificial.
En su primera entrevista extensa sobre lo que sucedió, el jefe de escuelas de Los Ángeles describió una plataforma impulsada por IA completamente funcional que está en funcionamiento y es propiedad del distrito, con todo excepto un chatbot por ahora.
Pero los padres y los maestros están cuestionando esta caracterización, porque la plataforma no está disponible en todo el sistema escolar y su característica distintiva está relegada. Dijeron que no tienen idea de cómo o qué tan bien funciona, cómo acceder a ella o qué se supone que hace. Su única información, dijeron, vino de eventos mediáticos llamativos.
Un padre dijo que encontró información personal sobre su hija en línea y cuestionó la gestión de datos privados por parte del distrito, aunque el distrito niega cualquier conexión entre los datos filtrados y el proyecto de inteligencia artificial o AllHere, con sede en Boston, la empresa que diseñó el chatbot.
El Distrito Escolar Unificado de Los Ángeles dijo que un ex contratista del distrito no eliminó los datos privados del distrito (como se le exige) y que estos datos varados quedaron expuestos a través de una filtración en una empresa diferente. El distrito no ha respondido con mayor detalle a las preguntas sobre esta filtración, incluida la información que se vio comprometida o cuántas personas se vieron afectadas. No se ha enviado ninguna notificación a las familias afectadas.
Carvalho ha promocionado el chatbot, llamado “Ed”, como capaz de responder preguntas relacionadas con la escuela de profesores, padres y estudiantes extrayendo información de todas las bases de datos del distrito, lo que significa que la plataforma automatizada está recopilando, procesando y enviando enormes cantidades de datos del segundo sistema escolar más grande del país.
Los funcionarios dijeron que el chatbot ha estado desactivado desde el 14 de junio, cuando se enteraron de que AllHere había despedido a la “gran mayoría” de sus empleados, como dijo un gerente de la empresa AllHere en un correo electrónico.
El distrito había pagado a AllHere $3 millones por el trabajo completado en un contrato de hasta $6 millones durante cinco años.
“Quiero ser muy claro sobre algo: lo que se imaginó y se prometió —y soy dueño de la visión de esto, de eso soy dueño— realmente se cumplió”, dijo Carvalho.
“Ed es más que un simple chatbot”, añadió.
Carvalho dijo que el distrito determinará cómo reemplazar AllHere, evaluará los riesgos potenciales relacionados con el colapso de AllHere e implementará gradualmente la plataforma de inteligencia artificial en todas las escuelas, restaurando el chatbot y agregando funciones al sistema, que aún es un trabajo en progreso.
Los investigadores que trabajan para el inspector general del sistema escolar realizaron una entrevista en video el 2 de julio a Chris Whiteley, ex director sénior de ingeniería de software de AllHere, según un informe en El 74un sitio de noticias sobre educación. Whiteley ha descrito en detalle cómo su ex empleador supuestamente violó tanto los estándares de la industria como las propias políticas del distrito en su manejo de los datos de los estudiantes..
Carvalho dijo que no tenía comentarios sobre las afirmaciones de Whiteley, pero dijo que el distrito no tiene conocimiento de ninguna violación de datos en relación con AllHere.
En los relatos publicados, Whiteley no ha alegado que se produjo una violación de datos, solo que las prácticas de su antigua empresa crearon un riesgo inapropiado.
AllHere no respondió a una solicitud de comentarios.
“Escuela de Uno”
Carvalho enfatizó que la plataforma Ed fue creada como un vehículo para la creación de un Plan de Aceleración Individual, o IAP, para cada estudiante.
En lo que calificó como un logro innovador, Carvalho dijo que un IAP se convertiría en una estrategia académica personalizada. En una charla TED, Carvalho describió el esfuerzo como un “escuela de uno” para cada estudiante.
“Ed fue concebido como una plataforma de aceleración individualizada que utiliza todos los datos que tenemos sobre los estudiantes, todos los socios que tenemos en términos de currículo, apoyo, todos los datos de asistencia, todo sobre ese niño y es capaz de procesar esos datos, analizarlos y luego generar un plan para ese estudiante. La IA hace eso”, dijo Carvalho a The Times.
“El chatbot es solo una pequeña característica”, dijo. “Es, por cierto, la más interesante porque es lo que la gente identifica como IA, pero es una tontería la persona que reemplaza el chatbot con IAP”.
“Un chatbot no es más que un vehículo de comunicación. La IAP es algo mucho más grande”.
Pero fue el chatbot el que protagonizó el espectáculo, tanto en el discurso de Carvalho para inaugurar el año escolar anterior como en un lanzamiento oficial de alto perfil en marzo.
El chatbot fue representado visualmente como un sol sonriente, a menudo con gafas de sol.
Tras enterarnos de los problemas en AllHere, “tomamos la decisión en cuestión de días (y esto se hizo muy, muy rápido) de desactivar el chatbot”, dijo Carvalho. “No nos preocupaba si el chatbot funcionaría o no. Funciona. Nuestras preocupaciones se centraban en algo que era muy importante para mí: mi exigencia, que era que siempre hubiera un humano al tanto. Y teniendo en cuenta los recortes de personal que nos enteramos que se habían producido, queríamos ser precavidos”.
Al decir “humano en el circuito”, Carvalho se refería a la supervisión humana de lo que haría y diría el chatbot automatizado. Los funcionarios del distrito no han aclarado cuánta supervisión habría proporcionado AllHere, una pequeña empresa con otros clientes y otros productos.
El mantenimiento continuo del sistema también fue un problema, dijo Carvalho.
“Hasta que haya una estabilización en cuanto al soporte back-of-the-house, esa función estará deshabilitada”, dijo Carvalho.
Sin el chatbot, la página de destino de Ed se parece más a un recurso en línea tradicional (actualizado y ampliado), con enlaces y cuadros desplegables.
Plan de aceleración invisible
El Plan de Aceleración Individual no es un informe que pueda imprimirse o verse en línea.
La subdirectora adjunta Karla Estrada explicó en una entrevista que el IAP en realidad es invisible para el usuario.
El IAP existirá en segundo plano y será la base para realizar recomendaciones académicas generadas por computadora a un estudiante, ofreciendo sugerencias de lectura o temas de matemáticas en los que trabajar.
“No es como un plan tradicional, que se escribe y se plasma en una hoja de papel”, dijo Estrada. “Se supone que debe ser dinámico con el estudiante y basarse en sus necesidades, así como en los datos continuos sobre el desempeño”.
Agregó: “El problema es que los estudiantes no quieren sentir que se les está imponiendo un plan de desempeño. No quieren sentirse así. Quieren recibir esa información, saber qué necesitan hacer para mejorar, pero no quieren ver: ‘Estás por debajo del nivel en estas áreas. Por lo tanto, necesitas mejorar’. Quieren entender: ‘¿Cómo puedo seguir mejorando?’”.
Preocupaciones generalizadas
Existe una gran confusión sobre lo que el sistema educativo mejoraría o reemplazaría.
El distrito, por ejemplo, tiene un portal para padres y un sitio independiente donde los estudiantes se conectan para realizar tareas escolares y comunicarse con los maestros. ¿Reemplazará Ed estos sitios o agregará una capa más antes de que los usuarios lleguen al lugar al que necesitan ir?
Lo que Ed puede y no puede hacer sigue siendo confuso.
Un ejemplo citado por Carvalho en marzo fue la capacidad de usar Ed para rastrear el autobús escolar y su hora estimada de llegada. Y Ed ofrecía un empujoncito amistoso si un estudiante había llegado tarde recientemente al autobús. Pero Ed aún no puede hacer esas cosas.
Esa función está “en la lista” de cosas por hacer, dijo Estrada. El distrito aún no ha proporcionado una lista de cosas que Ed puede o no puede hacer.
Carvalho y su equipo enfrentan desafíos importantes.
Los funcionarios del distrito dijeron que Ed se implementó inicialmente esta primavera en las 100 escuelas más “frágiles” del distrito, en un intento de brindar el nuevo beneficio donde más se necesitaba para ayudar con los aspectos académicos, la asistencia y los problemas de salud mental.
Pero eso significa que la gran mayoría de casi 1.000 campus y más de 400.000 estudiantes no lo tienen.
“No hemos oído nada más que el anuncio que apareció en los medios hace unos meses”, dijo la profesora Kim Knapp Soderström. “No hemos recibido información, explicaciones ni formación”.
“Hasta donde yo sé, nuestra escuela no está usando este portal/plataforma de inteligencia artificial”, dijo Jennifer Buscher, madre de un alumno de primaria en una escuela de Westchester. “No he oído nada al respecto”.
Evelyn Alemán, quien coordina las reuniones para Nuestra Voz, que atiende a padres hispanohablantes de bajos ingresos, dijo que sus participantes “dicen que no saben nada sobre portales, programas, IA, chatbots, etc. impulsados por tecnología. Incluso los padres que son líderes del centro para padres me dicen que no saben nada sobre esto.
“Es como si estuviéramos viviendo en dos universos distintos con LAUSD: uno en el que los líderes del distrito anuncian avances tecnológicos con gran fanfarria, y el otro donde los padres inmigrantes latinos e indígenas… todavía están tratando de acceder y aprender nuevas tecnologías básicas y abogar por cuestiones más urgentes como la alfabetización, más recursos de salud mental y seguridad escolar, entre otros”.
Carvalho y su equipo insisten en que Ed, con su supuesta capacidad para manejar 100 idiomas, facilitará la interacción significativa.
La madre Elizabeth Bannister, que tampoco ha recibido información del distrito, dijo que le preocupa la posibilidad de que se produzcan violaciones de datos.
El padre y contratista general Steve Regen dijo que encontró información privada sobre su hija en la red oscura.
“Realmente no me importa que esta información provenga de un ‘dispositivo de almacenamiento en la nube que era administrado por un ex proveedor externo’”, escribió en un correo electrónico a los funcionarios del distrito. “Lo que sí me importa es que el LAUSD le dio libremente a este ‘proveedor’ acceso total y sin restricciones a la información de nuestros niños”.
Regen dijo que el equipo de TI con el que trabaja encontró los nombres completos, las fechas de nacimiento y la dirección residencial, así como todos los números de teléfono y direcciones de correo electrónico asociados con el registro del LAUSD de su hija y sus amigos.
“Los padres merecen que se les informe de la gravedad de la violación para proteger a sus hijos”, dijo a The Times.
En una respuesta general, el distrito le dijo a Regen: “Estamos trabajando para determinar qué información estuvo involucrada en este incidente y si determinamos que involucró información personal de alguien, proporcionaremos notificaciones a esas personas de acuerdo con la ley aplicable”.
En un comunicado, los funcionarios del distrito dijeron que han cooperado con los investigadores y siguen los más altos estándares de protección de datos.
