Casi toda la conversación sobre la seguridad de la IA ocurre muy lejos del momento que de verdad importa. En nuestro producto, ese momento es pequeño y concreto. Una niña de seis años lee una palabra en voz alta, se equivoca y espera a ver qué opina la app de ella.
Ahí vive nuestra IA. En la voz de un niño, en el momento del día en que está más expuesto. Este mes publicamos la versión 1.0 de nuestra política de IA segura para niños. Ahí explicamos qué hacen nuestros sistemas, qué nunca van a hacer y quién responde cuando algo sale mal.
Lo que nos comprometimos a hacer
La política empieza por nombrar tres etapas que puede ocupar una organización. Conciencia significa reconocer que los niños podrían usar tu sistema. Mitigación significa agregar protecciones después, o sea filtros, verificación de edad y advertencias. Centrado en el niño significa que los niños se tuvieron en cuenta desde el primer día del diseño.
Nos ubicamos en la tercera etapa, y publicamos la política para que puedas comprobar esa afirmación en lugar de solo creerla. Bookbot no tiene un producto para adultos. No existe un modo general al que un niño entró por accidente.
Algunos compromisos tienen que ver con dónde van los datos de tu hijo. El reconocimiento de voz, la tecnología que escucha mientras un niño lee en voz alta, funciona en el dispositivo mismo, sin necesidad de conexión a internet. El audio se procesa y se descarta por defecto, y no guardamos nada. Grabar para mejorar los modelos es una decisión aparte y explícita, que toma un papá o una escuela. Nunca viene incluida en los términos generales y nunca está activada por defecto.
Otros compromisos son líneas rojas. Son cosas que no vamos a construir, sin importar cómo se vea el plan más adelante.
No sintetizamos ni clonamos la voz de un niño. No inferimos emociones, atención ni salud mental a partir de la voz o la cara de un niño. No vendemos datos de niños ni los usamos para publicidad o perfilado. Y no construimos funciones diseñadas para crear apego emocional a la app ni a un personaje sintético.
Por qué importa
El compromiso que creo que será más difícil de cumplir es el de los acentos. El reconocimiento de voz entrenado sobre todo con inglés de adultos y acento estándar funciona bastante peor con niños, con hablantes de segunda lengua y con acentos regionales o no estándar. Un sistema que reconoce peor el inglés de una niña no es una herramienta neutral. Le va a decir que se equivocó más seguido que a otro niño, y lo va a hacer por razones que no tienen nada que ver con su lectura.
Por eso medimos la precisión por separado según acento, variedad de idioma, rango de edad y tipo de dispositivo. Los números agregados esconden justo las brechas que buscamos. Cuando un grupo recibe peor servicio y todavía no cerramos la brecha, la política nos obliga a decirlo en lugar de esconderlo.
Hay una regla de diseño relacionada que me gusta mucho. Cuando el reconocedor no está seguro de lo que escuchó, se queda callado en vez de adivinar. La asimetría es intencional. Un error que se pasa por alto le cuesta al niño una palabra sin reforzar. Una acusación falsa, es decir, que le digan que se equivocó cuando en realidad tenía razón, le cuesta confianza. Y la confianza es el recurso escaso en los primeros años de lectura.
También decidimos no usar un modelo para la decisión que más marca la experiencia de un niño: qué libro lee después. Eso funciona con reglas explícitas, atadas a una guía de niveles publicada, el orden fijo en que se enseñan los patrones de fonética. A un maestro se le puede explicar exactamente por qué se sugirió un libro, según los patrones que el niño ya domina y los que no. No hay puntaje de confianza que interpretar ni caja negra en la que confiar.
Un sistema que aprendiera a recomendar a partir de datos históricos de progreso heredaría las desigualdades que están en esos datos. Una regla no puede.
Qué viene ahora
La responsabilidad recae en una persona con nombre, no en un comité. Como CEO, yo respondo por la seguridad de la IA y la protección de datos en Bookbot. Eso significa que hay alguien concreto a quien acudir cuando nos equivocamos.
Antes de que cualquier función nueva de IA llegue a los niños, hacemos una evaluación de impacto. Son siete preguntas, entre ellas qué niños van a encontrarse con esto y a qué edades, qué experimenta un niño cuando falla, y si genera dependencia o construye independencia. La última pregunta es quién responde y cómo nos daríamos cuenta si la función estuviera causando daño. Lo que no pueda contestar esa pregunta no se lanza.
Revisamos la política al menos una vez al año, y también antes de entrar a un país o idioma nuevo, antes de lanzar cualquier capacidad de IA nueva para quien aprende, y después de cualquier incidente. Si eres papá, mamá, maestro, investigador o socio y crees que algo está mal, puedes escribirnos a [email protected]. Nos comprometimos a responder en un plazo de cinco días hábiles y a dar una respuesta de fondo, incluso cuando la respuesta sea que nos equivocamos.
Escribir todo esto hace más fácil exigirnos cuentas. De eso se trata publicarlo.
Referencia
Bookbot Pty Ltd. (2026). Safe AI for Children: Policy on Child-Centric Artificial Intelligence, versión 1.0 (en inglés)