El sistema opera en España y ya realizó más de 3 millones de evaluaciones; también se emplea para detectar maltrato a niños. ¿Es posible delegar a una máquina aspectos tan sensibles?
Igual que en cualquier método algorítmico, los sesgos humanos pueden influir en la eficacia del método.
VioGén es un sistema algorítmico que calcula la probabilidad de que una persona, en especial mujeres y niños, sean víctimas de violencia. Aunque las tecnologías apoyadas en inteligencia artificial ganaron visibilidad en el último lustro, aquel método opera en España desde 2007 y desde entonces realizó más de 3 millones de evaluaciones enfocadas en 800.000 casos. Se ha empleado principalmente para evaluar la chance de que una mujer vuelva a sufrir maltratos.
El Sistema de Seguimiento Integral de Casos de Violencia de Género (de allí la denominación VioGén) fue elogiado por propios y ajenos como el mejor en su especie, aunque un informe independiente cuestionó su fiabilidad. ¿Un sistema automatizado es capaz de entregar datos fidedignos en un ámbito tan sensible como aquel? Amén de su carente humanidad, ¿es certera la información que recoge de víctimas en estado de conmoción?
Si bien VioGén trabaja en España hace aproximadamente 15 años, hasta ahora las bases de su funcionamiento no habían sido enseñadas al público general. Pero tras el mencionado reporte elaborado por la Fundación Éticas (una organización independiente de las autoridades), medios de prensa locales fueron invitados a conocer las entrañas del algoritmo.
5 datos sobre VioGén
Funciona en España desde 2007; desde entonces realizó más de 3 millones de evaluaciones.
Detrás del sistema hay un equipo compuesto por 22 personas dedicadas a la gestión y monitorización del programa.
Sus exámenes se basan en declaraciones y cuestionarios a las denunciantes, y además en información del agresor; una nueva versión de algoritmo prevé cruzar datos de ministerios, incluyendo los de Justicia y Sanidad.
El programa fue diseñado por Antonio Andrés Pueyo, profesor de psicología en la Universitat de Barcelona, junto con otros expertos de ese mismo ámbito y en criminología.
Si bien las valoraciones humanas influyen en el sistema, los cálculos de riesgos se realizan con una función matemática que se ejecuta sin intervención.
Cómo evalúa VioGén la probabilidad de que una mujer sea víctima de violencia machista
Luego de que una mujer presenta una denuncia de violencia de género, debe completar un cuestionario con preguntas específicas. Según explica El País de España, uno de los medios que participó de la demostración de VioGén, las respuestas son examinadas posteriormente por el sistema y en base a ellas arroja una calificación de riesgo. Cuando la misma es alta se activan medidas de protección, por ejemplo la presencia policial en la puerta del domicilio de la denunciante.
Una nueva versión del algoritmo prevé cruzar datos que ya usa, como los del Ministerio del Interior, con los de Justicia y Sanidad. El objetivo es afinar las valoraciones y, en consecuencia, las acciones de prevención.
Mientras tanto, los agentes que están detrás del algoritmo señalan que la experiencia recogida en los 15 años de funcionamiento de VioGén es fundamental. Por ejemplo, el sistema “aprendió” que el momento de mayor riesgo de violencia de género es el previo a la separación y los tres meses posteriores.
El equipo detrás de VioGén trabaja en Madrid, comunicándose con las víctimas y organizando medidas de protección en colaboración con las autoridades. Según comentaron los responsables del método, otros países, entre ellos Francia, evalúan la posibilidad de implementar sistemas similares.
VioGén, un sistema valorado y también criticado
Los sistemas de inteligencia artificial son empleados en múltiples áreas. Desde la recopilación de datos hasta la detección de prófugos con reconocimiento facial, en tratamientos de rehabilitación y otras aplicaciones en salud, para tareas creativas como la escritura automática de textos, en la búsqueda de nuevos empleados, y para la destreza de los bots de atención al público, entre muchas otras. Los cuestionamientos se intensifican en ámbitos sensibles, como aquel en el que se mueve VioGén.
Si bien el Gobierno español elogia los avances del software, igual que algunos especialistas independientes, la eficiencia y las mejoras del algoritmo recaen en el conocimiento humano. No podemos culpar a la máquina. En ese orden, se torna necesario que los técnicos involucrados reciban mejor formación y aplican más sensibilidad en relación a la violencia machista.
Otro de los ejes del debate gira en torno al pedido de hacer que el código fuente de VioGén sea público, un paso que recientemente pidió Elon Musk para Twitter. En uno y otro caso, el propósito es que las decisiones de los algoritmos puedan ser auditadas por alguien más que los responsables del programa y, de esa forma, remediar los posibles errores. La polémica está planteada. Tal como señala la fuente, “el secretismo que rodea a esta fórmula maestra es visto por unos como un ataque a la transparencia y por otros como una capa necesaria de defensa del sistema”.
Aquel es un verdadero dilema. ¿Conviene abrir un sistema que incluye datos sensibles, en este caso vinculados a víctimas de violencia? En caso de hacerlo, ¿cómo debería ejecutarse la apertura de un método como VioGén?
Por otra parte, especialistas del área apuntan que el método se basa únicamente en los casos en los que se realizan denuncias y que eso deja fuera a muchas mujeres que sufren violencia machista y no la informan a las autoridades. La Secretaria de Seguridad de España estimó que sólo un 25% de las mujeres que sufren violencia realizan una denuncia.
Otros usos de VioGén
El creador del sistema, el antes citado Pueyo, llevó los conocimientos de VioGén a otro programa, RisCanvi, un algoritmo que ayuda a jueces en Cataluna a calcular el riesgo de reincidencia en personas que están presas.
El sistema se emplea en la provincia española de Alicante para hacer el seguimiento de niños en situación de riesgo por violencia.
El futuro de VioGén: qué sumará la actualización del algoritmo
Se espera que la próxima versión del programa esté lista en los próximos meses. Sumará datos como aspectos físicos y psíquicos de las víctimas, las visitas a guardias médicas, e incluso percances considerados menores.
Según explicó María Jesús Cantos, responsable del sistema, “la mujer no tendrá que esperar a que la policía rellene el programa tras prestar declaración” porque el software “integrará la información de forma automática”. Eso, aseguró, se traducirá en procesos más dinámicos y en una reducción de la victimización secundaria que supone el acto de contar el maltrato. “Eso es muy duro para ellas”, señaló.
En ese marco, el desafío de VioGén es achicar cuanto sea posible los sesgos de esta tecnología que, como señalamos, a fin de cuentas es la obra de humanos que replican sus conocimientos pero también sus limitaciones y errores.
Mientras tanto, investigadores de la Universidad de Valencia avanzan en un informe para Amnistía Internacional con el objetivo de evaluar los beneficios y los errores del sistema. El antes mencionado examen de Fundación Éticas encontró que el 80% de las víctimas entrevistas tuvo algún problema con el programa, por ejemplo preguntas confusas y cuestionarios en una instancia en la que no estaban preparadas para responder.
“Por ejemplo, ahora se le da mucho peso al hecho de que la última agresión se haya realizado recientemente cuando estamos viendo que hay un alto grado de reincidencia cuando ha pasado más tiempo desde el último ataque. Los análisis complejos de relación de variables pueden sacar a relucir variables inesperadas que no se hayan detectado con la mera observación”, comentaron desde la Fundación.
Powered by WPeMatico