CNN –
Las aplicaciones de inteligencia artificial (IA) de asistencia o tipo acompa\u00f1ante plantean \u201criesgos inaceptables\u201d para ni\u00f1os y adolescentes, se\u00f1al\u00f3 la organizaci\u00f3n sin \u00e1nimo de lucro Common Sense Media en un informe publicado el mi\u00e9rcoles En EE.UU.: llama o env\u00eda un mensaje de texto al 988, la L\u00ednea de Prevenci\u00f3n del Suicidio y Crisis.<\/p>\n\n\n\n
El informe llega tras una demanda presentada el a\u00f1o pasado por la muerte por suicidio de un chico de 14 a\u00f1os cuya \u00faltima conversaci\u00f3n fue con un chatbot. Esa demanda, interpuesta contra la aplicaci\u00f3n Character.AI, puso de relieve esta nueva categor\u00eda de aplicaciones conversacionales y sus riesgos potenciales para los j\u00f3venes, lo que llev\u00f3 a pedir m\u00e1s medidas de seguridad y transparencia.<\/p>\n\n\n\n
Seg\u00fan el informe de este mi\u00e9rcoles, el tipo de conversaciones detalladas en esa demanda \u2014como intercambios sexuales y mensajes que incitan a autolesionarse\u2014 no son una anomal\u00eda en las plataformas de acompa\u00f1amiento de IA, que sostiene que estas aplicaciones no deber\u00edan estar disponibles para usuarios menores de 18 a\u00f1os.<\/p>\n\n\n\n
Para elaborar el informe, Common Sense Media colabor\u00f3 con investigadores de la Universidad de Stanford para poner a prueba tres populares servicios de acompa\u00f1amiento de inteligencia artificial: Character.AI, Replika y Nomi.<\/p>\n\n\n\n
Mientras que los principales chatbots de IA, como ChatGPT, est\u00e1n dise\u00f1ados para un uso m\u00e1s general, las llamadas aplicaciones de compa\u00f1\u00eda permiten a los usuarios crear chatbots personalizados o interactuar con chatbots dise\u00f1ados por otros usuarios. Estos chatbots personalizados pueden asumir una serie de personajes y rasgos de personalidad, y a menudo tienen menos l\u00edmites sobre c\u00f3mo pueden hablar con los usuarios. Nomi, por ejemplo, anuncia la posibilidad de mantener \u201ccharlas sin filtros\u201d con parejas rom\u00e1nticas de IA.<\/p>\n\n\n\n
\u201cNuestras pruebas han demostrado que estos sistemas producen f\u00e1cilmente respuestas nocivas, como conductas sexuales inapropiadas, estereotipos y \u2018consejos\u2019 peligrosos que, de seguirse, podr\u00edan poner en peligro la vida o tener consecuencias mortales en el mundo real para los adolescentes y otras personas vulnerables\u201d, dijo en un comunicado James Steyer, fundador y CEO de Common Sense Media. Common Sense Media ofrece clasificaciones por edades para asesorar a los padres sobre la idoneidad de diversos tipos de medios, desde pel\u00edculas hasta plataformas de redes sociales.<\/p>\n\n\n\n
El informe llega en un momento en que las herramientas de IA han ganado popularidad en los \u00faltimos a\u00f1os y se incorporan cada vez m\u00e1s a las redes sociales y otras plataformas tecnol\u00f3gicas. Sin embargo, tambi\u00e9n ha aumentado el escrutinio sobre las posibles repercusiones de la IA en los j\u00f3venes, con expertos y padres preocupados por la posibilidad de que los j\u00f3venes usuarios establezcan v\u00ednculos potencialmente nocivos con personajes de IA o accedan a contenidos inapropiados para su edad.<\/p>\n\n\n\n
Nomi y Replika dicen que sus plataformas son solo para adultos, y Character.AI afirma que recientemente puso en marcha medidas adicionales de seguridad para los j\u00f3venes. Pero los investigadores se\u00f1alan que las empresas deben hacer m\u00e1s para mantener a los ni\u00f1os alejados de sus plataformas o protegerlos del acceso a contenidos inapropiados.<\/p>\n\n\n\n
Presi\u00f3n para que los chatbots de IA sean m\u00e1s seguros
La semana pasada, el Wall Street Journal inform\u00f3 que los chatbots de inteligencia artificial de Meta pueden participar en conversaciones de juegos de rol sexuales, incluso con usuarios menores de edad. Meta calific\u00f3 los hallazgos del Wall Street Journal de \u201cfabricados\u201d, pero restringi\u00f3 el acceso a este tipo de conversaciones a los usuarios menores de edad a ra\u00edz del informe<\/p>\n\n\n\n
A ra\u00edz de la demanda interpuesta contra Character.AI por la madre de Sewell Setzer, de 14 a\u00f1os, y de una demanda similar presentada contra la empresa por otras dos familias, dos senadores estadounidenses pidieron en abril informaci\u00f3n sobre las pr\u00e1cticas de seguridad de los j\u00f3venes a las empresas Character Technologies, fabricante de Character.AI; Luka, fabricante del servicio de chatbot Replika; y Chai Research Corp, fabricante del chatbot Chai.<\/p>\n\n\n\n
Los legisladores del estado de California tambi\u00e9n propusieron a principios de este a\u00f1o una ley que obligar\u00eda a los servicios de IA a recordar peri\u00f3dicamente a los j\u00f3venes usuarios que est\u00e1n chateando con un personaje de IA y no con un humano.<\/p>\n\n\n\n
Pero el informe de este mi\u00e9rcoles va un paso m\u00e1s all\u00e1 al recomendar a los padres que no dejen a sus hijos utilizar aplicaciones de asistencia con inteligencia artificial.<\/p>\n\n\n\n
Replika no respondi\u00f3 a las peticiones de comentarios sobre el informe. <\/p>\n","protected":false},"excerpt":{"rendered":" CNN –Las aplicaciones de inteligencia artificial (IA) de asistencia o tipo acompa\u00f1ante plantean \u201criesgos inaceptables\u201d para ni\u00f1os y adolescentes, se\u00f1al\u00f3 la organizaci\u00f3n sin \u00e1nimo de lucro Common Sense Media en un informe publicado el mi\u00e9rcoles En EE.UU.: llama o env\u00eda un mensaje de texto al 988, la L\u00ednea de Prevenci\u00f3n del Suicidio y Crisis. El […]<\/p>\n","protected":false},"author":4,"featured_media":995,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"om_disable_all_campaigns":false,"pagelayer_contact_templates":[],"_pagelayer_content":"","_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[1],"tags":[163,165,162],"class_list":["post-994","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia","tag-chat","tag-chatgpt","tag-ia"],"acf":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/marcaweb.net\/joined\/wp-content\/uploads\/2025\/05\/WhatsApp-Image-2025-05-01-at-08.43.34.jpeg?fit=1160%2C652&ssl=1","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/posts\/994","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/comments?post=994"}],"version-history":[{"count":1,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/posts\/994\/revisions"}],"predecessor-version":[{"id":998,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/posts\/994\/revisions\/998"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/media\/995"}],"wp:attachment":[{"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/media?parent=994"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/categories?post=994"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/marcaweb.net\/joined\/wp-json\/wp\/v2\/tags?post=994"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Fuente<\/strong>: https:\/\/cnnespanol.cnn.com\/2025\/04\/30\/ciencia\/ninos-adolescentes-menores-18-no-usar-aplicaciones-acompanamiento-ia-trax<\/p>\n\n\n\n