En un panorama donde la inteligencia artificial (IA) avanza a pasos agigantados y su integración en el sector de la salud es cada vez más palpable, es fundamental que como profesionales de la salud mental estemos al tanto de sus capacidades, pero sobre todo, de sus limitaciones y riesgos.
Un estudio reciente «Pitfalls of Large Language Models in Medical Ethics Reasoning» publicado en NPJ Digital Medicine, y llevado a cabo por investigadores de la Icahn School of Medicine at Mount Sinai, en colaboración con el Rabin Medical Center en Israel. DOI 10.1038/s41746-025-01792-y, han arrojado luz sobre deficiencias críticas en el razonamiento ético médico de los modelos de lenguaje grandes (LLM), como ChatGPT. Estos estudios, junto con la creciente preocupación por las «alucinaciones» de la IA en contextos clínicos, nos impulsan a reflexionar sobre el papel indispensable del juicio humano en nuestra práctica.
La paradoja de la IA: Eficiencia versus Nuance
Los LLM son poderosos y eficientes, pero esta investigación sugiere que incluso los modelos más avanzados pueden cometer errores sorprendentemente simples ante escenarios éticos médicos complejos. La inspiración para este estudio provino del concepto de Daniel Kahneman sobre el «pensamiento rápido y lento» («Thinking, Fast and Slow»), donde los LLM tienden a caer en el pensamiento intuitivo y familiar (Sistema 1), incluso cuando la situación exige un razonamiento analítico y deliberado (Sistema 2).
Esto significa que la IA puede por defecto ofrecer la respuesta más familiar o intuitiva, pasando por alto detalles críticos. En situaciones cotidianas, esto podría pasar desapercibido, pero en el cuidado de la salud, donde las decisiones tienen serias implicaciones éticas y clínicas, pasar por alto esos matices puede tener consecuencias reales para los pacientes.
Deficiencias en el Razonamiento Ético Médico
Los investigadores probaron varios LLM disponibles comercialmente utilizando acertijos de pensamiento lateral y casos de ética médica ligeramente modificados. Los resultados fueron contundentes:
- El Dilema del Cirujano Modificado: En el clásico «Dilema del Cirujano» (que destaca el sesgo de género), los investigadores modificaron el escenario para indicar explícitamente que el padre del niño era el cirujano. A pesar de esta información clara, muchos LLM volvieron a la solución original de que el cirujano era la madre, ignorando los nuevos detalles que invalidaban esa respuesta. Esta incapacidad para procesar nueva información subraya una limitación fundamental en sus habilidades de razonamiento.
- Consentimiento para Transfusión de Sangre: En otro dilema ético clásico donde los padres religiosos rechazan una transfusión de sangre que salva vidas para su hijo, los investigadores alteraron el escenario para que los padres ya hubieran consentido. Sin embargo, muchos modelos aún recomendaban anular una negativa que ya no existía. Esto sugiere un sobreentrenamiento del modelo de IA que se manifiesta en respuestas rígidas, fallando en reconocer que el dilema ético se había resuelto.
Estos hallazgos son alarmantes, con tasas de error en preguntas de ética médica que oscilan entre el 76% y el 96% en las pruebas realizadas.
El Peligro de las Alucinaciones de la IA
Además de los fallos en el razonamiento ético, otro problema crítico es lo que se conoce como «alucinaciones» de la IA. Una alucinación ocurre cuando un LLM no encuentra una respuesta apropiada y simplemente «inventa» algo. Estas respuestas fabricadas son particularmente problemáticas porque a menudo son muy convincentes y difíciles de distinguir de la información fáctica.
En el contexto clínico, las alucinaciones pueden crear serios problemas:
- Fabricación y Atribución Errónea: La IA puede fabricar información que simplemente no existe en los registros clínicos o, peor aún, atribuir erróneamente enfermedades (por ejemplo, documentar que un paciente tiene diabetes porque su madre la tiene).
- Pérdida de Contexto: La IA también puede tener dificultades con el contexto, introduciendo elementos irrelevantes o inconsistencias (como cambiar el género de un paciente) dentro de un mismo documento.
- Consecuencias en Cascada: Una vez que la información incorrecta entra en el historial médico, se copia y comparte a través de múltiples sistemas y proveedores, volviéndose extremadamente difícil de corregir y propagando el error. Esto puede tener consecuencias devastadoras a largo plazo para el paciente (por ejemplo, dificultades con seguros de vida o empleo si se les atribuye una enfermedad grave inexistente).
- Erosión de la Confianza: La propagación de errores también erosiona la confianza en el sistema. Si la IA no puede mantener la coherencia sobre datos básicos, ¿cómo se puede confiar en el resto de la información que produce?.
Implicaciones para los Psicólogos y la Salud Mental
Como profesionales de la salud mental, estas deficiencias de la IA resuenan profundamente con nuestro trabajo, especialmente porque la gente ya está recurriendo a la IA para apoyo emocional y consejos.
- No hay sustituto para el Factor Humano: Expertos como la psiquiatra Vicky Pérez y el psicólogo Efrén Martínez coinciden en que, aunque la IA puede brindar contención en un momento dado o información general sobre salud mental, no puede reemplazar el factor humano, la empatía, la capacidad de entender la historia única de un paciente y el afecto que se teje durante una terapia. Todo esto es parte fundamental del proceso de sanación.
- Riesgos en Casos Graves: La IA no es una solución para problemas de salud mental muy serios como adicciones, bipolaridad o depresión. Las indicaciones de la IA pueden ser importantes para disminuir la ansiedad o mejorar momentos de tensión, pero no existe garantía de un diagnóstico certero o una decisión terapéutica adecuada, y existen riesgos si los síntomas son muy graves. Un modelo de IA, por ejemplo, respondió a una usuaria que expresaba ideas suicidas con empatía pero no ofreció una intervención directa, y cuando se le preguntó sobre métodos, se mantuvo en un tono general.
- Reemplazo de Relaciones Humanas: Los adolescentes, por ejemplo, están usando la IA como una fuente principal de consejos personales y apoyo emocional, algunos encontrando las conversaciones con IA «tan satisfactorias o más satisfactorias» que hablar con amigos reales. Sin embargo, esta tendencia puede redefinir las relaciones humanas y exacerbar la soledad, llevando a una dependencia que impide el desarrollo de habilidades sociales cruciales en el mundo real.
- Pérdida de Auto-Confianza: Los jóvenes que confían en la IA para tareas como redactar correos o mensajes pueden perder la confianza en sí mismos para tomar decisiones, necesitando la retroalimentación de la IA antes de sentirse seguros.
La Necesidad de Supervisión Humana y Uso Reflexivo
Los hallazgos no sugieren que la IA no tenga lugar en la práctica médica, sino que resaltan la necesidad de una supervisión humana reflexiva, especialmente en situaciones que requieren sensibilidad ética, juicio matizado o inteligencia emocional. La IA debe ser vista como un complemento para mejorar la experiencia clínica, no un sustituto.
- Definir el Problema: Las organizaciones de salud deben definir claramente qué problema intentan resolver con la IA. No se debe saltar a aplicaciones clínicas de alto riesgo sin comprender lo que la tecnología puede o no puede hacer de manera confiable.
- Validación y Confianza: Las herramientas de IA deben elegirse cuidadosamente y validarse con datos reales. Los proveedores deberían ofrecer niveles de confianza sobre la precisión de sus sistemas.
- Humanos en el Circuito: Lo más importante es mantener la supervisión humana en todo momento. Los humanos deben validar las salidas de la IA antes de que se implementen o documenten. Cuando los humanos detectan errores de la IA, esa retroalimentación puede ayudar a mejorar el sistema con el tiempo.
- Consideraciones Éticas: Es fundamental abordar las consideraciones éticas con respecto a la privacidad de los datos y la transparencia de los algoritmos.
En resumen, la integración de la IA en la salud mental es un camino prometedor, pero lleno de complejidades. Como psicólogos, nuestro papel es esencial para garantizar que la tecnología se utilice de manera ética, segura y eficaz, siempre priorizando el bienestar del paciente y reconociendo que la comprensión profunda de la experiencia humana, la empatía y la relación terapéutica son insustituibles. Es un momento de cautela, aprendizaje y una fuerte defensa del valor de la intervención humana cualificada.
