{"id":30883054,"date":"2024-07-08T10:50:53","date_gmt":"2024-07-08T08:50:53","guid":{"rendered":"https:\/\/www.upo.es\/diario\/?p=30883054"},"modified":"2024-07-17T09:59:37","modified_gmt":"2024-07-17T07:59:37","slug":"curva-imcp-mejora-evaluacion-calidad-prediccion-sistemas-diagnostico-medico","status":"publish","type":"post","link":"https:\/\/www.upo.es\/diario\/ciencia\/2024\/07\/curva-imcp-mejora-evaluacion-calidad-prediccion-sistemas-diagnostico-medico\/","title":{"rendered":"Desarrollan un m\u00e9todo que mejora la evaluaci\u00f3n de la calidad en la predicci\u00f3n de los sistemas de diagn\u00f3stico m\u00e9dico"},"content":{"rendered":"
\"Imagen
Imagen: Mildred R\u00edos (Pixabay)<\/figcaption><\/figure>\n

En el campo de la biomedicina, la evaluaci\u00f3n de la calidad de los sistemas de diagn\u00f3stico es fundamental para garantizar que se aplican soluciones adecuadas. En los modelos predictivos tiene especial relevancia el hecho de que los valores objeto de estudio son de distinta clase (multiclase) y estas clases a su vez presentan una gran variedad en su frecuencia. Es lo que se conoce como desbalanceo o desequilibrio de datos.<\/p>\n

En contextos m\u00e9dicos es de suma importancia disponer de un m\u00e9todo capaz de mostrar la calidad del sistema en cuanto a las predicciones que realiza<\/strong>. Hasta ahora, para evaluar de forma gr\u00e1fica la calidad de un sistema de diagn\u00f3stico solo exist\u00eda la curva ROC<\/strong> (Receiver Operating Characteristic<\/em>), un an\u00e1lisis utilizado para medir el coste\/beneficio de decisiones diagn\u00f3sticas, pero que no funciona con conjuntos de datos multiclase como, por ejemplo, distintos tipos de tumores.<\/p>\n

\"Jes\u00fas<\/a>
Jes\u00fas Aguilar<\/figcaption><\/figure>\n

Investigadores del grupo Data Analytics Science & Engineering<\/em>, liderado por Jes\u00fas Aguilar<\/strong>, catedr\u00e1tico de Lenguajes y Sistemas Inform\u00e1ticos de la Universidad Pablo de Olavide, en colaboraci\u00f3n con Marcin Michalak<\/strong>, investigador de la Silesian University of Technology (Polonia), han propuesto un m\u00e9todo innovador para la evaluaci\u00f3n de sistemas de diagn\u00f3stico, denominado curva IMCP, que muestra el rendimiento de la clasificaci\u00f3n y, por otro lado, identifica para qu\u00e9 valores de la variable objetivo el modelo est\u00e1 ofreciendo mejor o peor calidad en la predicci\u00f3n.<\/p>\n

La curva IMPC (Imbalanced Multiclass Classification Performance<\/em>)<\/strong> ha sido evaluada en la predicci\u00f3n de 35 tipos de tumores a partir de una colecci\u00f3n de 6.756 muestras de tumores metast\u00e1sicos y primarios obtenidos por la Hartwig Medical Foundation<\/em> (Pa\u00edses Bajos) y el Pan-Cancer Analysis of Whole Genomes Consortium<\/em>, analizando un total de 511 caracter\u00edsticas. Como resultado, se revela que un modelo predictivo para tumores aparentemente fiable (92,4% de exactitud en la predicci\u00f3n), podr\u00eda mostrar un comportamiento desigual para diferentes tipos de tumores (bueno en la predicci\u00f3n de melanoma, pero malo en el caso de sarcoma), lo que necesariamente deber\u00eda conducir a un examen humano m\u00e1s detallado en el caso de ciertos tipos de tumores, en consonancia con la fiabilidad del sistema de diagn\u00f3stico para esos casos.<\/p>\n

El an\u00e1lisis propuesto por Aguilar y Michalak permite evaluar el rendimiento para cada valor por separado<\/strong>. De este modo, revela en qu\u00e9 casos el rendimiento global oculta distintos resultados para diferentes tipos de valores (multiclase).<\/strong> As\u00ed, si el rendimiento global es del 92,4%, podr\u00eda darse el caso en que el sistema diagnostique el melanoma con una exactitud del 98,6%, pero el sarcoma con 17,5%. Por tanto, la curva IMCP posibilita identificar la fiabilidad de la predicci\u00f3n a partir de conjuntos de datos de distinta clase.<\/p>\n

El m\u00e9todo, basado en el c\u00e1lculo de distancias de funciones de distribuci\u00f3n de probabilidad, es aplicable en contextos en donde la curva ROC no puede usarse, cubriendo un vac\u00edo existente en la actualidad en el campo de machine learning<\/em>, con utilidad en multitud de disciplinas<\/strong>.<\/p>\n

La curva IMCP puede visualizarse con facilidad a partir de las probabilidades de asignaci\u00f3n a cada valor de la variable objetivo proporcionadas por el sistema de diagn\u00f3stico, mediante el uso de una librer\u00eda implementada en Python, de acceso libre y c\u00f3digo abierto, publicada en https:\/\/github.com\/adaa-polsl\/imcp<\/a>. El trabajo ha sido publicado por la editorial Springer-Nature.<\/p>\n

\"Descripci\u00f3n<\/a>
Descripci\u00f3n de la metodolog\u00eda usada para la curva IMCP<\/figcaption><\/figure>\n

Referencia:
\n<\/strong>Aguilar-Ruiz, J.S., Michalak, M. Classification performance assessment for imbalanced multiclass data<\/strong>. Scientific Reports 14, 10759 (2024).
\nhttps:\/\/doi.org\/10.1038\/s41598-024-61365-z<\/a><\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

En el campo de la biomedicina, la evaluaci\u00f3n de la calidad de los sistemas de diagn\u00f3stico es fundamental para garantizar que se aplican soluciones adecuadas. En los modelos predictivos tiene especial relevancia el hecho de que los valores objeto de estudio son de distinta clase (multiclase) y estas clases a su vez presentan una gran variedad en su frecuencia. Es[Read More…]<\/a><\/p>\n","protected":false},"author":6,"featured_media":30883056,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[3],"tags":[2604,237,7231,4016,6753,406],"class_list":["post-30883054","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia","tag-area-de-lenguajes-y-sistemas-informaticos","tag-biomedicina","tag-data-science","tag-diagnostico","tag-machine-learning","tag-publicacion"],"_links":{"self":[{"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/posts\/30883054","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/comments?post=30883054"}],"version-history":[{"count":3,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/posts\/30883054\/revisions"}],"predecessor-version":[{"id":30883060,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/posts\/30883054\/revisions\/30883060"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/media\/30883056"}],"wp:attachment":[{"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/media?parent=30883054"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/categories?post=30883054"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.upo.es\/diario\/wp-json\/wp\/v2\/tags?post=30883054"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}