SciELO - Scientific Electronic Library Online

 
vol.14 issue1A MDA Approach for Navigational and User PerspectivesExtensions of UML to Model Aspect-oriented Software Systems author indexsubject indexarticles search
Home Pagealphabetic serial listing  

CLEI Electronic Journal

On-line version ISSN 0717-5000

Abstract

CECCHINI, Rocío L.; LORENZETTI, Carlos M.; MAGUITMAN, Ana G.  and  MENCZER, Filippo. A Semantic Framework for Evaluating Topical Search Methods. CLEIej [online]. 2011, vol.14, n.1, pp. 2-2. ISSN 0717-5000.

La falta de técnicas confiables y eficientes para la evaluación de sistemas de recuperación de información ha generado un cuello de botella en el desarrollo de métodos de recuperación novedosos. En los enfoques tradicionales las evaluaciones de relevancia son proporcionadas de forma manual por usuarios o evaluadores contratados. Sin embargo, dado que estos métodos no escalan con la complejidad y heterogeneidad de la información digital disponible, son ineficientes o poco confiables. Por otro lado, las técnicas automáticas podrían ser eficientes pero descartan información semántica que normalmente es importante para la evaluación del rendimiento real de los sistemas. Este artículo propone implementar una plataforma automática de evaluación semántica para sistemas de recuperación de información a través de la utilización de ontologías temáticas y de información de similitud semántica derivada de esas ontologías. El uso de esta información permite aprovechar la noción de relevancia parcial, generalizando las métricas de evaluación tradicionales y dando lugar a medidas de rendimiento novedosas, como la precisión semántica y la media armónica semántica. La utilidad del método propuesto está validada por estudios de usuario y se ilustra su aplicación mediante la evaluación de sistemas de recuperación temáticos. Los sistemas evaluados incluyen un método base, una versión supervisada del método de refinamiento de consultas Bo1 y dos algoritmos evolutivos multiobjetivo para la recuperación de información basados en contexto. Por último, se discuten las ventajas de la utilización de métricas de evaluación que consideran la información de similitud semántica y relevancia parcial sobre las técnicas existentes basadas en la noción de relevancia total.

Keywords : recuperación de información; evaluación; ontologías temáticas; similitud semántica.

        · abstract in English     · text in English     · pdf in English