COMPARACIÓN DE CLASIFICADORES SOBRE MULTIPLES DATASETS CON PRUEBAS ESTADÍSTICAS NO PARAMÉTRICAS
Keywords:
Clasificadores, comparación de clasificadores, test no paramétricos, aprendizaje automatizadoAbstract
En este trabajo se utiliza la herramienta Weka para medir el rendimiento de varios clasificadores, se compara el rendimiento de los mismos con varios datasets tomados de UCI; demostrando que aplicando heurísticas para disminuir la dimensión de los datasets, así como la eliminación de ruidos en los mismos no afecta el rendimiento de los clasificadores. Este análisis se realiza aplicando pruebas estadísticas no paramétricas, el test de los rangos con signo de Wilcoxon para la comparación de dos heurísticas y, para la comparación de más de dos heurísticas, el test de Friedman de comparaciones múltiples con los correspondientes test a posteriori de Namenyi y de Bonferroni-Dunn para establecer las conclusiones mediante los procedimientos de Holm y de Hochberg. Alcanzando como resultado que las pruebas estadísticas no paramétricas son fiables para la comparación de los clasificadores y no afecta el rendimiento de los mismos una vez aplicadas las técnicas para la reducción de la complejidad de los datasets. Con resultado principal de esta investigación se puede generalizar este procedimiento para mejorar el rendimiento de clasificadores en otros datasetsDownloads
References
BLAKE, C. 1998. Wine recognition. In: FORINA, M. E. A., PARVUS - AN EXTENDIBLE PACKAGE FOR DATA EXPLORATION, CLASSIFICATION AND CORRELATION. INSTITUTE OF PHARMACEUTICAL AND FOOD ANALYSIS AND TECHNOLOGIES, VIA BRIGATA SALERNO, 16147 GENOA, ITALY (ed.).
C. MARROCCO, R. P. W. D., AND F. TORTORELLA 2008. Maximizing the area under the ROC curve by pairwise feature combination. Pattern Recognition, 41, 1961–1974.
DEMSAR, J. 2006. Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7, 1-30.
DUDA, R. & HART, P. 1973. Pattern Classification and Scene Analysis, NY, John Wiley & Sons.
DUNN, O. J. 1961. Multiple comparisons among means. Journal of the American Statistical Association, 56, 52–64.
FELGAER, P., BRITOS, P., SICRE, J., SERVETTO, A., GARCÍA-MARTÍNEZ, R. & PERICHINSKY, G. Optimización de Redes Bayesianas Basada en Técnicas de Aprendizaje por Instrucción. VIII Congreso Argentino de Ciencias de la Computación., 2003. 1687.
FISHER, R. A. 1959. Statistical methods and scientific inference (2nd edition), New York, Hafner Publishing Co.
FRIEDMAN, M. 1937. The use of ranks to avoid the assumption of normality implicit in the analysis of variance. Journal of the American Statistical Association, 32, 675–701.
FRIEDMAN, M. 1940. A comparison of alternative tests of significance for the problem of m rankings. Annals of Mathematical Statistics, 11, 86–92.
GARCıA-PEDRAJAS, N. & FYFE, C. 2007. Immune network based ensembles. Neurocomputing, , 70(7-9), 1155–1166.
GARCIA, S. & HERRERA, F. 2008. An Extension on “Statistical Comparisons of Classifiers over Multiple Data Sets” for all Pairwise Comparisons. Journal of Machine Learning Research, 9, 2677-2694.
HOCHBERG, Y. 1988. A sharper bonferroni procedure for multiple tests of significance. . Biometrika, 75, 800–802.
HOLM, S. 1979. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6, 65–70.
HOMMEL, G. 1988. A stagewise rejective multiple test procedure. biometrika, 75, 383–386.
IMAN, R. L. & DAVENPORT, J. M. 1980. Approximations of the critical region of the Friedman statistic. Communications in Statistics, 571–595.
J. HAN & KAMBER, M. 2001. Data mining: Concepts and techniques. . Morgan Kauffmann Publishers.
JOHN, G. H. 1997. Enhancements to the Data Mining Process. Ph.D.Thesis, Stanford University.
LIPPMANN, R. 1987. An introduction to computing with neural nets. BEE ASSP Magazine.
MALERBA, D. 1994. Blocks Classification. Multistrategy Learning for Document Recognition Applied Artificial Intelligence, 8, pp. 33-84, 1994.
MITCHELL, T. 1997. Machine Learning, NY, McGraw Hill.
MOWFORTH, P. & SHEPHERD, B. 1987. Vehicle silhouettes. Turing Institute Research Memorandum TIRM-87-018.
NEMENYI, P. B. 1936. Distribution-free Multiple Comparisons. PhD thesis, Princeton University.
PAO, Y. H. 1989. Adaptive Pattern Recognition and Neural Networks, Massachusetts, Addison-Wesley Reading.
QUINLAN, J. 1993. C4.5: Programs for Machine Learning. Morgan Kaufmann. .
QUINLAN, J. R. 1986. Induction of Decision Trees (ID3 algorithm). Machine Learning, Vol 1, 81-106.
RICHARDS, J. A. 1993. Classification using neural networks, Remote Sensing Digital Image Analysis Berlin, Springer-Verlag.
SCHLIMMER, J. 1984. United States Congressional Voting Records Database. In: CONGRESSIONAL QUARTERLY
ALMANAC, T. C., 2ND SESSION 1984, VOLUME XL: CONGRESSIONAL QUARTERLY INC. WASHINGTON, D.C., 1985. (ed.).
SHESKIN, D. 2000. Handbook of Parametric and Nonparametric Statistical Procedures, Chapman & Hall/CRC.
SIGILLITO, V. 1990. Pima Indians Diabetes Database. National Institute of Diabetes and Digestive and Kidney Diseases.
UCI. 2017. UCI Repository Of Machine Learning Databases [Online]. http://www.ics.uci.edu/~mlearn/MLRepository.html.
WEKA 2012. Waitako Environment for Knowledge Analysis. 3.6.8 ed. University of Waikato Hamilton, New Zealand.
WILCOXON, F. 1945. Individual comparisons by ranking methods. Biometrics, 1, 80–83.
ZAR, J. H. 1998. Biostatical Analysis.
