바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

단어 중의성 해소를 위한 지도학습 방법의 통계적 자질선정에 관한 연구

A Study on Statistical Feature Selection with Supervised Learning for Word Sense Disambiguation

한국비블리아학회지 / 한국비블리아학회지, (P)1229-2435; (E)2799-4767
2011, v.22 no.2, pp.5-25
https://doi.org/10.14699/kbiblia.2011.22.2.005
이용구 (계명대학교 문헌정보학과)
  • 다운로드 수
  • 조회수

초록

이 연구는 지도학습 방법을 이용한 단어 중의성 해소가 최적의 성능을 가져오는 통계적 자질선정 방법과 다양한 문맥의 크기를 파악하고자 하였다. 실험집단인 한글 신문기사에 자질선정 기준으로 정보획득량, 카이제곱 통계량, 문헌빈도, 적합성 함수 등을 적용하였다. 실험 결과, 텍스트 범주화 기법과 같이 단어 중의성 해소에서도 자질선정 방법이 매우 유용한 수단이 됨을 알 수 있었다. 실험에 적용한 자질선중 기준 중에 정보획득량이 가장 좋은 성능을 보였다. SVM 분류기는 자질집합 크기와 문맥 크기가 클수록 더 좋은 성능을 보여 자질선정에 영향을 받지 않았다. 나이브 베이즈 분류기는 10% 정도의 자질집합 크기에서 가장 좋은 성능을 보였다. kNN의 경우 10% 이하의 자질에서 가장 좋은 성능을 보였다. 단어 중의성 해소를 위한 자질선정을 적용할 때 작은 자질집합 크기와 큰 문맥 크기를 조합하거나, 반대로 큰 자질집합 크기와 작은 문맥 크기를 조합하면 성능을 극대화 할 수 있다.

keywords
단어 중의성 해소, 통계적 자질선정, 문맥 크기, 나이브 베이즈 분류기, kNN 분류기

Abstract

This study aims to identify the most effective statistical feature selecting method and context window size for word sense disambiguation using supervised methods. In this study, features were selected by four different methods: information gain, document frequency, chi-square, and relevancy. The result of weight comparison showed that identifying the most appropriate features could improve word sense disambiguation performance. Information gain was the highest. SVM classifier was not affected by feature selection and showed better performance in a larger feature set and context size. Naive Bayes classifier was the best performance on 10 percent of feature set size. kNN classifier on under 10 percent of feature set size. When feature selection methods are applied to word sense disambiguation, combinations of a small set of features and larger context window size, or a large set of features and small context windows size can make best performance improvements.

keywords
단어 중의성 해소, 통계적 자질선정, 문맥 크기, 나이브 베이즈 분류기, kNN 분류기

한국비블리아학회지