一种新型的文本无监督特征选择方法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP181

基金项目:

国家自然科学基金 , 重庆市高等教育教学改革研究项目


A New Methal Unsupervised Feature Selection for Text Mining
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    结合文档频数DF(Document Frequency)和特征相似度FS(Feature Similarity)方法,提出一种新的无监督特征选择方法DFFS.该方法利用文档频数过滤掉90%的特征之后,再借助特征相似度移除尽可能多的冗余特征.采用K-均值方法,对比DFFS方法与其他3种常用特征选择方法(DF,TC,TS)的聚类性能.实验一:当特征数量由6 000减少到1 047时,DF方法的聚类性能急剧下降,而DFFS方法则有提高,甚至当特征数量进一步减少到350时,DFFS方法也没有下降.实验二:在保持10%~2%的特征时,DFFS方法优于其他3种方法,特别是在只保留2%的特征时,DFFS方法的明显优于其他方法.

    Abstract:

    A novel approach for unsupervised feature selection is presented, denoted by DFFS, which combines Document Frequency and Feature Similarity. This method removeds ninety percent words based on document frequency, then removeds the redundancy features according to feature similarity. K-mean approach is used to measure the superiority of DFFS to the other common used feature selection methods, such as DF, TC and TS. In the first experiment, the clustering performance of DF is decreased sharply when the feature number decreased from 6000 to 1047, where DFFS keeping or increasing the clustering performance. In another experiment, with the feature number raimining at 10% - 2%, DFFS is superiority to the other three approaches, and is apparently superiority to others with 2% ramianing features.

    参考文献
    相似文献
    引证文献
引用本文

何中市,徐浙君.一种新型的文本无监督特征选择方法[J].重庆大学学报,2007,30(6):77-.

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:2007-02-19
  • 录用日期:
  • 在线发布日期:
  • 出版日期: