IKAnalyzer结合Lucene实现中文分词(示例讲解)

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> 
<properties> <comment>IK Analyzer 扩展配置</comment>
 　　<entry key="ext_dict">ext.dic;</entry>
 　　<entry key="ext_stopwords">stopword.dic;</entry>
</properties>

public class MyIkTest {
　　public static String str = "中国人民银行我是中国人";
　　public static void main(String[] args) { 
　　　　 MyIkTest test = new MyIkTest(); 
　　　　 test.wordCount("", str);
　　 }
 　　private void wordCount(String arg,String content) {
 　　　 Analyzer analyzer = new IKAnalyzer(true); // IK实现分词 true:用最大词长分词 false:最细粒度切分 
　　　　StringReader reader = null; 
　　　　TokenStream ts = null; try { 
　　　　　　reader = new StringReader(content); 
　　　　　　ts = analyzer.tokenStream(arg,reader); 
　　　　　　CharTermAttribute term = ts.addAttribute(CharTermAttribute.class); 
　　　　　　ts.reset(); 
　　　　　　Map<String, Integer> map = new HashMap<String, Integer>(); //统计 
　　　　　　while (ts.incrementToken()) { 
　　　　　　　　String str = term.toString(); 
　　　　　　　　Object o = map.get(str); 
　　　　　　　　if (o == null) { 
　　　　　　　　　　map.put(str, new Integer(1)); 
　　　　　　　　 } else { 
　　　　　　　　　　Integer i = new Integer(((Integer) o).intValue() + 1); 
　　　　　　　　　　 map.put(str, i); 
　　　　　　　　} 
　　　　　　 } 
　　　　　　List<Entry<String, Integer>> list = new ArrayList<Entry<String, Integer>>(map.entrySet()); 
　　　　　　Collections.sort(list,new Comparator<Map.Entry<String, Integer>>() { 
　　　　　　　　public int compare(Map.Entry<String, Integer> o1,Map.Entry<String, Integer> o2) { 
　　　　　　　　　　return (o2.getValue() - o1.getValue()); 
　　　　　　　　} });  
　　　　　　 for (int k=0;k<list.size();k++) { 
　　　　　　　　Entry<String, Integer> it=list.get(k); 
　　　　　　　　String word = it.getKey().toString(); 
　　　　　　　　System.err.println(word+"["+it.getValue()+"]"); 
　　　　　　　}  
　　　　} catch (Exception e) {
 　　　 } finally { 
　　　　　　if(reader != null){ 
　　　　　　　　 reader.close(); 
　　　　　　} 
　　　　　　if (analyzer != null) { 
　　　　　　　　analyzer.close(); 
　　　　　　} 
　　　　 } 
　　　}
　　}