java分词的代码 java单词分割

在线等，比较急！！！我用java版的结巴分词写了一段代码，怎样将它输出到指定的txt文件中？

String str = segmenter.sentenceProcess(s);

System.out.println(str);

BufferedWriter out = new BufferedWriter(new FileWriter("F:\\out.txt"));

out.append(str);

编写程序将字符串 hello java world 进行分词,并逐个显示在屏幕上;

用Java的StringTokenizer可以直接将字符串按照空格进行分词。

import java.util.StringTokenizer;

public class Test2 {

public static void main(String [] args) {

String str = "hello java world";

StringTokenizer st = new StringTokenizer(str);

while (st.hasMoreTokens()) {

System.out.println(st.nextToken());

}

}

}

java语言编写一个String的分词程序，功能就是计算输入英文句子的单词个数

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

public class Danci {

public static void main(String[] args){

String str = new String();

System.out.print("请输入一个英文句子java分词的代码：");

try{

BufferedReader br = new BufferedReader(new InputStreamReader(System.in));//获取键盘输入

str = br.readLine();

}catch(IOException e){

e.printStackTrace();

}

String []s = str.split(" ");//转换成数组

System.out.println("java分词的代码你输入java分词的代码的句子共有单词 "+s.length+" 个");//s.length获取数组长度

}

}

//此程序只能获取一句话java分词的代码的单词个数.

java编个中文分词的程序

import java.io.Reader;

import java.io.StringReader;

import org.apache.lucene.analysis.*;

import org.apache.lucene.analysis.cjk.CJKAnalyzer;

import org.apache.lucene.analysis.cn.ChineseAnalyzer;

import org.apache.lucene.analysis.standard.StandardAnalyzer;

import org.mira.lucene.analysis.MIK_CAnalyzer;

public class JeAnalyzer {

    public static void testStandard(String testString) {

        try {

            Analyzer analyzer = new StandardAnalyzer();

            Reader r = new StringReader(testString);

            StopFilter sf = (StopFilter) analyzer.tokenStream("", r);

            System.err.println("=====standard analyzer====");

            Token t;

            while ((t = sf.next()) != null) {

                System.out.println(t.termText());

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    public static void testCJK(String testString) {

        try {

            Analyzer analyzer = new CJKAnalyzer();

            Reader r = new StringReader(testString);

            StopFilter sf = (StopFilter) analyzer.tokenStream("", r);

            System.err.println("=====cjk analyzer====");

            Token t;

            while ((t = sf.next()) != null) {

                System.out.println(t.termText());

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    public static void testChiniese(String testString) {

        try {

            Analyzer analyzer = new ChineseAnalyzer();

            Reader r = new StringReader(testString);

            TokenFilter tf = (TokenFilter) analyzer.tokenStream("", r);

            System.err.println("=====chinese analyzer====");

            Token t;

            while ((t = tf.next()) != null) {

                System.out.println(t.termText());

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    public static String transJe(String testString, String c1, String c2) {

        String result = "";

        try {

            Analyzer analyzer = new MIK_CAnalyzer();

            Reader r = new StringReader(testString);

            TokenStream ts = (TokenStream) analyzer.tokenStream("", r);

            Token t;

            while ((t = ts.next()) != null) {

                result += t.termText() + ",";

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

        return result;

    }

    public static void main(String[] args) {

        try {

            String testString = "中文分词的方法其实不局限于中文应用，也被应用到英文处理，如手写识别，单词之间的空格就很清楚，中文分词方法可以帮助判别英文单词的边界";

            System.out.println("测试的语句    "+testString);

            String sResult[] = transJe(testString, "gb2312", "utf-8").split(",");

            for (int i = 0; i  sResult.length; i++) {

                System.out.println(sResult[i]);

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

}

jar包  

lucene-analyzers-2.4.1.jar

lucene-core-2.4.1.jar

IKAnalyzer2.0.2OBF.jar

关于java分词的代码和java单词分割的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。