python二元分词函数,python文本分词处理

如何利用Python对中文进行分词处理

python做中文分词处理主要有以下几种：结巴分词、NLTK、THULAC

1、fxsjy/jieba

结巴的标语是：做最好的 Python 中文分词组件，或许从现在来看它没做到最好，但是已经做到了使用的人最多。结巴分词网上的学习资料和使用案例比较多，上手相对比较轻松，速度也比较快。

结巴的优点：

支持三种分词模式

支持繁体分词

支持自定义词典

MIT 授权协议

2、THULAC：一个高效的中文词法分析工具包

前两天我在做有关于共享单车的用户反馈分类，使用jieba分词一直太过零散，分类分不好。后来江兄给我推荐了THULAC： 由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包 。THULAC的接口文档很详细，简单易上手。

THULAC分词的优点：

能力强。利用规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。

准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％

速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度达到1.3MB/s，速度比jieba慢

Python 解决中文编码问题基本可以用以下逻辑：

utf8（输入） —— unicode（处理） —— （输出）utf8

Python 里面处理的字符都是都是unicode 编码，因此解决编码问题的方法是把输入的文本（无论是什么编码）解码为（decode）unicode编码，然后输出时再编码（encode）成所需编码。

由于处理的一般为txt 文档，所以最简单的方法，是把txt 文档另存为utf-8 编码，然后使用Python 处理的时候解码为unicode（sometexts.decode('utf8')），输出结果回txt 的时候再编码成utf8（直接用str() 函数就可以了）。

如何用 Python 中的 NLTK 对中文进行分析和处理

一、NLTK进行分词

用到的函数：

nltk.sent_tokenize(text) #对文本按照句子进行分割

nltk.word_tokenize(sent) #对句子进行分词

二、NLTK进行词性标注

用到的函数：

nltk.pos_tag(tokens)#tokens是句子分词后的结果，同样是句子级的标注

三、NLTK进行命名实体识别（NER）

用到的函数：

nltk.ne_chunk(tags)#tags是句子词性标注后的结果，同样是句子级

上例中，有两个命名实体，一个是Xi,这个应该是PER，被错误识别为GPE了； 另一个事China，被正确识别为GPE。

四、句法分析

nltk没有好的parser，推荐使用stanfordparser

但是nltk有很好的树类，该类用list实现

可以利用stanfordparser的输出构建一棵python的句法树

如何用python对文章中文分词并统计词频

1、全局变量在函数中使用时需要加入global声明

2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。

3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组

4、KEY，Value值可以使用dict存储，排序后可以使用list存储

5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词

6、命令行使用需要导入os,os.system(cmd)

python中pow(x,y[,z])函数怎么使用？

你的语法有错误。

内置函数power(x, y[, z])中的x和y是必选参数，z是可选参数；如果使用了参数z，中括号必须去掉，即power(x,y,z)，其结果是x的y次方再对z求余数，但是这种方式比power(x,y) % z的执行效率要高。

你可以使用power(2, 4)或者power(2,4,3)。

power(2,4)=2的4次方=16；

power(2,4,3)=2的4次方再模上3=16 % 3=1。

python为什么有二元运算符有什么好处

因为二元运算符是作用在两个元素上的，可以更好的层层递进。

比如+，-，*，\都是二元运算符。

实现了减法的实际语义，可以找到binary_op1()函数。它提供了一种管理二元操作的通用方法。

python的 learn.preprocessing.vocabularyprocessor怎么理解

1 tf.contrib.learn.preprocessing.VocabularyProcessor (max_document_length, min_frequency=0, vocabulary=None, tokenizer_fn=None)

参数：

max_document_length: 文档的最大长度。如果文本的长度大于最大长度，那么它会被剪切，反之则用0填充。

min_frequency: 词频的最小值，出现次数小于最小词频则不会被收录到词表中。

vocabulary: CategoricalVocabulary 对象。

tokenizer_fn：分词函数

代码：

from tensorflow.contrib import learn

import numpy as np

max_document_length = 4

x_text =[

'i love you',

'me too'

]

vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)

vocab_processor.fit(x_text)

print next(vocab_processor.transform(['i me too'])).tolist()

x = np.array(list(vocab_processor.fit_transform(x_text)))

print x

[1, 4, 5, 0]

[[1 2 3 0]

[4 5 0 0]]