Python的中文处理
一、使用中文字符
在python源码中如果使用了中文字符，运行时会有错误，解决的办法是在源码的开头部分加入字符编码的声明，下面是一个例子：
#!/usr/bin/env python
# -*- coding: cp936 -*-
Python Tutorial中指出，python的源文件可以编码ASCII以外的字符集，最好的做法是在#!行后面用一个特殊的注释行来定义字符集：
# -*- coding: encoding -*-
根据这个声明，Python会尝试将文件中的字符编码转为encoding编码，并且，它尽可能的将指定地编码直接写成Unicode文本。
注意，coding:encoding只是告诉Python文件使用了encoding格式的编码，但是编辑器可能会以自己的方式存储.py文件，因此最后文件保存的时候还需要编码中选指定的ecoding 才行。
二、中文字符的存储
>>> str = u"中文"
>>> str
u'\xd6\xd0\xce\xc4'
>>> str = "中文"
>>> str
'\xd6\xd0\xce\xc4'
u"中文"只是声明unicode，实际的编码并没有变。这样子就发生变化了：
>>> str = "中文"
>>> str
'\xd6\xd0\xce\xc4'
>>> str = str.decode("gb2312")
>>> str
u'\u4e2d\u6587'
更进一步：
>>> s = '中文'
>>> s.decode('gb2312')
u'\u4e2d\u6587'
>>> len(s)
4
>>> len(s.decode('gb2312'))
2
>>> s = u'中文'
>>> len(s)
4
>>> s = '中文test'
>>> len(s)
8
>>> len(s.decode('gb2312'))
6
>>> s = '中文test，'
>>> len(s)
10
>>> len(s.decode('gb2312'))
7
可以看出，对于实际Non-ASCII编码存储的字符串，python可以正确的识别出其中的中文字符以及中文上下文中的标点符号。
前缀“u”表示“后面这个字符串“是一个Unicode字符串”，这仅仅是一个声明，并不表示这个字符串就真的是Unicode了；就好比某正太声称自己已满18岁，但实际上他的真实年龄并不确定，现在体育界年龄造假可不稀罕幺!
那么声明成u有什么作用呢？对于Python来说，只要你声明某字符串是Unicode，它就会用Unicode的一套机制对它进行处理。比方说，做字符串操作的时候会动用到内部的Unicode处理函数，保存的时候以Unicode字符（双字节）进行保存。等等。显而易见，对于一个实际上并不是Unicode的字符串，做Unicode动作的处理，是有可能会出问题的。u 前缀只适用于你的字符串常量真的是Unicode的情况。
三、中文字符的IO操作
用python处理字符串很容易，但是在处理中文的时候需要注意一些问题。比如：
a = "我们是python爱好者"
print a[0]
只能输出“我”字的前半部分，要想输出整个的“我”字还需要：
b = a[0:2]
print b
才行，很不方便，并且当一段文本中同时有中英文如何处理？最好的办法就是转换为unicode。像这样：
c = unicode(a, "gb2312")
print c[0]
这个时候c的下标对应的就是每一个字符，不再是字节，并且通过len(c)就可以获得字符数！还可以很方便的转换为其他编码，比如转换为utf-8：
d = c.encode("utf-8")
四、
str转换为unicode要decode，可以这样想，因为要把字节序列解释成字符序列，字节序列是底层的存放方式，解码（decode）成更高层的字符以便使用；同理，unicode转换为str要encode，就象信息编码（encode）后才存储一样：
s.decode(encoding)
u.encode(encoding)
例如：
>>> s = 'str'
>>> type(s)
>>> type(s.de code())
>>> s = u'str'
>>> type(s)
>>> type(s.en code())
处理中文数据时最好采用如下方式：
1. Decode early（尽早decode, 将文件中的内容转化成unicode再进行下一步处理)
2. Unicode everywhere (程序内部处理都用unicode)
3. Encode late (最后encode回所需的encoding, 例如把最终结果写进结果文件)
下面是一个简单的演示，用re库查询一个中文字符串并打印：
>>> p = https://www.doczj.com/doc/05199951.html,pile(unicode("测试(.*)", "gb2312"))
>>> s = unicode("测试一二三", "gb2312")
>>> for i in p.findall(s):
print i.encode("gb2312")
一二三
五、跨平台处理技巧
如果一个project必须在两个平台上开发，程序应该使用同样的encoding，比如要求所有的文件都使用UTF-8，如果实在不能统一（一般是为了满足许多所谓专家学者莫名其妙的要求），可以退而求其次，用当前系统编码决定文件内的编码：
import locale
import string
import re
#根据当前系统的encoding构造需要的编码取值
lang = string.upper(locale.setlocale(locale.LC_ALL, ""))
textencoding = None
#检查编码的值是不是满足我们需要的情况
if re.match("UTF-8", lang) != None:
# UTF-8编码
textencoding = "utf-8"
elif re.match(r"CHINESE|CP936", lang):
# Windows下的GB编码
textencoding = "gb18030"
elif re.match(r"GB2312|GBK|GB18030", lang):
# Linux下的GB编码
textencoding = "gb18030"
else:
# 其他情况，抛个错误吧
raise UnicodeError
fd = file(filename, "r")
fulltextlist = fd.readlines()
# 把每一行转换成unicode
for each in len(fulltextlist):
fulltextlist[i] = unicode(each, textencoding)
fd.close()
# 如果要打印的话，可以用text.encode(encoding)来恢复成多字节编码
六、异常处理
编码encoding发生在Unicode字符串转换为字节序列时，而解码decoding发生在字节序列转换为Unicode字符串时（encoding always takes a Unicode string and returns a bytes sequence, and decoding always takes a bytes sequence and returns a Unicode string）。
UnicodeDecodeError
UnicodeDncodeError通常发生在将str字符串解码为特定Unicode字符串时。由于不同的编码只能映射部分str字符串到对应的Unicode字符，所以遇到一些字符时解码会失败。
UnicodeEncodeError
UnicodeEncodeError通常发生在将Unicode字符串编码为特定字节序列时。由于不同的编码只能映射部分Unicode字符到对应的str字符串，所以遇到一些字符时编码会失败。
处理python编码转换时的UnicodeDecodeError异常
python提供的unicode转换不像iconv或是mbstowcs之类的方便。如果转换一段unicode("1234中文",'ascii') 到utf8，会直接出现UnicodeDecodeError的错误。如果在你能预知字串符的编码的时候，比如你用unicode('1234中文', 'gbk') 就不会出现错误；不过很多时候，会出现CJK混合的情况，如果要做到将一段CJK文件转换成unicode可能就行不通了。好在python的codecs提供了register_error这个功能：
register_error(name, error_handler)
原理很简单，不过要先看unicode是如何处理异常的。unicode这个函数是将一段string按输入的编码转换成目标的编码，如果出现了不与输入编码相符的，会出现一个
UnicodeDecodeError的异常，通常有三种处理方法：strict、replace、ignore；默认是 strict,就是直接raise UnicodeDecodeError。通过register_error，我们也可以有自己的处理方法，如果遇到与输入的编码不符的时候，我们就自己识别，比如GBK、BIG5、JP的字符。
def cjk_replace(exc):
if not isinstance(exc, UnicodeDecodeError):
raise TypeError("don't know how to handle %r" % exc)
if exc.end + 1 > len(exc.object):
raise TypeError('unknown codec ,the object too short!')
ch1 = ord(exc.object[exc.start:exc.end])
newpos = exc.end + 1
ch2 = ord(exc.object[exc.start + 1:newpos])
sk = exc.object[exc.start:newpos]
if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): # GBK
return (unicode(sk,'cp936'), newpos)
if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0xA1<=ch2<=0xFE): # BIG5
return (unicode(sk,'big5'), newpos)
raise TypeError('unknown codec !')
codecs.register_error("cjk_replace", cjk_replace)
我们的cjk_replace现在只能处理GBK与BIG5的，因为我对编码也不是特别了解，只是大概知道GBK与BIG5的，不太了解JP的。在 cjk_replace这个函数里，我们对不认识的文字进行手工识别，如果认识的编码，就用正确的方法，并返回编码后的内容与新的pos，比如“1234中文”，在pos为4的时候，会调用我们的cjk_replace，我们会返回一个从gbk转换成utf8的“中”字，并返回下个正确的位置“文”的起始位置。当然了，处理“文”的时候，还会再调用一次。下面看看是如何使用的：
filedata = open('test.txt','r).read() #gbk and big5 file
data = unicode(filedata,'ascii','cjk_replace').encode('utf8')
小结
一个比较一般的Python中文处理的流程：
* 将欲处理的字符串用unicode函数以正确的编码转换为Unicode
* 在程序中统一用Unicode字符串进行操作
* 输出时，使用encode方法，将Unicode再转换为所需的编码
有几点要说明一下：
* 所谓“正确的”编码，指得是指定编码和字符串本身的编码必须一致。这个其实并不
那么容易判断，一般来说，我们直接输入的简体中文字符，有两种可能的编码：GB2312（GBK、GB18030）、以及UTF-8
* encode成本地编码的时候，必须要保证目标编码中存在欲转换字符的内码。encode 这种操作一般是通过一个本地编码对应Unicode的编码转换表来进行的，事实上每个本地编码只能映射到Unicode的一部分。但是映射的区域是不同的，比如Big-5对应的Unicode的编码范围和 GBK对应的就不一样（实际上这两个编码有部分范围是重叠的）。所以，Unicode 的一些字符（比如本身就是从GB2312转换来的那些），可以映射到 GBK，但未必可以映射到Big-5，如果你想转换到Big-5，很有可能就会出现编码找不到的异常。但UTF-8的码表范围实际上和Unicode是一样的（只是编码形式不同而已），所以，理论上来说，任何本地编码的字符，都可以被转换到UTF-8
* GB2312、GBK、GB18030本质上是同一种编码标准。只是在前者的基础上扩充了字符数量
* UTF-8和GB编码不兼容
* 出现编解码异常时可能需要自己编写编解码解析函数，这需要了解一些字符编码的知识
参考资料
1、https://www.doczj.com/doc/05199951.html,/thread-1389703-1-2.html
2、 Python的中文处理及其它
https://www.doczj.com/doc/05199951.html,/?p=38
3、 Python处理中文的时候的一些小技巧
https://www.doczj.com/doc/05199951.html,/?p=461
4、Unicode In Python, Completely Demystified. Kumar McMillan
https://www.doczj.com/doc/05199951.html,/talks/unicode
5、 python中文处理好方法
https://www.doczj.com/doc/05199951.html,/bbs/viewthread.php?tid=311
6、 Python的中文处理
https://www.doczj.com/doc/05199951.html,/mrsz/blog/item/7812a5018c2cf2031d9583d2.html
7、 UnicodeDecodeError
https://www.doczj.com/doc/05199951.html,/moin/UnicodeDecodeError
8、 UnicodeEncodeError
https://www.doczj.com/doc/05199951.html,/moin/UnicodeEncodeError
9、如何处理python编码转换时的UnicodeDecodeError异常
https://www.doczj.com/doc/05199951.html,/u/8873/showart_1009737.html
10、codecs — Codec registry and base classes
https://www.doczj.com/doc/05199951.html,/library/codecs.html
Python的中文处理 一、使用中文字符 在python源码中如果使用了中文字符，运行时会有错误，解决的办法是在源码的开头部分加入字符编码的声明，下面是一个例子： #!/usr/bin/env python # -*- coding: cp936 -*- Python Tutorial中指出，python的源文件可以编码ASCII以外的字符集，最好的做法是在#!行后面用一个特殊的注释行来定义字符集： # -*- coding: encoding -*- 根据这个声明，Python会尝试将文件中的字符编码转为encoding编码，并且，它尽可能的将指定地编码直接写成Unicode文本。 注意，coding:encoding只是告诉Python文件使用了encoding格式的编码，但是编辑器可能会以自己的方式存储.py文件，因此最后文件保存的时候还需要编码中选指定的ecoding 才行。 二、中文字符的存储 >>> str = u"中文" >>> str u'\xd6\xd0\xce\xc4' >>> str = "中文" >>> str '\xd6\xd0\xce\xc4' u"中文"只是声明unicode，实际的编码并没有变。这样子就发生变化了： >>> str = "中文" >>> str '\xd6\xd0\xce\xc4' >>> str = str.decode("gb2312") >>> str u'\u4e2d\u6587' 更进一步： >>> s = '中文' >>> s.decode('gb2312') u'\u4e2d\u6587' >>> len(s) 4 >>> len(s.decode('gb2312')) 2 >>> s = u'中文'
Python基础知识：以九九乘法表实例学循环/字符串/ 列表推导式 九九乘法表可以说是我们每个人小的时候，学数认字以来第一个要背诵的数学口诀，没有人不认识它。 下面我们看看在python中如何实现它吧，实现的打印效果如下图所示： 方法1：常规思维版 定义了一个函数myFunc1，其思路同C/C++语言通用实现方法类似，使用两层for循环，外层控制行的转换，内层控制列的口诀输出，代码如下图所示： 打印结果信息时，使用了format函数转换为字符串。每列中每条口诀之间使用“\t”分割，每行之间使用上图的第15行代码换行。 方法2：优雅简洁版 定义了一个函数myFunc2，使用了join函数和列表推导式的
方法实现，代码如下图所示： 1、对于列表推导式，也可以参考例子： 其通用的书写形式如下： [表达式for 变量in 列表] 或者[表达式for 变量in 列表if 条件] 列表推导式内部也可以嵌套使用，如上面代码的实现。 2、对于join函数，其功能是将序列（如字符串、元组、列表等）中的元素以特定的分隔符连接成一个新的字符串。其使用格式如下： ‘‘sep’’.join(seq) 其中，sep是指分隔符，seq是要连接的元素序列。 完整的测试代码 完整的测试代码如下图所示： 说明：本例中python的运行版本是2.7.14，为实现print函数不换行打印的功能（第14行代码，python3系列可直接支持），所以增加了第9行代码“from __future__ import print_function”，以便python2系列中print函数能够支持end 关键字。
大数据文摘作品 编译：糖竹子、吴双、钱天培 自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。 在这篇文章中，你将学习到最常见的10个NL P任务，以及相关资源和代码。
为什么要写这篇文章？ 对于处理NL P问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NL P问题的赛事内容学习该领域的最新发展成果，并应对NL P处理时遇到的各类状况。 因此，我决定将这些资源集中起来，打造一个对N L P常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。 目录: 1.词干提取
2.词形还原 3.词向量化 4.词性标注 5.命名实体消岐 6.命名实体识别 7.情感分析 8.文本语义相似分析 9.语种辨识 10.文本总结 1.词干提取 什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。例如，英文中: 1.b e a u t i f u l和b e a u t i f u l l y的词干同为b e a u t i 2.G o o d,b e t t e r和b e s t的词干分别为g o o d,b e t t e r和b e s t。 相关论文：M a r t i n P o r t e r的波特词干算法原文
相关算法：在P yt h o n上可以使用P o r t e r2词干算法 (h t t p s://t a r t a r u s.o r g/m a r t i n/P o r t e r S t e m m e r/d e f.t xt) 程序实现：这里给出了在p yt h o n的s t e mm i n g库中使用 (https://https://www.doczj.com/doc/05199951.html,/mchaput/stemming/src/5c242aa592a6 d4f0e9a0b2e1afdca4fd757b8e8a/stemming/porter2.py?at=d efault&fileviewer=file-view-default) P o r t e r2算法做词干提取的代码： #!pip install stemmingfrom stemming.porter2 import stem stem("casually") 2.词形还原 什么是词形还原？词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了P O S问题，即词语在句中的语义，词语对相邻语句的语义等。例如，英语中： 1.b e a u t i f u l和b e a u t i f u l l y被分别还原为b e a u t i f u l和b e a u t i f u l l y。 2.g o o d,b e t t e r和b e st被分别还原为g o o d,g o o d和g o o d 相关论文1:这篇文章详细讨论了词形还原的不同方法。想要了解传统词形还原的工作原理必读。(h t t p://www.i j r a t.o r g/d o wn l o a d s/i c a t e st2015/I CA TE S T-2015127.p d f)
1.请补充横线处的代码，让Python 帮你随机选一个饮品吧！ import ____①____ (1) listC = ['加多宝','雪碧','可乐','勇闯天涯','椰子汁'] print(random. ____②____ (listC)) 参考答案： import random (1) listC = ['加多宝','雪碧','可乐','勇闯天涯','椰子汁'] print(listC)) 2.请补充横线处的代码，listA中存放了已点的餐单，让Python帮你增加一个“红烧肉”，去掉一个“水煮干丝”。 listA = ['水煮干丝','平桥豆腐','白灼虾','香菇青菜','西红柿鸡蛋汤'] listA. ____①____ ("红烧肉") ②____ ("水煮干丝") print(listA) 参考代码： listA = ['水煮干丝','平桥豆腐','白灼虾','香菇青菜','西红柿鸡蛋汤'] ("红烧肉") ("水煮干丝") print(listA) 3.请补充横线处的代码。dictMenu中存放了你的双人下午套餐（包括咖啡2份和点心2份）的价格，让Python帮忙计算并输出消费总额。 dictMenu = {'卡布奇洛':32,'摩卡':30,'抹茶蛋糕':28,'布朗尼':26} ___①____ for i in ____②____: sum += i print(sum) 参考代码： dictMenu = {'卡布奇洛':32,'摩卡':30,'抹茶蛋糕':28,'布朗尼':26} sum = 0 for i in (): sum += i print(sum) 4.获得输入正整数 N，反转输出该正整数，不考虑异常情况。 参考代码： N = input() print(N[::-1]) 5. 给定一个数字123456，请采用宽度为25、右对齐方式打印输出，使用加号“+”填充。 参考代码： print("{:+>25}".format(123456)) 6.给定一个数字.9，请增加千位分隔符号，设置宽度为30、右对齐方式打印输出，使用空格填充。 参考代码：
python语言经典案例（基础级） 案例1： 题目：输入一行字符，分别统计出其中英文字母、空格、数字和其它字符的个数。 程序分析：利用while 或for 语句,条件为输入的字符不为'\n'。 实例- 使用while 循环 #!/usr/bin/python # -*- coding: UTF-8 -*- import string s = raw_input('请输入一个字符串:\n') letters = 0 space = 0 digit = 0 others = 0 i=0 while i < len(s): c = s[i] i += 1 if c.isalpha(): letters += 1 elif c.isspace(): space += 1 elif c.isdigit(): digit += 1 else: others += 1 print'char = %d,space = %d,digit = %d,others = %d' % (letters, space,digit,others) 实例- 使用for 循环 #!/usr/bin/python
# -*- coding: UTF-8 -*- import string s = raw_input('请输入一个字符串:\n') letters = 0 space = 0 digit = 0 others = 0 for c in s: if c.isalpha(): letters += 1 elif c.isspace(): space += 1 elif c.isdigit(): digit += 1 else: others += 1 print'char = %d,space = %d,digit = %d,others = %d' % (letters, space,digit,others) 以上实例输出结果为： 案例2： 题目：一球从100米高度自由落下，每次落地后反跳回原高度的一半；再落下，求它在第10次落地时，共经过多少米？第10次反弹多高？ 程序分析：无 程序源代码：
a='helLO' print(a.title()) # 首字母大写a='1 2'
执行结果：1 2 1 2 1 2 00000001 2 1 2 3 4 5 6 7 8 # 3 字符串搜索相关 .find() # 搜索指定字符串，没有返回-1 .index() # 同上，但是找不到会报错 .rfind() # 从右边开始查找 .count() # 统计指定的字符串出现的次数 # 上面所有方法都可以用index代替，不同的是使用index查找不到会抛异常，而find s='hello world' print(s.find('e')) # 搜索指定字符串,没有返回-1 print(s.find('w',1,2)) # 顾头不顾尾，找不到则返回-1不会报错，找到了 则显示索引 print(s.index('w',1,2)) # 同上，但是找不到会报错 print(s.count('o')) # 统计指定的字符串出现的次数 print(s.rfind('l')) # 从右边开始查找 # 4字符串替换 .replace('old','new') # 替换old为new .replace('old','new',次数) # 替换指定次数的old为new s='hello world' print(s.replace('world','python')) print(s.replace('l','p',2)) print(s.replace('l','p',5)) 执行结果： hello python heppo world heppo worpd
# 5字符串去空格及去指定字符 .strip() # 去两边空格 .lstrip() # 去左边空格 .rstrip() # 去右边空格 .split() # 默认按空格分隔 .split('指定字符') # 按指定字符分割字符串为数组 s=' h e-l lo ' print(s) print(s.strip()) print(s.lstrip()) print(s.rstrip()) print(s.split('-')) print(s.split()) # 6字符串判断相关 .startswith('start') # 是否以start开头 .endswith('end') # 是否以end结尾 .isalnum() # 是否全为字母或数字 .isalpha() # 是否全字母 .isdigit() # 是否全数字 .islower() # 是否全小写 .isupper() # 是否全大写 .istitle() # 判断首字母是否为大写 .isspace() # 判断字符是否为空格 # 补充 bin() # 十进制数转八进制 hex() # 十进制数转十六进制 range() # 函数：可以生成一个整数序列 type() # 查看数据类型 len() # 计算字符串长度 format() # 格式化字符串，类似%s，传递值能多不能少
本文由我司收集整编，推荐下载，如有疑问，请与我司联系Python:分割字符串，尊重和保留引号[重复] Python:分割字符串，尊重和保留引号[重复][英]Python: Split a string, respect and preserve quotes [duplicate]Using python, I want to split the following string: ?使用python，我想拆分如下字符串: a=foo, b=bar, c=“foo, bar”, d=false, e=“false” This should result in the following list: 这应导致下列清单: ?[‘a=foo’, ‘b=bar’, ‘c=“foo, bar”‘, ‘d=false’, ‘e=“false’”‘] When using shlex in posix-mode and splitting with “, “, the argument for cgets treated correctly. However, it removes the quotes. I need them because false is not the same as “false”, for instance. ?当在posix模式下使用shlex并使用“，”拆分时，clex的参数得到了正确的处理。但是，它删除了引号。我需要它们，因为false和false不一样。 My code so far: ?到目前为止我的代码: ?import shlexmystring = ‘a=foo, b=bar, c=“foo, bar”, d=false, e=“false”‘splitter = shlex.shlex(mystring, posix=True)splitter.whitespace += ‘,’splitter.whitespace_split = Trueprint list(splitter) # [‘a=foo’, ‘b=bar’, ‘c=foo, bar’, ‘d=false’, ‘e=false’] 19 s = r’a=foo, b=bar, c=“foo, bar”, d=false, e=“false”, f=“foo\”, bar”‘ re.findall(e (?: | )+ matches a sequence of non-delimiters and quoted strings, which is the desired result. 将模式2和3组合在一起(?: |)+匹配一个非分隔符和引号字符串序列，这是期望的结果。0 ?Regex can solve this easily enough: ?Regex可以很容易地解决这个问题: ?import remystring = ‘a=foo, b=bar, c=“foo, bar”, d=false, e=“false”‘splitString = re.split(‘,?\s(?=\w+=)’,mystring) The regex pattern here looks for a whitespace followed by a word character and then an equals sign which splits your string as you desire and maintains any quotes.
自然语言处理课程讲义第一章绪论 王峰 华东师大计算机系
自然语言处理 Natural Language Processing ?参考教材 –俞士汶，常宝宝，詹卫东，《计算语言学概论》，商务印书馆。 –宗成庆，《统计自然语言处理》，清华大学出版社。 –Steven Bird, Ewan Klein, and Edward Loper, Natural Language Processing with Python, Published by O’Reilly Media Inc. ?考核方式与评价结构比例： –期末闭卷考试，考试成绩占60 ％，平时成绩40 % (包括考勤10% + 作业30%)。 ?教师 –王峰(fwang@https://www.doczj.com/doc/05199951.html,) –信息楼645
课程内容 ?分词 ?词性标注 ?句法结构分析 ?语义分析 ?语篇分析 ?信息检索 ?机器翻译
提纲?问题的提出 ?NLP的概念 ?NLP的应用 ?NLP的发展历史?NLP的研究方法
问题的提出 我们可以期待，总有一天机器会同人在所有的智能领域里竞争起来。但是，如何开始呢？这是一个很难决定的问题。许多人以为可以把下棋之类的极为抽象的活动做为最好的出发点。不过，还有一种办法也应加以考虑，就是为机器配备具有智能的、可用钱买到的意识器官，然后，教这种机器理解并且说英语。这个过程可以仿效通常小孩子学话的方式进行。我不能确定到底哪个出发点更好，但应该都值得一试。 ---A. M. Turing, Computing Machinery and Intelligence, Mind 49:433-460, 1950
字符串处理是非常常用的技能，但Python 内置字符串方法太多，常常遗忘，为了便于快速参考，特地依据Python 3.5.1 给每个内置方法写了示例并进行了归类，便于大家索引。 PS: 可以点击概览内的绿色标题进入相应分类或者通过右侧边栏文章目录快速索引相应方法。 概览 字符串大小写转换 ?str.capitalize() ?str.lower() ?str.casefold() ?str.swapcase() ?str.title() ?str.upper() 字符串格式输出 ?str.center(width[, fillchar]) ?str.ljust(width[, fillchar]); str.rjust(width[, fillchar]) ?str.zfill(width) ?str.expandtabs(tabsize=8)
?str.format(^args, ^^kwargs) ?str.format_map(mapping) 字符串搜索定位与替换 ?str.count(sub[, start[, end]]) ?str.find(sub[, start[, end]]); str.rfind(sub[, start[, end]]) ?str.index(sub[, start[, end]]); str.rindex(sub[, start[, end]]) ?str.replace(old, new[, count]) ?str.lstrip([chars]); str.rstrip([chars]); str.strip([chars]) ?static str.maketrans(x[, y[, z]]); str.translate(table) 字符串的联合与分割 ?str.join(iterable) ?str.partition(sep); str.rpartition(sep) ?str.split(sep=None, maxsplit=-1); str.rsplit(sep=None, maxsplit=-1) ?str.splitlines([keepends]) 字符串条件判断 ?str.endswith(suffix[, start[, end]]); str.startswith(prefix[, start[, end]]) ?str.isalnum() ?str.isalpha() ?str.isdecimal(); str.isdigit(); str.isnumeric() ?str.isidentifier()
1 输出你好 #打开新窗口,输入: #! /usr/bin/python # -*- coding: utf8 -*- s1=input("Input your name:") print("你好,%s" % s1) ''' 知识点: * input("某字符串")函数:显示"某字符串",并等待用户输入. * print()函数:如何打印. * 如何应用中文 * 如何用多行注释 ''' 2 输出字符串和数字 但有趣的是,在javascript里我们会理想当然的将字符串和数字连接,因为是动态语言嘛.但在Python里有点诡异,如下: #! /usr/bin/python a=2 b="test" c=a+b 运行这行程序会出错,提示你字符串和数字不能连接,于是只好用内置函数进行转换 #! /usr/bin/python #运行这行程序会出错,提示你字符串和数字不能连接,于是只好用内置函数进行转换 a=2 b="test" c=str(a)+b d="1111" e=a+int(d) #How to print multiply values print ("c is %s,e is %i" % (c,e)) ''' 知识点: * 用int和str函数将字符串和数字进行转换 * 打印以#开头,而不是习惯的// * 打印多个参数的方式 '''
3 列表 #! /usr/bin/python # -*- coding: utf8 -*- #列表类似Javascript的数组,方便易用 #定义元组 word=['a','b','c','d','e','f','g'] #如何通过索引访问元组里的元素 a=word[2] print ("a is: "+a) b=word[1:3] print ("b is: ") print (b) # index 1 and 2 elements of word. c=word[:2] print ("c is: ") print (c) # index 0 and 1 elements of word. d=word[0:] print ("d is: ") print (d) # All elements of word. #元组可以合并 e=word[:2]+word[2:] print ("e is: ") print (e) # All elements of word. f=word[-1] print ("f is: ") print (f) # The last elements of word. g=word[-4:-2] print ("g is: ") print (g) # index 3 and 4 elements of word. h=word[-2:] print ("h is: ") print (h) # The last two elements. i=word[:-2] print ("i is: ") print (i) # Everything except the last two characters l=len(word) print ("Length of word is: "+ str(l)) print ("Adds new element") word.append('h') print (word) #删除元素 del word[0] print (word) del word[1:3] print (word) ''' 知识点:
字符串常用函数 replace(string,old,new[,maxsplit]) 字符串的替换函数，把字符串中的old替换成new。默认是把string中所有的old值替换成new 值，如果给出maxsplit值，还可控制替换的个数，如果maxsplit为1，则只替换第一个old 值。 >>>a="11223344" >>>print string.replace(a,"1","one") oneone2223344 >>>print string.replace(a,"1","one",1) one12223344 capitalize(string) 该函数可把字符串的首个字符替换成大字。 >>> import string >>> print string.capitalize("python") Python split(string,sep=None,maxsplit=-1) 从string字符串中返回一个列表，以sep的值为分界符。 >>> import string >>> ip="192.168.3.3" >>> ip_list=string.split(ip,'.') >>> print ip_list ['192', '168', '3', '3'] all( iterable) 如果迭代的所有元素都是真就返回真。 >>> l = [0,1,2,3] >>> all(l) Flase >>> l = [1,2,3] >>> all(l) True any( iterable) 如果迭代中有一个元素为真就返回真。 >>> l = [0,1,2,3] >>> all(l) True >>> l = [1,2,3] >>> all(l) True basestring() 这个抽象类型是str和unicode的父类。它不能被调用或初始化，但是它可以使用来测试一
Python内置的字符串处理函数整理字符串长度获取：len(str)例：print'%slengt By xuanfeng6666 at 2014-06-01 139 阅读 0 回复 0.0 希赛币 Python内置的字符串处理函数整理 ?字符串长度获取：len(str) 例：print '%s length=%d' % (str,len(str)) ?字母处理 全部大写：str.upper() 全部小写：str.lower() 大小写互换：str.swapcase() 首字母大写，其余小写：str.capitalize() 首字母大写：str.title() print '%s lower=%s' % (str,str.lower()) print '%s upper=%s' % (str,str.upper()) print '%s swapcase=%s' % (str,str.swapcase()) print '%s capitalize=%s' % (str,str.capitalize()) print '%s title=%s' % (str,str.title()) ?格式化相关 获取固定长度，右对齐，左边不够用空格补齐：str.rjust(width) 获取固定长度，左对齐，右边不够用空格补齐：str.ljust(width) 获取固定长度，中间对齐，两边不够用空格补齐：str.center(width) 获取固定长度，右对齐，左边不足用0补齐.zfill(width) print '%s ljust=%s' % (str,str.ljust(20))
使用深度学习进行中文自然语言处理之序列标注 深度学习简介 深度学习的资料很多，这里就不展开了讲，本文就介绍中文NLP的序列标注工作的一般方法。 机器学习与深度学习 简单来说，机器学习就是根据样本(即数据)学习得到一个模型，再根据这个模型预测的一种方法。 ML算法很多，Naive Bayes朴素贝叶斯、Decision Tree决策树、Support Vector Machine支持向量机、Logistic Regression逻辑回归、Conditional Random Field 条件随机场等。 而深度学习，简单来说是一种有多层隐层的感知机。 DL也分很多模型，但一般了解Convolution Neural Network卷积神经网络、Recurrent Neural Network循环神经网络就够了(当然都要学，这里是指前期学习阶段可以侧重这两个)。 异同：ML是一种浅层学习，一般来说都由人工设计特征，而DL则用pre-training或者无监督学习来抽取特征表示，再使用监督学习来训练预测模型（当然不全都是这样）。 本文主要用于介绍DL在中文NLP的应用，所以采用了使用最为简单、方便的
DL框架keras来开发，它是构建于两个非常受欢迎的DL框架theano和tensorflow之上的上层应用框架。 NLP简介 Natural Language Process自然语言处理又分为NLU自然语言理解和NLG自然语言生成。而分词、词性标注、实体识别、依存分析则是NLP的基础工作，它们都可以理解为一种序列标注工作。 序列标注工作简介 词向量简介 Word Embedding词向量方法，用实数向量来表示一个词的方法，是对One-hot Representation的一种优化。优点是低维，而且可以方便的用数学距离衡量词的词义相似度，缺点是词一多，模型就有点大，所以又有工作提出了Char Embedding方法，这种方法训练出来的模型很小，但丢失了很多的语义信息，所以又有基于分词信息的字向量的研究工作。 中文NLP序列标注之CWS CWS简介 Chinese Word Segmentation中文分词是中文NLP的基础，一般来说中文分词有两种方法，一种是基于词典的方法，一种是基于ML或者DL的方法。CWS的发展可以参考漫话中文分词，简单来说基于词典的方法实现简单、速度快，但是对歧义和未登录词没有什么好的办法，而基于ML和DL的方法实现复杂、速度较慢，但是可以较好地应对歧义和OOV(Out-Of-Vocabulary)。 基于词典的方法应用最广的应该是正向最大匹配，而基于ML的CWS效果比
Python如何针对任意多的分隔符拆分字符串操作 本篇文章小编和大家分享一下Python cookbook(字符串与文本)针对任意多的分隔符拆分字符串操作，文中会结合实例形式进行分析Python使用split()及正则表达式进行字符串拆分操作相关实现技巧，对Python开发感兴趣或者是想要学习Python开发技术的小伙伴可以参考下哦。 问题：将分隔符(以及分隔符之间的空格)不一致的字符串拆分为不同的字段。 解决方案：使用更为灵活的re.split()方法，该方法可以为分隔符指定多个模式。 说明：字符串对象的split()只能处理简单的情况，而且不支持多个分隔符，对分隔符周围可能存在的空格也无能为力。 # example.py # # Example of splitting a string on multiple delimiters using a regex import re #导入正则表达式模块 line = 'asdf fjdk; afed, fjek,asdf, foo' # (a) Splitting on space, comma, and semicolon parts = re.split(r'[;,\s]\s*', line) print(parts) # (b) 正则表达式模式中使用“捕获组”，需注意捕获组是否包含在括号中，使用捕获组导致匹配的文本也包含在最终结果中 fields = re.split(r'(;|,|\s)\s*', line) print(fields) # (c) 根据上文的分隔字符改进字符串的输出 values = fields[::2] delimiters = fields[1::2] delimiters.append('') print('value =', values) print('delimiters =', delimiters) newline = ''.join(v+d for v,d in zip(values, delimiters)) print('newline =', newline) # (d) 使用非捕获组(?:...)的形式实现用括号对正则表达式模式分组，且不输出分隔符 parts = re.split(r'(?:,|;|\s)\s*', line)
“自然语言处理”实验报告
专业：智能科学与技术 班级：1501 学号：0918150102 姓名：宋晓婷 日期：2018/4/16
目录 实验1 (5) 1、实验目的： (5) 2、实验原理和内容： (5) 3、实验环境和编程语言： (5) 4、主要功能及实现： (5) 5、实验结论 (11) 实验2 中文分词 (11) 1、实验目的和内容 (11) 2、实验原理 (12) 3、实验平台及语言 (13) 4、主要功能及实现 (14) 4.1 算法流程图 (14) 4.2实验结果 (14) 5、实验结论 (16) 实验三中文文本分类 (17) 1、小组成员以及分工 (17) 2、实验目的和内容 (17) 3、实验原理以及数据处理 (17)
4、实验平台和语言 (20) 5、实验结果 (20) 6、实验结论 (21) 四、实验1-3 代码 (21)
实验1 1、实验目的： 本实验学习如何在利用NLTK进行分词\词性分析与句法分析,。通过次实 验项目的练习，增强学生对课堂理论知识的理解，帮助学生以知识获取 与自主实践相结合，学习对英文自然语言信息的处理的实践。 2、实验原理和内容： NLTK自然语言处理工具包，里面包含了许多处理自然语言的库可以直接 调用，本实验利用NLTK对obama。txt语料库进行对应的分词和词频统 计，再对布朗语料库进行词性和句法分析。 3、实验环境和编程语言： windows下anaconda3 spyder(python3.6) 4、主要功能及实现： 4.1 怎样载入自己的英文语料库（obama.txt），在自己的语料库中找出responsibility，education和working出现的频率及其他们词干出现的频率。（使用nltk的英文分词函数tokenize和stem）。 ①使用open以及read函数读取obama.txt文档，调用nltk里面的word_tokenize()函数，先把文档进行分词，再调用nltk中的FreDist()函数进行词频统计。统计responsibility，education和working出现的频率。结果见表一。
本文由我司收集整编，推荐下载，如有疑问，请与我司联系 python 字符串操作 2017/08/24 0 name=“My \t name is {name} and age is {age}”print(name.capitalize()) #将name的值首字母大写print(name.count(“a”)) #输出a这个字符的出现的个数print(name.center(50,”-”)) #一共打印50个，其他用-代替print(name.endswith(“ex”)) #结尾是否包含exprint(name.expandtabs(tabsize=30)) #将字符串中的\t 转化为30个空格print(name[name.find(“name”):]) #find查找的意思字符串也可以进行切片，返回的结果为name及后面的一行内容 print(name.format(name=“wang”,age=23))print(name.format_map({“name”:”wang”,”age ”:23})) #字典的格式。。和format的结果一样print(“ab123”.isalnum()) #判断是否包含字母和数字，如果包含则返回为trueprint(“ab124”.isalpha()) #判断是否包含纯英文字符，如果是则返回为true，大小写不区分print(“122”.isdigit()) #判断是否为整数，如果为整数则返回为trueprint(“al1”.isidentifier()) #判断是不是一个合法的标识符(就是判断是不是合法的变量名)print(“aLL”.islower()) #判断是不是小写,是则返回trueprint(“aLL”.isnumeric()) #判断是不是数字，是则返回trueprint(“aLL”.isspace()) #判断是不是空格print(“My Name Is “.istitle()) #判断每个字符串的首字母大写，是的话就为trueprint(“my name is “.isupper())#判断是否是大写print(‘+’.join([‘1’,’2’,’3’])) #将列表的值转变为字符串的形式这个输出结果为：1+2+3print(name.ljust(50,”*”))print(name.rjust(50,”*”))print(“WANG”.lower())#将大写变成小写print(“wang”.upper()) #将小写边城大写print(“\nwang”.lstrip()) #取消左边的空格和回车print(“wang1\n”.rstrip())#去掉右边的空格和回车print(“ \nabng\n”.strip())#将左边和右边的空格和回车都去掉print(“wang han”.replace(‘a’,’A’,1))#将字符串中的a替换为大写的A，只替换其中一个print(‘wang wang’.rfind(‘a’)) #找到最右边的那个字符的下标print(‘1+2+3+4’.split(‘+’)) #以+号为分隔符，输出为列表的格式print(‘wang LI’.swapcase()) #将大写小反转print(‘wang han’.title()) #将每个字符串的首字母大写 ?tips:感谢大家的阅读，本文由我司收集整编。仅供参阅！
https://www.doczj.com/doc/05199951.html, Python从入门到精通：光环大数据学员笔记全整理 光环大数据Python培训了解到，Python被称为胶水语言，受到了很多编程初学者和其他需要职业提升的编程者的热捧，为了方便小伙伴们的学习，光环大数据Python开发团队特别整理了《Python开发从入门到精通》的学习路径资料，囊括了整个学习过程的重点与精华，内容全部由光环大数据Python开发团队采编撰写而成，欢迎大家支持！！！ 详情请看： 一、Python入门准备 1.为什么Python这么火？ 2.Python如何快速入门？ 3.Python入门之学习资料推荐 4.Python必备的19个编程资源 5.Python入门知识点总结 6.Python学不好怎么办？ 7.Python学习有哪些阶段？ 8.参加Python培训会有前景吗？ 9.Python培训班真的有效吗？ 10.参加Python培训前应该做哪些准备？ 二、Python入门知识 1.Python安装教程 2.Pyenv在centos6.9安装教程 3.linux下多版本python环境配置教程 4.python语法基础总结 5.python基础语法之if,else,for,while,continue,break 6.Python循环 三、Python中级进阶
https://www.doczj.com/doc/05199951.html, 1.Python基础之重定向和管道 2.Python函数式编程指南：函数 3.Python函数式编程指南：迭代器 4.Python函数式编程指南：生成器 5.python装饰器详解 四、Python高级技巧 1.装饰器深度解析 2.深入Python字典 3.Python线程技术 4.Python的异步IO：Asyncio简介 5.Python实现线程安全队列 五、Python常用工具 1.2017最受欢迎的15大Python库 2.5个高效Python库 3.Django官方教程 4.PythonDjango的正确学习方法 5.Python自然语言处理工具小结 7.数据科学常用Python工具 六、Python实战练习 1.Python破解斗地主残局 2.python实现爬虫功能 3.Python脚本完成登入新浪微博并批量下载 4.使用Python–PCA分析进行金融数据分析 5.用python制作游戏外挂吗？ 6.运用爬虫抓取网易云音乐评论生成词云 7.使用Scrapy爬起点网的完本小说 8.TensorFlow计算加速 七、其他