语料库研究与应用综述
一概述
语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实，分析和研究语言系统的规律。语料库已经成为语言学理论研究、应用研究和语言工程不可缺少的基础资源。
语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原样存储各种语料；（2）同质的（Homogeneous）：只收集同一类内容的语料；（3）系统的（Systematic）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4）专用的（Specialized）：只收集用于某一特定用途的语料。除此之外，按照语料的语种，语料库也可以分成单语的（Monolingual）、双语的（Bilingual）和多语的（Multilingual）。按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的。双语和多语语料库按照语料的组织形式，还可以分为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。
语料库建设中涉及的主要问题包括：
（1）设计和规划：主要考虑语料库的用途、类型、规模、实现手段、质量保证、可扩展性等。
（2）语料的采集：主要考虑语料获取、数据格式、字符编码、语料分类、文本描述，以及各类语料的比例以保持平衡性等。
（3）语料的加工：包括标注项目（词语单位、词性、句法、语义、语体、篇章结构等）标记集、标注规范和加工方式。
（4）语料管理系统的建设：包括数据维护（语料录入、校对、存储、修改、删除及语料描述信息项目管理）、语料自动加工（分词、标注、文本分割、合并、标记处理等）、用户功能（查询、检索、统计、打印等）。
（5）语料库的应用：针对语言学理论和应用领域中的各种问题，研究和开发处理语料的算法和软件工具。
我国语料库的建设始于80年代，当时的主要目标是汉语词汇统计研究。进入90年代以后，语料库方法在自然语言信息处理领域得到了广泛的应用，建立了各种类型的语料库，研究的内容涉及语料库建设中的各个问题。90年代末到新世纪初这几年是语料库开发和应用的进一步发展时期，除了语言信息处理和言语工程领域以外，语料库方法在语言教学、词典编纂、现代汉语和汉语史研究等方面也得到了越来越多的应用。
语料库与语言信息处理有着某种天然的联系。当人们还不了解语料库方法的时候，在自然语言理解和生成、机器翻译等研究中，分析语言的主要方法是基于规则的（Rule-based）。对于用规则无法表达或不能涵盖的语言事实，计算机就很难处理。语料库出现以后，人们利用它对大规模的自然语言进行调查和统计，建立统计语言模型，研究和应用基于统计的（Statistical-based）语言处理技术，在信息检索、文本分类、文本过滤、信息抽取等应用方向取得了进展。另一方面，语言信息处理技术的发展也为语料库的建设提供了支持。从字符
编码、文本输入和整理，语料的自动分词和标注，到语料的统计和检索，自然语言信息处理的研究都为语料的加工提供了关键性的技术。
下面先简要叙述1998年到2003年中国语料库建设的基本情况，然后介绍语料库的加工、管理和规范问题，最后谈谈语料库方法在语言研究和语言工程等方面的应用。由于以前的《中国语言学年鉴》很少谈及语料库问题，为了尽可能全面地反映我国语料库研究和应用的情况，必要时会将时间上限向前延伸几年。
二中国语料库建设的基本情况
90年代末到新世纪初这几年投入建设或开始使用的语料库有数十个之多，不同的应用目的使这些语料库的类型各不相同，对语料的加工方法也各不相同。下面是其中已开始使用并且具有一定代表性的语料库。
（一）现代汉语通用语料库
这是一个由国家语言文字工作委员会主持建立、面向全社会应用需求的大型通用语料库，从90年代初开始建设，计划规模7000万字，主要应用目标是语言文字信息处理、语言文字规范和标准的制定、语言文字的学术研究、语文教育、以及语言文字的社会应用。
这个语料库收录的语料以书面语为主、以书面语转述的口语为辅。语料来源是1919年至今，主要是1977年至今出版的教材、报纸、综合性刊物、专业刊物和图书。在设计原则上，讲求通用性、描述性、实用性和抽样的科学性。在语料分类方面，以“门类为主，语体为辅”为原则制定三个大类：
第一类：人文与社会科学类（包括8个次类、30个细类）
1．政法类：哲学政治宗教法律
2．历史类：历史考古民族
3．社会类：社会学心理语言文字教育文艺理论新闻民俗
4．经济类：工业经济农业经济政治经济财贸经济
5．艺术类：音乐美术舞蹈戏剧
6．文学类：小说散文传记报告文学科幻口语
7．军体类：军事体育
8．生活类
第二类：自然科学类（包括6个次类）
1．数理类
2．生化类
3．天文地理类
4．海洋气象类
5．农林类
6．医药卫生类
第三类：综合类（包括6个次类，30多个细类）
1．行政公文类：请示报告批复命令指示布告纪要通知等
2．章程法规类：章程条例细则制度公约办法法律条文等
3．司法文书类：诉讼辩护词控告信委托书等
4．商业文告类：说明广告调查报告经济合同等
5．礼仪辞令类：欢迎词贺电讣告唁电慰问信祝酒词等
6．实用文书类：请假条检讨申请书请愿书等
在不同类别、不同来源、不同时期的语言材料中，按照不等密度的思路确定合适的语料选取比例，从共时和历时两个角度保证入选语料的平衡性，是这个语料库的特点。譬如，在语言材料的年限方面，选材比例是：
1919年– 1925年 5% 1926年– 1949年 15%
1950年– 1965年 25% 1966年– 1976年 5%
1977年以后 50%
在语言材料的门类、语体和来源方面，选材比例是：
人文与社会科学类占59.6%。其中各个次类在本大类中的比例是：
政法 12.7% 历史 8.4% 社会 14.0% 经济 9.8%
艺术 6.7% 文学 44.9% 军体 2.3% 生活 1.4%
自然科学类占17.24%。其中各个次类在本大类中的比例是：
数理 17.2% 生化 19.1% 天文地理 14.1%
海洋气象 9.1% 农林 22.8% 医药卫生 17.7%
综合类占9.36%。其中各个次类在本大类中的比例是：
各类应用文 91.1% 其他 8.9%
报纸类占13.79%。其中各个次类在本大类中的比例是：
全国性报刊 25% 省市报刊 75%
这个语料库在选材过程中收集和记录语料的有关描述信息，为每个语料样本设立了20个描述项目：总号、分类号、样本名称、类别、作者、写作时间、书刊名称、编著者、出版者、出版日期、期号（版面号）、版次（初版日期）、印册数、总页数、开本、选样方式、样本起止页数、样本字数、样本总数、繁简字。用户可以利用这些语料描述标记根据各自的需要进行各种方式的检索。语料库的建库工作分为两步，第一步先建立核心语料库（由7000万字的语料中筛选出2000万字语料组成）。到90年代末，完成了2000万字生语料的收录工作。从2001年开始，对2000万字核心语料进行分词和词性标注加工。
（二）《人民日报》标注语料库
《人民日报》标注语料库由北京大学计算语言学研究所和日本富士通公司合作，从1999年开始，到2002年完成，原始语料取自1998年全年的《人民日报》，共约2700万字，到2003年又扩充到3500万字，是我国第一个大型的现代汉语标注语料库。这个语料库加工的项目有词语切分和词性标注，还有专有名词（人名、地名、团体机构名称等）标注、语素子类标注、动词、形容词的特殊用法标注和短语型标注。下面是一段语料标注的示例，对于1998年1月1日第5版第1篇文章的第11段：
我国的国有企业改革见成效。位于河南的中国一拖集团有限责任公司面向市场，积极调整产品结构，加快技术改造和新产品研制步伐。图为东方红牌履带拖拉机生产线。（赵鹏摄）标注后的形式是：
19980101-05-001-011/m 我国/n 的/u 国有/vn 企业/n 改革/v 见/v 成效/n 。/w 位于/v 河南/ns 的/u [中国/ns 一拖/j 集团/n 有限/a 责任/n 公司/n]nt 面向/v 市场/n ，/w 积极/ad 调整/v 产品/n 结构/n ，/w 加快/v 技术/n 改造/vn 和/c 新/a 产品/n 研制/vn 步伐/n 。/w 图/n 为/v 东方红牌/nz 履带/n 拖拉机/n 生产线/n 。/w （/w 赵/nr 鹏/nr 摄/Vg ）/w 在每一个切分出来的词和标点符号后面，是该词语的标记。譬如词性标记（n，v，a，u，m，w等），专有名词标记（nr，ns，nz等），语素子类标记（Vg等），动词和形容词特
殊用法标记（vn，ad）。所有的标记都是以北京大学的《现代汉语语法信息词典》为基础词库，在一个加工规范的指导下标注的。
利用《人民日报》标注语料库，人们可以从各个角度考察和分析语言事实，统计各种语言单位出现的频率，譬如，词语或词类的分布、搭配和共现，专有名词的结构方式、兼类词在句子中的表现，语素字的使用情况，等等。也可以从语料里提取各种语言单位或语句片段作为研究实例。与仅仅以汉字串的形式表示的“生语料”相比，经过标注的“熟语料”显然含有更多的语言学特征信息，对汉语词汇研究、语法研究和汉语信息处理系统来说是更好的语言知识资源。
《人民日报》标注语料库中一半的语料（1998年上半年）共1300万字已经通过《人民日报》新闻信息中心公开提供许可使用权。其中一个月的语料（1998年1月）近200万字在互联网上公布，供自由下载。
（三）用于语言教学和研究的现代汉语语料库
建立现代汉语语料库的主要目的之一是对外汉语教学和现代汉语研究，可以分为书面语语料库和以文本形式表示的口语语料库两类。前者如北京语言大学的汉语中介语语料库、现代汉语研究语料库，后者如中国社会科学院语言研究所的北京地区现场即席话语语料库。
汉语中介语语料库的建设目标是为对外汉语教学、中介语研究、偏误分析和汉语本体研究提供资源，因此它的语料来源很有对外汉语教学的特点。作者先在北京和其他省市的9所高等院校里，从来自96个国家和地区的1635位外国留学生那里收集了成篇成段的汉语作文或练习材料5774篇，共3528988字。再从中抽取了740人的1731篇语料，共有44218句，1041274字。全部语料都记录了学生姓名、性别、年龄、国别、是否华裔、第一语言、文化程度、所学主要教材、语料类别、写作时间、提供者等23项属性。然后对这104万字的语料进行词语切分、词性标注以及一些专用的语言学特征标注。例如，标出了字、词、句、篇等不同的层次，对语料的非规范形式（例如：错字、别字、繁体字、拼音字、非规范词等）做出索引标记，记录其对应的规范形式。这个语料库的管理系统有语篇属性登录、文本过滤、文字预处理信息登录、语料抽样、断句、分词、词性辅助标注、自动标注以及语料的主题检索、全文检索和数据浏览等各种功能，分别处理语料库的建立、管理和维护，以及用户浏览、查询和检索等。与人工收集的学生病句卡片资料相比，中介语语料库能够更好地反映学生学习汉语的情况，帮助教师更加全面地观察他们的学习过程，了解影响学习和习得的各种因素。在汉语作为第二语言的教学中，为教材编写、课堂教学、测试等环节提供依据。
现代汉语研究语料库的建设目标是为语言学家提供一个研究平台，由2000万字的粗语料库和200万字经过分词和词性标注的精语料库两个部分组成。粗语料库收录的语料样本中绝大部分是九十年代的出版物，有《人民日报》1000万字，《中国新闻》500万字，各种书籍250万字，文学作品150万字，准口语材料（书面形式的对话、独白）100万字。精语料库的200万字语料样本是从粗语料库中按照规定的比例由计算机随机抽取的，有书面语语料160万字，准口语语料40万字，是从语体、题材、体裁三个方面均衡选取的平衡语料库。为了对这些语料进行词语切分和词性标注，作者制定了词语切分的细则和词性标记体系的原则，采用了一个含有112个词类标记的标记集，确定了兼类词的处理方法。这个语料库的管理系统具有建库、检索、浏览、统计、输出等功能，可以按词或词类检索，统计出词的频率、词类频率、词类共现频率、平均词长、平均句长等结果。这个语料库建成以后，很快应用在现代汉语语法、汉语教学和汉语信息处理的研究中，研究内容涉及现代汉语的插入语、汉语
句子的主题-主语标注、V+N序列实验分析、词性标注中词语归类问题、动宾组合的自动获取与标注，等等。
建设北京地区现场即席话语语料库的目的是，通过收集大量的现场即席话语语料研究现场即席话语的各种动态机制，以揭示现场即席话语的使用规律。这个语料库的研究策略和取样方法很有特点，首先是严格区分资源库和语料库，资源库收集符合现场即席话语定义的录音材料，语料库收录按照一定标准从资源库提取出来的材料；另外在语料采样前先做摸底性研究，通过研究对现场即席话语的真实情况有所了解，确定取样域，再定取样范畴，然后根据取样范畴去录现场典型材料，这是一种层次范畴化的取样方法。这个语料库目前正在建设之中，已经取得了近600小时的录音材料和50多小时的录象材料。
在用于汉语研究的语料库中，讲究选材均衡，注重语料加工，同时也提供公开服务的，当数台湾中央研究院历史语言研究所的现代汉语平衡语料库(简称Sinica Corpus)。这个语料库的规模为500万个词，每个句子都依词断开，标示词类标记，并且配备了检索系统，在网上开放供大家使用。根据自己制定的一套汉语文本属性特征为语料分类，在不同的类别上尽量均衡地采集语料，是这个语料库的特点之一。文本属性用来说明文档的呈现方式、文章的写作方式、文章写作的内容和文档的来源出处，包括7类，每类下设若干小类：文类（文档的呈现方式）
报导、评论、广告图文、信函、公告启事、小说故事寓言、散文、
传记日记、诗歌、语录、说明手册、剧本、会话、演讲、会议记录文体（文章的写作方式）
记叙、论说、说明、描写
语式（文档的呈现方式）
书面语、演讲稿、剧本/台辞、口语谈话、会议记录
主题（文章写作的内容）
哲学、科学、社会、艺术、生活、文学
媒体报纸、一般杂志、学术期刊、教科书、工具书、学术论著、一般图书、书信、视听媒体、其它
作者姓名、性别、国籍、母语
出版出版单位、出版地、出版日期、版次
不同研究目的的语言学者可以自己按语式、文体、媒体和主题的小类选取不同类别的语料，组成“自订语料库”，在“自订语料库”的范围内进行语料的检索和统计。除了通常的按词语、词类的检索和统计以外，这个语料库的管理系统还提供了一种“进阶处理”功能，对检索出来的数据作进一步处理，对处理的结果还可以再次处理，形成多层的检索结果。
（四）面向语言信息处理的现代汉语语料库
90年代中后期，面向语言信息处理的现代汉语语料库开始建立并投入应用。其中最早开发的是清华大学用于研究和开发汉语自动分词技术的现代汉语语料库，经过几年的积累已达到8亿多字生语料。在这个语料库的支持下，用统计语言模型的方法研究了汉语自动分词中的理论、算法和技术，编制了总数为9万多个词语的《信息处理用现代汉语分词词表》。这些研究工作体现了我国汉语自动分词技术的发展水平，词表被许多汉语自动分词系统作为底表使用，是不可缺少的基础资源。
TH通用语料库系统是清华大学建立的另一个现代汉语语料库。这个语料库有两个特点，一是语料库管理系统根据不同的加工深度，分四个等级管理语料。第一级是生语料分库，有4千余万字；第二级以上都是加工程度不同的熟语料库，其中第二级存放经过自动分词并由人工校对过的初加工语料500余万字；第三级存放经过词性标注和人工校对的语料约300万字；第四级是经过句子成分标注和人工校对的语料。每个分库又按语料的来源分成一般书籍、报纸、杂志、论文和工具书五类子库。不同等级的语料可以为不同的应用目标服务。第二个特点是在这个语料库的支持下，进行了汉语信息处理技术的研究。譬如，采用以谓语为中心的句型成分分析与语料统计相结合的方法，自动分析汉语的句型，提出了一个“汉语句型频度表”；在汉语文本中自动标注句子成分和句型成分的边界；根据指定的句型在语料库里搜寻句子实例，等等。
HuaYu人工标注语料库是清华大学和北京语言大学合作建立的一个现代汉语平衡语料库。这个语料库按文学、新闻、学术、应用文四个大类收录了200余万字语料。它的特点是讲究加工的深度，除了词语切分和词性标注以外，还根据语句中动词的类型和句子的长度进行“语块”标注和“句法树”标注，目的是为建立汉语短语分析或句法分析的语言模型获取统计数据提供资源。下面分别是语块标注和句法树标注的示例。
对句子“自古以来，人类就重视档案的保存和利用，设置馆库、选派专人进行管理。”进行语块标注以后得到的是一个无嵌套的线性序列，其中S是主语语块，P是述语语块，O 是宾语语块：
[D 自/p 古/t 以来/f ，/, [S 人类/n [D 就/d [P 重视/v [O 档案/n 的/u 保存/vN 和/c 利用/vN ，/, [P 设置/v [O 馆库/n 、/、 [P 选派/v [O 专人/n [P 进行/v [O 管理v。
对句子“我哥哥送给我一本很漂亮的书。”进行句法树标注以后，得到的是一个与树形结构等价的线性序列：
[ zj-XX [ dj-ZW [ np-DZ我/ rN 哥哥/n ] [ vp-PO [ vp-PO [ vp-SB送/v 给/v ] 我/rN ] [ np-DZ [ mp-DZ 一/m 本/qN ] [ np-DZ [ ap-ZZ很/d 漂亮/a ] 的/u 书/n ] ] ] ] 。/w ]
（五）用于开发特定语言分析技术的专用语料库
这类语料库是针对汉语信息处理技术的需要专门建立的。例如山西大学的专有名词标注语料库和分词与词性标注语料库。
分词与词性标注语料库，规模为500万字，带有分词标记、词性标记和句法标记。标注时依据《信息处理用现代汉语分词规范》和《信息处理用现代汉语词类及标记集规范》。在这个语料库的支持下，开发汉语自动分词和词性标注软件，研究自动分词和词性标注的评测技术。为了解决汉语自动分词中的切分歧义问题，还建立了交集型歧义字段库和组合型歧义字段库，专门收集这两种类型的歧义切分实例。前者有7.8万字，后者收录了140多条。并且在分词和词性标注语料库里作了这两类切分歧义的标注。利用这些语料调查交集型歧义当中的“伪歧义”现象（既切分结果只可能有唯一选择的那些交集型歧义切分字段），发现这种现象在歧义切分字段中很普遍，可以达到90%以上。
专有名词标注语料库用于研究汉语自动分词中专有名词的识别算法。其中包括标注了中国地名的语料280万字，标注了中国人姓名的语料300万字，标注了西文姓名的语料250万字，标注了汉语机构名称的语料50万字，还有标注了网络新词语的语料150万字。利用这些语料，建立了中国地名用字、用词库，姓氏人名库，姓氏用字频率表，名字用字频率表等，用统计语言模型的方法识别专有名词。
（六）双语语料库
基于实例的机器翻译（Example-based）需要大规模的双语平行语料库来支持。语料库里的源语和目标语实例要按照相同级别的翻译单位一一对齐。目前已有的双语平行语料库主要是汉语和英语的，语料对齐的单位有句子级的、子句级的、短语级的，也有词汇级的。机器翻译系统把要翻译的句子与语料库里的源语实例进行对比，分析相似程度，找到最适合的源语实例，再参照与它对齐的目标语实例生成译文。用于这类机器翻译系统的双语语料库必须有一定的规模，用人工做语料对齐的工作显然很难满足要求。这就使文本自动对齐成为建立双语语料库的关键技术。
在目前已有的双语语料库中，哈尔滨工业大学的汉英平行语料库已经直接用来开发英汉双向机器翻译系统。这个语料库有6万个汉语和英语的句子，使用多级对齐加工技术，分别按照句子、短语结构和词一一对齐。中国科学院计算技术研究所的汉英双语语料库有20万个句对，也完成了句子一级的对齐，并在网上提供查询服务。北京大学、中国科学院软件研究所等单位也建立了按句对齐的汉英双语语料库。除此之外，还有以语段或短语为单位收集的汉英双语语料库，譬如中国科学院自动化研究所的汉英双语短语库，有3~5万对已对齐的汉语和英语短语。东北大学的英汉双语语段库，用来帮助建立电子版的英汉搭配词典。
（七）面向汉语史研究的语料库
面向汉语史研究的语料库建设是从搜集汉语史文献资料开始的。台湾中央研究院历史语言研究所从90年代初期就开始了这项工作，他们先收集上古汉语的语料，然后扩展到中古汉语和近代汉语。90年代中后期逐步开始上古汉语语料和近代汉语的标注，在该院信息研究所和计算中心的协助下进行标注技术和检索技术的开发。根据是否经过分词处理和词性标注，台湾中央研究院的古汉语语料库和近代汉语语料库可以分成两类：生语料库和标记语料库。目前生语料库收集的语料已涵盖上古汉语（先秦至西汉）、中古汉语（东汉魏晋南北朝）、近代汉语（唐五代以后）的大部分重要文献资料，并己陆续开放使用。在标记语料库方面，上古汉语及近代汉语都已有部分语料完成标注工作，也逐步提供网上检索。2001年底，开放了近代汉语标记语料库ＷＷＷ版供各界使用，首先提供查询的文献是《红楼梦》及《三遂平妖传》。在查询方面，除了常用的功能以外，还可以在显示词项及词类的同时给出例句的出处，便于历史语法的研究者使用。
多年来中国社会科学院语言研究所也一直在致力于文献资料的建设，搜集整理了近代汉语书面语语料150万字，中古近代汉语语料约1千万字，部分语料已作了标注。目前已经完成了一个小型语料库，包括：敦煌变文集、祖堂集、三朝北盟汇编、碧岩录、朱子语类、刘知远诸宫调、西厢记诸宫调、元刊全相平话五种、元典章刑部、老乞大谚解、朴通事谚解、孝经直解、鲁斋遗书、经筵讲义等十余种文献，成为汉语史和语言学理论研究的重要资源。此外，语言研究所的先秦专书电子文档有4部文献，共约120万字，并且已由古汉语学者逐篇逐句标注了语法信息。
上海师范大学、浙江师范大学、四川大学等学校也依据各自汉语史研究的方向，建立了历史文献语料库。四川大学的中古汉语语料库有1亿字的中古汉语语料和有关中古汉语研究的资料。浙江师范大学的楚辞语库、前四史语库、六朝语库、太平广记语库、唐诗语库、宋词语库，已用于"前四史"语言研究和唐宋诗词语词研究。
目前历史文献语料库建设的特点是依托学科建设和研究方向，广泛收集资料，注重校勘精审。随着汉语史研究和语料库应用的发展，资源共享和语料加工将得到越来越多的重视。历史文献资源共享，首先要避免语料的重复收集，还要采用国际通用的标准处理语料文本，使语料能够准确、方便地交换和使用。语料加工则是充分发掘语料应用价值的基础工作，从收集历史文献的电子文档，到建成一个具有必要的语言学标记信息、合理的逻辑结构和方便的检索功能的语料库，语料的加工是不可或缺的一步。
（八）比较语料库
为了研究汉语在不同地区的使用情况，香港城市大学建立了LIVAC共时语料库（Linguistic Variation in Chinese Speech Communities）。语料来自香港、台湾、北京、上海、澳门及新加坡六地有代表性的中文报纸，以及电子媒介上的新闻报道。自1995年7月开始，每四天一次，收集这六个地区的对等书面语文本，每次约两万字。内容包括新闻、特写、评论等文章。到2003年上半年，已收集了1亿1千多万字、超过56万个词条。计划收集到2005年6月，囊括新旧世纪交接点前后各五年各地华语社区有代表性的重要语言数据，供汉语的各种共时比较研究使用。
在语料的组织和加工方面，这个语料库用计算机自动分词，再经人工校对分类，可以依字、词、句为基础进行检索，提供字、词配搭、分布等数据，有统计功能。语言学家能通过这个语料库考察上述六地出现的新词、词义有所发展或转移的旧词、以及有地方特色的词语，还可以对具体字或词的频率作统计比较，对字词的差别作计量分析。对研究华人社区的文化、社会、语言差异也有作用。这个语料库的一部分已经在网上提供服务。
（九）少数民族语言语料库
新疆大学从2002年起开始建设现代维吾尔语语料库系统，计划包括5个部分：语料库、电子语法信息词典、规则库、统计信息库和检索统计软件包。其中语料库部分又分成生语料库（经初步整理的原始语料）和加工语料库（经过标注和校对的语料）。目前已有生语料800万词。另外，新疆大学也正在以新闻领域的维汉-汉维机器翻译为目标，建设双语平行语料库。内蒙古大学的中世纪蒙古文语料库收集了《元朝秘史》、《黄金史》、《回鹘蒙古文文献集》等历史文献。他们还建立了500万词的现代蒙古语语料库，研究了蒙古文附加成分的自动切分、复合词的自动识别和语料的词性标注，获得了词频统计、音节统计、词类统计、附加成分统计等数据。西北民族大学建立了1亿3千万字节的大型藏文语料库，用于藏文词汇频度和通用度的统计。中国社会科学院民族学与人类学研究所建立了500万藏语字符的藏语语料库，进行词语切分和标注的研究。新疆师范大学也建立了200万词的维吾尔语语料库。
与汉语语料库相比，少数民族语料库的建设还需要解决一些特殊的问题，譬如拼音文字转写的标准和规范，词语分类体系及其标记集等。
到2003年，已建和在建的各种文本语料库还有很多（包括书面语语料库和以文本形式表示的口语语料库），以上提到的只是有代表性的一部分。与文本语料库相对的，是语音语料库。语音语料库不仅记录语图、声学参数等语音学数据，还有句法、韵律等各种语言学信息标记和副语言学信息标记，可以在语音识别与合成系统中用来建立语音模型，用于语音研究、语音工程开发和汉语普通话教学等领域。语音技术是当前信息技术和通讯领域里最具潜力的发展方向之一，语音语料库在科研和工程上有很高的使用价值。关于语音语料库的详细情况，请见“语音学和言语工程研究综述”。
语料库语言学综述 作者：刘美良 作者单位：柳州铁道职业技术学院,广西,柳州,545001 刊名： 科技信息 英文刊名：SCIENCE & TECHNOLOGY INFORMATION 年，卷(期)：2010，""(21) 被引用次数：0次 参考文献(19条) 1.Chomsky,N Syntactic Structure 1957 2.Sinclair.John Corpus.Concordance Collocation 3.Susan Hunstom Corpora in Applied Linguistics 2006 4.Aijmer,K.Altenberg,B English Corpus Linguistics:Studies in Honour of Jan Svartvik 1991 5.杨惠中语料库语言学导论 2002 6.何安平语料库在外语教育中的应用--理论与实践 2004 7.何安平谈语料岸研究 1997(5) 8.丁信善语料库语言学的发展及研究现状 1998(1) 9.李文中2003上海语科库语言学国际会议述评 2004(1) 10.粱旭红语料库语言学研究综述 2001(1) 11.粱燕近十年我国语料库实证研究综述 2004(6) 12.刘满堂近40年英语语料库及语料库语言学研究的回顾与出展望 2004(1) 13.潘永本梁语料库语言学的目的和方法 2001(3) 14.王建新语料库语言学发展史上的几个重要阶段 1998(4) 15.许家金语料库语言学的理论解析 2003(6) 16.卫乃兴专业性搭配初探--语料库语言学方法 2001(4) 17.卫乃兴语料库语言学的弗斯学说基础 2008(3) 18.甄风超.张霞语料库语言学发展趋势瞻望--2003语料库语言学国际会议综述 2004(4) 19.吴菲国内外英语语料库的建设和发展述评 2007(6) 相似文献(4条) 1.期刊论文王虹.岳俊发.Wang Hong.Yue Jun Fa书面言语鉴定技术的发展历程-中国公共安全（学术版）2005,""(3) 书面言语鉴定技术产生于20世纪80年代中期.随着电子打印技术的普及,涉案的不留笔迹的打印文件显著增加,书面言语鉴定技术倍受关注.近年来,运用统计语言学、语料库语言学和计算机词频检索与统计等新技术获得了新的研究成果并应用于鉴定实践.书面言语鉴定技术已经发展成为文件检验学的一个新的分支,必将在司法鉴定领域发挥更大的功效. 2.期刊论文孙丰果话语分析整合研究-聊城大学学报（社会科学版）2010,""(2) 近60年来.话语分析经历了从无到有,从小到大的发展历程.话语分析要取得长足发展,需要有一个明确的概念,需要人们对其以前的发展情况进行总结和评述.对话语分析研究的评述不妨从系统功能语言学、认知语言学、语料库语言学等多角度进行.今后,话语分析研究可以从话语分析的哲学转向、心理学转向及整合批评话语分析和积极话语分析等方面展开. 3.期刊论文杨连瑞.Yang Lianrui第二语言习得研究的学科定位和进展-外语与外语教学2005,""(5) 第二语言习得是一种复杂的人文现象.作为一门新兴的交叉学科,第二语言习得研究在发展中应重视其学科性质的科学定位和学科体系的科学建构.本文在对第二语言习得研究的学科定位、学科性质和研究对象进行讨论后,回顾和评述了国外第二语言习得研究从对比分析、错误分析、中介语理论、普遍语法研究、语言类型学研究到语料库语言学研究的发展历程和研究问题,分析了目前我国开展这一学科研究的现状,并结合我国外语教学实际对目前开展这一学科的研究提出建设性意见. 4.学位论文魏琳中国英译旅游宣传材料的语料库分析2006 旅游业在全球范围内的迅猛发展使不同文化背景的人们进行文化交流变成了一种需要。在我国，旅游英语特别是网上的旅游英译材料是外国游客接触和了解我国的媒介。因此，旅游材料的翻译质量举足轻重。而目前旅游文本的翻译研究在中国还是一个比较新的话题，近年来主要是结合最新语言学
上海翻译Shanghai Journal of Translators2013 No． 2 国内语料库翻译学20年述评( 1993—2012) 宋庆伟匡华吴建平( 厦门大学外文学院，福建厦门 361005;济南大学外国语学院，山东济南 250022) ( 山东大学外国语学院，山东济南250061) ( 厦门大学外文学院，福建厦门361005) ［摘要］本文以中国知网( CNKI) 1993-2012年外语核心期刊中关于语料库翻译学的学术论文为样本，从翻译语言特征、译者风格和应用研究等六个方面对国内近20年语料库翻译学的发展历史进行钩沉，梳理其主要研究脉络和现状，总结语料库翻译学研究的成就、问题与趋势，以期能为该领域研究提供全景式的概况。作者认为，当前研究还存在诸如研究内容与视角比较狭窄，跨学科性研究不足，定量研究层次不高和语料库( 特别是口译语料库) 建设和研究相对滞后等问 题，亟待有针对性的改进与完善。 ［关键词］语料库翻译学; 翻译共性; 译者风格; 口译 ［中图分类号］H059 ［文献标识码］ A ［文章编号］1672-9358( 2013) 02-0025-06 1 引言到翻译研究当中，使语料库翻译研究迅速发展，逐步 近几年，语料库翻译学随着语料库语言学和描成为描述翻译研究中的一种新范式( Laviosa，1998: 写翻译理论的发展和融合迅速成长起来。从发展历474; 2002: 22)。基于语料库的研究为翻译学提供程来看，她还非常年轻，从1993年Mona Baker发表了新的方法和思路，现在学界形成的共识是利用语语料库翻译学的开山之作《语料库语言学与翻译研料库进行翻译研究是一种不可或缺且可靠的手段。究: 启示和应用》至2012年，刚刚走过了短短的20 从一定程度上来讲，语料库翻译学即语料库语言学年。国内语料库翻译研究几乎与国外同步，肇始于和描写性翻译研究的相加，二者的结合可以说是相1993 年，代表作为杨惠中《语料库语言学与机器翻得益彰，在当今翻译研究注重描写和实证的趋势下，译》一文。如今，国内语料库翻译研究已初具规模，语料库翻译学应运而生。语料库翻译学以翻译本体在翻译共性、译者风格和语料库建设等诸方面都取为研究对象，从大规模翻译文本或翻译语言整体入得了可喜的进步，Tymoczko( 1998: 652) 曾大胆预言手，采用语内对比与语际对比相结合的模式，对翻译基于语料库的翻译研究将是翻译研究的重中之重。现象进行描写和解释，探索翻译的本质。( 王克非、近20年，特别是近几年涌现出一大批语料库翻译学黄立波，2008: 9-14) 的专著和论文，国家社科基金和教育部人文社科基 金对该领域的研究也进行了倾斜。鉴于此，笔者认 3 数据采集 为极有必要对其发展脉络进行梳理和分析，以期为近几年，国内基于语料库的翻译研究发展迅速，今后的研究提供借鉴和参考。本文以中国知网研究的深度和广度也不断拓展，发表文章数量逐年( CNKI) 近20年来外语核心期刊中收录的有关语料增加。为了更好地说明这种趋势，笔者统计了近20 库翻译学的学术论文为基础，借以梳理其研究现状、年( 1993-2012) 中国知网收录的外语核心期刊中关分析成就和问题并展望发展趋势。于语料库翻译学的文章，该统计涉及2012-2013年 版CSSCI外语类来源期刊( 包括扩展版) 共15种，2 语料库翻译学基本原理收集有关文章共97篇，具体数据如下表所示: Mona Baker( 1993)开创性地把语料库方法应用 ［基金项目］本文是上海市科委课题“英汉双语平行句对应语料库建设”( 编号: 08dz1501100) 的阶段性成果。论文在写作过程中，得到秦洪武 教授的悉心指点，谨致谢忱! ［收稿日期］2013-02-20 ［作者简介］宋庆伟，厦门大学博士生，济南大学外国语学院讲师，研究方向: 语料库翻译学、双语词典编纂与翻译; 匡华，山东大学外 国语学院讲师，研究方向: 语料库语言学与英语教学; 吴建平，厦门大学外文学院教授，博士生导师，研究方向: 翻译学与双语词典学。
近十年国内基于语料库的话语研究综述 A Review of Ten - year Research on Corpus-Based Discourse Analysis in China 摘要：文章从基于语料库的话语研究领域出发，通过对2002年至2011年发表在国内八种核心期刊上的论文进行统计与分析，发现这些研究在研究领域取得了很大的进步，涉及到话语各个方向，对于实践有重大指导作用，但同时也出现一些问题值得我们关注。 Abstract: From corpus-based discourse analysis, this thesis finds this field has made great progress, relates to many directions of discourse and has a significant guiding role for the practice, but also brings many problems worthy our attention. All of these are derived from the research and analysis of thesises published in 8 kinds of core journals from 2002 to 2011 in China. 关键词: 语料库话语基于语料库的话语研究 0. 引言 现代语料库语言学是20世纪中后期兴起的一门语言研究科学。语料库是指按一定的语言学原则，运用随即抽样的方法，收集自然出现的连续的语言运用文本或话语片段而建成的具有一定容量的大型电子文库。在20 世纪后半叶的西方语言学界, Chomsky的观点大行其道,秉承该学说的语言研究者唯直觉语料独尊。他们躲在书斋,满足于依靠自己的直觉语料从事语言研究。随着社会语言学、话语分析、语用学、语料库语言学的兴起,越来越多的语言学家认识到光靠直觉语料来研究语言是远远不够的,人们还必须借助语料库语料以及其他各种语料,只有这样我们才能更好地揭示语言的本质,克服直觉语料的局限与不足。这样基于语料库的话语研究越发引起大家的重视，并取得了丰硕的成果。国内基于语料库的话语研究虽然起步较晚，但是成果仍然颇丰。 1. 研究样本 由于近几年运用语料库来做话语研究已经成为语言研究的热点，笔者通过检索主题与关键词，将文献定在2002年至2011年这十年期间，研究样本来源为发表在八种外语类核心期刊的22篇文章。这是因为这8种外语类期刊有一定的权
机器翻译综述 1.引言 1.1机器翻译的历史 现代机器翻译的研究应该是从20世纪50年代开始，但是早在这以前很多人已经提出了相应的想法，甚至是远在古希腊时期就有人提出要用机器来进行语言翻译的想法。 在1946年，美国宾夕法尼亚大学的两位科学家设计并制造了世界上第一台电子计算机。与此同时，英国工程师同美国洛克菲勒基金会副总裁韦弗在讨论计算机的应用范围时，就提出了利用计算机实现语言的自动翻译的想法。在1949年，韦弗发表了一份名为《翻译》的备忘录，正式提出了机器翻译问题。他提出了两个主要观点： 第一，他认为翻译类似于解读密码的过程。 第二，他认为原文与译文“说的是同样的事情”，因此，当把语言A翻译为语言B时，就意味着从语言A出发，经过某一“通用语言”或“中 间语言”，可以假定是全人类共同的。 在这一段时间由于学者的热心倡导，实业界的大力支持，美国的机器翻译研究一时兴盛起来。 1964年，美国科学院成立语言自动处理咨询委员会，调查机器翻译的研究情况，给出了“在目前给机器翻译以大力支持还没有多少理由”的结论，随后机器翻译的研究就陷入了低潮期。直到70年代以后机器翻译的研究才重新进入了一个复苏期，随后机器翻译的发展又迎来了繁荣期 1.2机器翻译的主要内容 经过50多年的发展，在机器翻译领域中出现了很多的研究方法，总结如下：●直接翻译方法 ●句法转换方法 ●中间语言方法 ●基于规则的方法 ●基于语料库的方法 基于实例的方法（含模板、翻译记忆方法） 基于统计的方法 在当前的研究中，更多的是基于统计的方法进行的，因为基于统计的方法可以充分的利用计算机的计算能力，并且并不需要过多的语言学知识作为支撑，可以让更多的计算机科学家投入到实用系统的研究中，极大的促进了统计机器翻译的发展。 下面对各个方法逐一的进行介绍。
语料库研究与应用综述 一概述 语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实，分析和研究语言系统的规律。语料库已经成为语言学理论研究、应用研究和语言工程不可缺少的基础资源。 语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原样存储各种语料；（2）同质的（Homogeneous）：只收集同一类内容的语料；（3）系统的（Systematic）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4）专用的（Specialized）：只收集用于某一特定用途的语料。除此之外，按照语料的语种，语料库也可以分成单语的（Monolingual）、双语的（Bilingual）和多语的（Multilingual）。按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的。双语和多语语料库按照语料的组织形式，还可以分为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。 语料库建设中涉及的主要问题包括： （1）设计和规划：主要考虑语料库的用途、类型、规模、实现手段、质量保证、可扩展性等。 （2）语料的采集：主要考虑语料获取、数据格式、字符编码、语料分类、文本描述，以及各类语料的比例以保持平衡性等。 （3）语料的加工：包括标注项目（词语单位、词性、句法、语义、语体、篇章结构等）标记集、标注规范和加工方式。 （4）语料管理系统的建设：包括数据维护（语料录入、校对、存储、修改、删除及语料描述信息项目管理）、语料自动加工（分词、标注、文本分割、合并、标记处理等）、用户功能（查询、检索、统计、打印等）。 （5）语料库的应用：针对语言学理论和应用领域中的各种问题，研究和开发处理语料的算法和软件工具。 我国语料库的建设始于80年代，当时的主要目标是汉语词汇统计研究。进入90年代以后，语料库方法在自然语言信息处理领域得到了广泛的应用，建立了各种类型的语料库，研究的内容涉及语料库建设中的各个问题。90年代末到新世纪初这几年是语料库开发和应用的进一步发展时期，除了语言信息处理和言语工程领域以外，语料库方法在语言教学、词典编纂、现代汉语和汉语史研究等方面也得到了越来越多的应用。 语料库与语言信息处理有着某种天然的联系。当人们还不了解语料库方法的时候，在自然语言理解和生成、机器翻译等研究中，分析语言的主要方法是基于规则的（Rule-based）。对于用规则无法表达或不能涵盖的语言事实，计算机就很难处理。语料库出现以后，人们利用它对大规模的自然语言进行调查和统计，建立统计语言模型，研究和应用基于统计的（Statistical-based）语言处理技术，在信息检索、文本分类、文本过滤、信息抽取等应用方向取得了进展。另一方面，语言信息处理技术的发展也为语料库的建设提供了支持。从字符
浅析语料库对于翻译研究的意义 【摘要】基于语料库的翻译研究在当今已进入一个全新模式，多种语料库被开发应用在人工翻译和机器翻译等实践领域当中。本文对语料库的概念以及某些种类语料库在翻译活动中具体实用情况做出分析，揭示语料库对于翻译研究的意义。 【关键词】语料库；翻译；双语语料库；平行/对应语料库 An Analysis on the Significance of Corpus to Translating Research CHEN Dan （Eastern Liaoning University，Dandong Liaoning 118000，China） 【Abstract】Translating research based on corpus has stepped into a new mode today，and many kinds of corpora are developed and applied in practical fields of manual translation and machine translation. The thesis analyzes the concept corpus and the application of some corpora in translating，which exemplify the significance of corpus to translating research. 【Key words】Corpus；Translating；bilingual corpus；Parallel corpus “语料库”的英语单词corpus来源于拉丁语，意思是body，有“全集”的含义，即“语料的集合”。有的学者认为语料库是基于形式和目的的存储于电子数据库中的文本集合，是描述自然发生语言的集合；也有人认为它是按照明确的语言学标准选择并排序的语言运用材料的汇集，旨在用作语言的样本。国内语料库学者杨惠中对语料库的定义做了较为详细的界定。他指出，“语料库是指按照一定的语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片段而建成的具有一定容量的大型电子文库”。 语料库所收集的语料是真实、自然的语言。不同于普通的文本数据库，它的设计和建设是以系统的理论语言学原则为依据，并且具有明确的目的性。语料库的结构严格依照既定程序设定，以一定研究目的为基础，按学科或语篇类型分类存储。语料库中的语料必须符合科学的语言研究，语料可以随机抽取或按统计学方法采集。 语料库的类型和分类标准很多。按用途分，语料库可分为通用语料库（general corpus）和专用语料库（specialized corpus）；按语料选取时间，语料库可分为历时语料库（diachronic corpus）和共时语料库（synchronic corpus）；按不同结构，语料库可分为平衡语料库（balanced corpus）和自然随机结构语料库（random structure corpus）；按语料库的性质，语料库可分为原始语料库（raw corpus）和标注语料库（annotated corpus）；按语言种类，语料库可分为单语语料库
语料库语言学的发展 语料库顾名思义就是放语言材料的仓库。现在人们谈起语料库,不言而喻是指存放在计算机里的原始文本或经过加工后带有语言学信息标注的语料文本。现在世界上已经有了不少规模较大的语料库,有些是国家级的,有些由大学和词典出版商联合建设。另外,由于个人微机的迅猛发展和存贮数据的硬盘造价持续下降,研究者个人也开始建立适合于自己研究的小型语料库。 语料库语言学(英文corpus linguistics)这个术语有两层主要含义。一是利用语料库对语言的某个方面进行研究,即“语料库语言学”不是一个新学科的名称,而仅仅反映了一个新的研究手段。二是依据语料库所反映出来的语言事实对现行语言学理论进行批判,提出新的观点或理论。只有在这个意义上“语料库语言学”才是一个新学科的名称。从现有文献来看,属于后一类的研究还是极个别的。所以,严格地说,现在不能把语料库语言学跟语言学的分支, 如社会语言学、心理语言学、语用学等相提并论。 近年来,随着我国经济的发展,科研经费的增加,汉语语料库的建设得到了开展。1999 年我院把建立汉语语料库列为院重大课题。目前语言所正在构建三个大规模的语料库: 现场即席话语语料库,主要方言口语库和现代汉语文本语料库。在世界范围内,我国的语料库建设在规模上还赶不上欧洲的一些发达国家,特别是英国。然而,在语料库语言学的研究上,以及语料库的实际运用上,我国已经进入世界前沿的行列。 20 世纪语言研究的总特点可以用四个字概括──高度抽象。最近几十年来,语言研究的高度抽象倾向已经失去主导地位。这主要缘于两个方面的因素: 一是计算机技术,特别是基于计算机处理的多媒体技术的飞速发展；二是社会语言学、语用学、会话分析、人类语言学、计算语言学、人机对话研究、语音识别与合成等研究取得令人瞩目的成就。先前难以抓住并进行有效处理的五花八门的实际语料,现在可以对其进行大规模地的、自动的或人机配合的处理。比如个人发音特征,先前认为这跟语言学毫无关系,现在成了侦破语音学的重要内容。侦破语音学家首先建立个人发音特征语料库,这个语料库可以用来鉴别嫌疑犯。概言之,当今的语言研究由先前的高度抽象逐步走向最具体的语言的实际活动,其中
语料库和知识库研究现状 2015-12-9
摘要：语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源，它与自然语言处理有着相辅相成的关系，是用统计语言模型的方法处理自然语言的基础资源。知识库广泛应用于信息检索、机器问答系统、自动文摘、文本分类等领域，为进行大规模的真实性文本的语义分析提供了有利的支持，它也成为自然语言处理不可或缺的基础资源。由于语料库和知识库的广泛应用，如今国内外对语料库和知识库的研究给与高度的重视，经过过去几十年的发展，各国在语料库和知识库的建设和应用方面都取得了不少成果。本文通过对语料库与知识库相关文献资料的搜索整理，重点介绍目前国内外在语料库和知识库方面的研究现状。 关键词：语料库；知识库；研究现状 1前言 语料库是指按照一定的语言学原则，运用随机抽样的方法，收集自然出现的连续的语言文本或者说话片段而建成的具有一定容量的大规模电子文本库[1]。而知识库是知识工程中结构化、易操作使用，全面有组织的知识集群，是针对某一（或某些）领域问题求解的需要，采用某种（或若干）知识表示方式在计算机存储器中存储、组织、管理和使用的互相联系的知识片集合。语料库和知识库在传统语言研究、词典编纂、语言教学、自然语言处理等领域有重要作用，所以自从20世纪60年代第一个现代意义上的语料库——美国布朗语料库(Brown Corpus)诞生开始，大批国内外的专家学者致力于语料库和知识库的研究，近年来国内外对于语料库知识库的研究取得了重大的突破，形成了规模不一的各种语料库和知识库，并且涌现了众多有关语料库和知识库的专着、论文等。对于语料库和知识库发展现状的总结研究，不仅可以帮助人们清楚的了解语料库和知识库当前发展的形势，对今后语料库知识库的发展具有一定的指导作用，而且对于应用语料库知识库发展自然语言处理等领域具有重要意义。
机器翻译是建立在语言学、数学、信息学、计算机科学等学科基础上的多边缘学科。现代理论语言学的发展、计算机科学的进步以及概率统计学的引入, 对机器翻译的理论和方法都产生了深刻的影响。 Weaver机器翻译思想的提出, 开始了机器翻译的研究热潮。Chomsky在50年代后期提出的短语结构语法, 给出了“从规则生成句子”的原则。由于短语结构语法采用单一标记的短语结构来描述句子的构成, 描述粒度过粗, 因此存在约束能力弱、生成能力过强问题, 人们逐渐意识到仅依靠单一的短语结构信息, 不能充分判别短语类型和确认短语边界, 于是, 复杂特征集和词汇主义被引入自然语言语法系统, 广义短语结构语法、词汇功能语法、中心语驱动的短语结构语法等语言学理论也相应地产生。在这个发展过程中, 基于规则方法一直是机器翻译研究的主流。 在基于规则的方法中, 语言规则的产生需要大量的人力,而且大量的语言规则之间往往存在着不可避免的冲突。另外,规则方法在保证规则的完备性和适应性方面也存在着不足。而此时, 统计学方法在自然语言处理的语音识别领域取得了比较好的效果, 于是, 基于统计的机器翻译应运而生。随着双语语料的大量增加、计算机性能的提高, 基于实例的机器翻译方法被提出，并由此泛化产生了基于模板的机器翻译方法。 下面我们分别介绍几种典型的机器翻译方法： （1）基于规则的机器翻译方法
从Chomsky提出转换生成文法后，基于规则的方法一直是机器翻译研究的主流，Chomsky认为一种语言无限的句子可以由有限的规则推导出来。 早期的机器翻译系统, 从体系结构上可以分为直译式、转换式和中间语言式, 它们的不同之处在于对源语言分析的深度, 它们的相同点是都需要大规模的双语词典、大量的源语言推导规则、语言转换规则和目标语言生成规则。其中, 转换式的基于规则方法对源语言分析得比较深, 它涉及到词汇结构分析、语法分析、语义分析, 并完成词汇、语法、语义三层结构从源语言到目标语言的转换, 而且转换式的方法又充分考虑了源语言和目标语言之间的特征联系, 它比中间语言方法更容易获得高质量的翻译结果。因此, 转换式的方法更多地被应用在早期的机器翻译系统中, 整个翻译过程被分为, 源语言分析部分, 转换部分和目标语生成部分。而早期的系统, 如德国西门子的METAL系统、美国的SYSTRAN系统、日本日立公司的ATHENE系统以及中国中软公司的HY-1汉英系统, 都是基于转换的机器翻译系统。 基于规则的机器翻译的优点在于, 规则可以很准确地描述出一种语言的语法构成, 并且可以很直观地表示出来。机器可以按照一组规则来理解它面对的自然语言, 这组规则包含了不同语言层次的规则, 包括用以对源语言进行描述的源语言分析规则、用以对源语言/目标语言之间的转换规则以及用于生成目标语的生成规则。
语料库语言学术语汇编 ( V2.0 ) Last updated 2012-10-08 by许家金 Aboutness所言之事 Absolute frequency绝对频数 Alignment (of parallel texts)（平行或对应）语料的对齐Alphanumeric字母数字构成的 Annotate标注（动词） Annotated text/corpus标注文本 /语料库、赋码文本/语料库Annotation标注（名词） Annotation scheme标注方案 ANSI/American National Standards Institute美国国家标准学会 ASCII/American Standard Code for Information美国信息交换标准码 Exchange Associates (of keywords)（主题词的）联想词 AWL/academic word list学术词表 Balanced corpus平衡语料库 Base list/baselist底表、基础词表 Bigram二元组、二元序列、二元结构 Bi-text/bitext双语合并文本、双语分行对齐文本 （一句源语一句目标语对齐后的文 本） Bi-hapax两次词 Bilingual corpus双语语料库 Bootcamp debate/discourse/discussion（新手）训练营大辩论 /话语 /大探讨CA/Contrastive Analysis对比分析 Case-sensitive/case sensitivity大小写敏感、区分大小写 Category-based approach基于类（范畴）的方法 Chi-square test/ 2χ卡方检验 Chunk词块 CIA/Contrastive Interlanguage Analysis中介语对比分析 CLAWS/Constituent Likelihood Automatic Word-CLAWS 词性赋码系统 tagging System Clean text policy干净文本原则 Cluster词簇、词丛 Colligation类联接、类连接、类联结 Collocate n./v.搭配词；搭配 Collocability搭配强度、搭配力 Collocation搭配、词语搭配 Collocational strength搭配强度 Collocational framework/frame搭配框架 Collocational profile搭配概貌
中国语料库研究的历史与现状(一) 语言学的研究必须以语言事实作为根据，必须详尽地、大量地占有材料，才有可能在理论上得出比较可靠的结论。传统的语言材料的搜集、整理和加工完全是靠手工进行的，这是一种枯燥无味、费力费时的工作。计算机出现后，人们可以把这些工作交给计算机去作，大大地减轻了人们的劳动。后来，在这种工作中逐渐创造了一整套完整的理论和方法，形成了一门新的学科——语料库语言学（corpuslinguistics），并成为了自然语言处理的一个分支学科。 语料库语言学主要研究机器可读自然语言文本的采集、存储、检索、统计、语法标注、句法语义分析，以及具有上述功能的语料库在语言定量分析、词典编纂、作品风格分析、自然语言理解和机器翻译等领域中的应用。多年来，机器翻译和自然语言理解的研究中,分析语言的主要方法是句法语义分析。因此，在很长一段时间内，许多系统都是基于规则的，而根据当前计算机的理论和技术的水平很难把语言学的各种事实和理解语言所需的广泛的背景知识用规则的形式充分地表达出来，这样，这些基于规则的机器翻译和自然语言理解系统只能在极其受限的某些子语言（sub-language）中获得一定的成功。为了摆脱困境，自然语言处理的研究者者们开始对大规模的非受限的自然语言进行调查和统计，以便采用一种基于统计的模型来处理大量的非受限语言。不言而喻，语料库语言学将有可能在大量语言材料的基础上来检验传统的理论语言学基于手工搜集材料的方法所得出的各种结论，从
而使我们对于自然语言的各种复杂现象获得更为深刻全面的认识。 本文首先简要介绍国外语料库的发展情况，然后，比较详细地介绍中国语料库的发展情况和主要的成绩，使我们对于语料库研究得到一个鸟瞰式的认识。 一、国外语料库概况 现在，美国Brown大学建立了BROWN语料库（布朗语料库），英国Lancaster大学与挪威Oslo大学与Bergen大学联合建立了LOB语料库。欧美各国学者利用这两个语料库开展了大规模的研究，其中最引人注目的是对语料库进行语法标注的研究。他们设计了基于规则的自动标注系统TAGGIT来给布朗语料库的100万词的语料作自动标注，正确率为77%.他们还设计了CLAWS系统来给LOB语料库的100万词的语料作自动标注，根据统计信息来建立算法，自动标注正确率达96%,比基于规则的TAGGIT系统提高了将近20%.最近他们同时考察三个相邻标记的同现频率，使自动语法标注的正确率达到99.5%。这个指标已经超过了人工标注所能达到的最高正确率。 现在，国外的主要语料库还有： London-Lund口语语料库：收篇目87篇，每篇5000词，共为43.4万词，有详细的韵律标注(prosodicmarking)。 AHI语料库：美国Heritage出版社为编纂Heritage词典而建立，有400万词。 OTA牛津文本档案库（OxfordTextArchive）：英国牛津大学计算中心建立，
2010年11月November 2010 第33卷第4期Vol．33No．4 现代外语（季刊） Modern Foreign Languages （Quarterly ）语料库语言学与中国外语教学 桂诗春 冯志伟杨惠中何安平卫乃兴李文中梁茂成 ［编者按］ 为推动我国应用语言学研究的新发展，教育部人文社科重点研究基地———广东 外语外贸大学外国语言学及应用语言学研究中心于2010年9月24-25日成功举办了“首届广外应用语言学论坛”，庆贺我国著名语言学家、应用语言学学科的开拓者桂诗春教授八十华诞。期间，举行了题为“语料库语言学与外语教学”的高层论坛，就语料库语言学的现状、发展前景及语料库的建设、共享、应用等展开了互动讨论。以下是根据专家发言，整理后的主要内容。 ［中图分类号］H319 ［文献标识码］A ［文章编号］1003-6105（2010）04-0419-08 语料库语言学的发展前景与资源共享 广东外语外贸大学 桂诗春 1．语料库语言学的发展前景 语料库语言学在外国和国内都发展很快，有的人选择了它作为发展方向，因为它的入门比较容易，上手较快；有的人把语料库语言学作为收集数据的重要手段。但是总的来说，我们的语料库研究还处在比较初级阶段，需要提高。究其原因是很多人把它看成是一种工具或手段，可以运用现有的一些现成的程序和公开的语料库，如Brown ，LOB ，Frown． Flob ， BNC ，CLEC ，只要选题得当，就能获得很多量化的数据，从而写出洋洋洒洒的文章来。在计算机和扫描仪的支持下，自行收集一些语言素材，建立一个特定的语料库，也不是什么难事。 我觉得，语料库语言学既是一种工具，但更是一门学科；它是对语言行为进行概率性归纳和概括的一门学科，它本身是跨学科性的，要做语料库语言学研究必须许多方面要有比较雄厚的基础。首先是数学和统计学。Herdan （1960）的一本早期著作，叫做《词次／词型数学》（Type ／token Mathematics ），其副标题就是《数理语言学教科书》（A Textbook of Mathematical Linguistics ），当时还是前计算机 时代，但Herdan 觉得有两件语言事实值得我们注意：一是大量语言资料（language in mass ），二是语言排列（language in line ），它们是任何语言运作都不能离开的两个方面。某些语言学研究分支如果考虑到这两个方面，将会从中获益。当时还没有真正的机读语料库， Brown 的语料库在1967年才面世，美国心理 学家John Carroll 根据该语料库以及他后来参与制作500万词的AHI 语料库，所提出的词汇频数对数正态模型（lognormal model ）均源于Herdan 所奠定的基础。一直到最近美国Barber 利用计算机对英语语体的各种研究，更是利用了因子分析的统计方法。其次是计算机科学。语料库的发展离不开现代科学技术，其主要表现是个人电脑、扫描仪和大容量硬盘的普及，当初Brown 语料库要动用到大型电脑，而到如今，只需一万元左右就能在家里拥有这些设备，制作出甚至比Brown 还要大的语料库。但是我们往往只注意到硬件部分，而不认识到软件的建设。从事语料库语言学研究的人而不掌握一到两种编成语言，也不可能拓展他们的研究领域，因为他不能根据个人的研究需
语料库论文语料库语言学论文 摘要：语言是我们生活的载体，是我们生活不可缺少的一部分，没有语言我们就不能称之为人类。我们的生活离不开语言；没有语言，我们就无法生存。由于语言对我们有着如此的重要性，因此，从某种程度上说，在人类漫长的历史过程中，人类一直以不同的方式对语言进行着研究。语料库语言学是“基于现实生活中语言运用的实例进行的语言研究”（t. mcenery& a.wilson，1996）。它是以真实的语言数据为基础，利用计算机对其进行统计、分类、标注、分析。本文采用定性的方式，整理前人的研究，分析语料库语言学在二语习得中的作用及发展。指出语料库强调词汇和语法的同一性，并认为意义是研究语言的关键所在。 关键词：语料库；二语习得；语言系统 一、引言 从语料库语言学针对语言研究的特点来看。一种人们似乎广泛接受的观点是，如果不提及两个颇具影响的语言学学派——结构主义和转换-生成语法，要谈论语料库语言学对语言研究的贡献是不可思议的、不可想象的。 正如我们大多数人所知，对语言的真正研究是20世纪初现代语言学之父，ferdinand de saussure，从事的比较系统的语言研究出现时才开始的。一些对语言感兴趣的人对
saussure将语言视为一个相互限定的存在体系系统的概念 感到十分惊讶并从中受到启发，这种语言概念与语言历来被看作的形式大相径庭。于是，这些人开始用结构的方式从事语言研究。这一充满生机的运动最初始于欧洲大陆，后来波及到美洲大陆，没过多久就遍及世界各地。毫不夸张地说，saussure关于语言的富有洞察力的观点构成了许多当代结 构语言学的基础，他的结构主义思想渗透到了每一个语言学学派。在saussure的指导下，人们研制了一系列的程序来 强调对话语的实质性特点在不参照语言抽象的底层结构或 其意义的情况下进行切分和分类的过程（bullock & stephen, 1999）。诚然，结构主义者不考虑意义来研究语言的纯科学 方法显示了其空前的优势，因为这种方法是首次根据系统和结构来描述语言特点的。然而，与传统语法一样，这种方法的交点仍然集中在语言的语法结构上，即集中在语言的表层结构上。因此，它遭到了由noam chomsky开创的转换-生成语法（transformational-generative grammar-tg）的严厉批评。对于转换-生成语法的语言学家来说，结构主义对被chomsky称之为表层结构的强调不能揭示抽象的底层结构， 即按chomsky的说法——深层结构，也不能揭示可以生成人类语言的普遍机制。同样，转换-生成语法由于它频繁将杜 撰的、非真实的资料用作证据来支持其理论也遭受到来自其
语言学专业术语 语言学及应用语言学陈倩雯李学娇徐玮琳殷彦明邓利洁 acquisition习得 Active articulator 积极发音器官 Affixation（词缀） Allophones音位变体 Alphabet 字母 anthropological linguistics人类语言学 Antonymy(反义关系) applied linguistics应用语言学 applied sociolinguistics应用社会语言学 Aspect体 associative联想 Bilingual corpus 双语语料库 Bound Morphemes (粘着词素) Broad transcription 宽式标音 Case-格 category范畴 Category-范畴 Clause-小句\从句 Clean text policy 干净文本原则
Cluster 词簇、词丛 Colligation 类联接、类连接、类联结Collocate n./v. 搭配词；搭配 Collocation 搭配、词语搭配Cognitivegrammars-认知语法 Collocation(搭配） Compound vowel 韵母 compounding（复合） computational linguistics计算语言学concept概念 Consonant 辅音 Construction-句子结构 contextual analyses语境分析 context语境 contrastive analysis对比分析 Conversion（转换） Corpus Linguistics 语料库语言学 Corpus 语料库 Comparable corpora 类比语料库、可比语料库corpus linguistics语料库语言学 derivation（派生） Derivational affixes (派生词缀)