“互联网+”时代的古籍数字化新思路论文

　　摘要：本文分析了目前中文古籍数字化过程中遇到的问题，在“互联网+”的驱动下，通过借鉴成熟的“reCAPTCHA”技术，构建基于互联网知识网络的古籍数字化平台。

　　关键词：古籍 互联网 大数据 知识网络 验证码 数字化

　　一、古籍数字化出现的问题

　　1、古籍数字化研究现状

　　古籍又称典籍、文献，是指没有采用现代印刷技术来印制的书籍。中华文明五千年从甲骨文、简牍、卷轴再到线装，留下了大量宝贵的古籍，作为中华文明文化延续的印证，古籍整理是非常重要的。

　　古籍整理的传统方法，是通过对古籍进行审校释(审定、校勘、注释)等加工整理后形成新版本，便于现代人进行阅读。古籍整理的传统方法主要依赖手工进行，有着操作过程繁杂、效率低的缺点，而且新版本仍然是书本形式，难以再次利用。在计算机技术出现后，古籍整理有了新的工具和方法，即古籍数字化技术。通过利用信息技术将古籍文献进行加工和整理，并使其转化为电子数据，可以通过光盘、网络进行保存和传播，有效解决了传统古籍整理的缺点。

　　中文古籍的数字化最早是二十世纪七十年代，从计算机技术发达的美国开始的。我国在引入相关技术后，产生了大批有价值的成果。国家图书馆的“古籍特藏文献数字化计划”，完成了“甲骨文”、“数字方志”、“碑砧菁华”、“敦煌遗珍”、“西夏碎金”、“永乐大典”等成果。其他研究机构也推出了大量产品，其中北京大学所著的《中国基本古籍光盘库》，将收录古籍万余种。另外，在CALIS项目和CANAL项目中涉及到的古籍子项目也有很好的成果。

　　国际上，拉丁文体系古籍的数字化工作也进行了大量研究工作。由欧盟二十六家图书馆联合推出的IMPACT(Improving Access to Text)项目，是一个通过研究OCR(Optical Character Recognition，光学字符识别)技术，来推动拉丁体系文字古籍数字化工程。

　　2、古籍数字化的发展与瓶颈

　　我国古籍数字化的发展经历了联合目录阶段、目录+影像阶段和全文检索三个阶段。

　　第一阶段是20世纪80年代，联合目录为古籍数据库检索系统的开发，以数据库的形式储存。通过利用计算机，对古籍资料进行目录检索、内容整理、储存、数量统计，以及编制索引，极大的改进了古籍文献的检索方式，是古籍研究的辅助工具。最初的古籍数据库主要是书目数据库，很多省市级图书馆都建立了书目数据库，其中南京图书馆建立了40万条中文古籍书目数据。

　　第二阶段是20世纪90年代的目录+影像阶段。这个阶段形成了以光盘为载体，可通过目录进行查询、浏览原文的影像页的古籍文献或古籍数据库，所以又称为光盘版古籍。1997年武汉大学出版社推出的“四库全书光盘版”共150张光盘，以文渊阁本《四库全书》为底本，将全书两百余万页逐页扫描成电子文件。

　　第三阶段，2000年起古籍数字化进入了全文检索阶段。将古籍的全文录入进数据库系统，通过文本与检索项匹配，实现直接到段落的精确查找。并且配置网络化，以各地区的图书馆为节点、网络为纽带建立了网络上的联合数据库。

　　通过网络共享服务，可以不再依赖个人存储也能得到海量资源。然而古籍数字资源不足，影响了网络化的发展。古籍数字化加工有着很多的问题。

　　2.1机器难以提高对古籍的识别能力

　　整理好的古籍进行数字化的第一步，便是古籍录入。

　　图书数字化录入的方法有两种，分别是人工键盘输入和计算机光学字符识别(OCR)扫描输入。人工键盘输入属于手工作业，需要由录入人员看着图书，逐字录入，有着效率低、成本高的缺点。OCR是一种先进的自动化技术，通过机器来大量识别图像为文本，是大量图书数字化的主要手段。但是，如果图书是古籍的情况下，机器的录入难度就增加了不少。

　　缺字：

　　由于计算机对文字的处理要通过编码来完成，国标字库(GB2312)收录有6763个字，国标扩展汉字字库(GBK)收录有20902个字。而古籍中通用字约有四万，常用的异体字约为两万。相对古籍中的繁体字、通假字、异体字、避讳字而言，计算机的编码库无法满足古籍输入要求。

　　排版：

　　古籍不仅仅是竖排版的问题，有无钤印、句读、栏线，标注分为单行标注和双行标注，写本、刻本、家谱、碑拓等等，甚至出现手写字体，都会让计算机无法识别。

　　所以，要提高古籍识别系统的可用性和可靠性，必须建立一套自我学习系统，让它尽可能接触更多古籍：从中提取新字样来扩充字符集，识别新版式来增强版面分析能力。

　　2.2专业要求强、投入不足

　　现代人能将古文顺利“认出”，就是一件非常难的事情。

　　句读：

　　古文是没有标点符号的，在阅读古文时要做到正确表达和语气顺畅，必须注意文句间起承转合。不懂句读会造成误读、误解原意，所以古人在《三字经》中要求“明句读”。唐代文学家韩愈在《师说》中就提到“句读之不知，惑之不解，或师焉，或不焉，小学而大遗，吾未见其明也”。除非进行专门的学习和研究，现代人很难读懂古文。

　　生僻字：

　　汉字是在不断发展和变化的。中国最早商代甲骨文中的文字有三千多字，汉代《训纂篇》有五千多字，《说文解字》有九千多字，晋代《字林》有一万二千多字，后魏《字统》有一万三千多字，唐代《玉篇》有两万二千多字，宋代《类篇》三万一千多字，清代《康熙字典》四万七千多字。1915年，欧阳博存的《中华大字典》四万八千多字。1970年，由张其昀主编的《中文大辞典》四万九千多字。1990年，由徐仲舒主编的《汉语大字典》五万四千多字。1994年，冷玉龙等的《中华字海》收入大量废弃的字，总字数多达八万五千字。而新课标在义务教育阶段对学生的识字要求仅有三千五百个。

　　异体字：

　　同一个汉字在古今也存在多种写法，比如有部分古书会把“嫦娥”中的“嫦”写成“常”。鲁迅作品中的孔乙己强调茴香豆的“茴”有四种写法，这些字统称为异体字。古籍整理要求把几个异体字改为一个字，需要有很多古文经验并结合上下文的理解，要求整理者有很深的古文专业知识。