上篇 下篇 返回
试题库系统论文
王晶
2008年4月8日



    本文从最新角度阐述了试题库系统应用的重大意义,并通过分析及实例详细说明了试题库管理系统是如何帮助教师及学校建立自己的题库资源以及如何有效利用这些资源形成现代化考试方式的具体过程,并通过这一强力技术手段的实施,彻底解决了司法与行政手段所不能解决的难题,比如考试作弊、改卷错误、教学考试综合成本长高不下等。

     关键字:试题库系统;万维数字创新技术;教学信息化基础

     Summary:

     The thesis is for researching of using the technology of software to settle the management of tests-data which can be formed electronics and digital-like to deal with. We can set up a way of lower-cost-running for application with the result, and can supply effectively a good test environment.

     一、 基本论述

     试题库系统,是一种能把传统用纸、墨记录的试题,形成“电子试题”,并可用计算机运行环境管理起来的应用软件,在软件分类中属于“应用工具型软件及大型数据库管理软件”。

     在社会全面进行信息化建设的今天,把海量的试题资源制作成能被计算机识别并处理的电子试题,是一件非常重要的事。因为,电子试题有极高的可重复利用价值(复用价值),和可被综合处理的性质。这个综合处理的结果甚至可以影响到今后教学、教育的变化和发展。

     二、 需求调查

     (一) 试题库管理系统的开发,最初是应一线教师出题考试或测验学生的实际教学需求进行的。

     (二) 传统方式下,教师出题考试,是先把试题写在纸上,然后组成打印试卷,让学生在纸卷和答题卡上书写。考试完成后,教师再把试卷收上来进行改卷和评分。

     (三) 这种方式有许多弊病,比如:卷面固定不易调整;出卷或印刷错误会造成废卷,影响考试正常进行;试卷容易被盗造成泄题或给作弊带来可乘之机;每次考试后的试题不易形成可共享的资源;改卷难度大,容易出现人为错误;综合成本高,管理麻烦……

     (四) 调查中发现,一线教师对试题库管理系统即应用软件的需求是很迫切的,这些教师都会比较年轻并都会使用计算机。而随着社会不断进步以及越来越多的年轻教师的加入,对试题库系统的需求会更加旺盛。

     (五) 另外,学校对建立自己相对独立的试题库资源管理环境的需求也在不断上升。随着教学模式和体制的改善,更多的学校将建立自己的教考系统,在“相对同等难度和级别”的前提下会形成自己特色的试题库资源,形成丰富多彩的教学内容和形式。这种发展趋势不仅大学已经开始,甚至中学也朝这个方向迈进。

     (六) 社会其他行业对试题库管理系统的需求也在上升。企业在用人管理上,需要进行员工培训或用人评估,需要对考评对象进行测试和评定,并把结果纳入“人员培训系统”或“人力资源管理系统”中进行管理。

     (七) 几乎可以肯定,无论大学、中学、小学、社会办学培训机构或企事业单位,都会对试题库管理系统有需求。事实上,这几年的市场形势业已证明了这一点。

     (八) 从研发角度上讲,不是每所学校都有能力开发试题库管理系统软件的。例如,清华大学在开发远程教学系统和学校管理系统、南京艺术学院在开发教务行政综合管理系统、西安大学在开发课件管理系统等应用软件上都耗费了很长时间和资金。最后都要转化成公司运作模式才能继续。开发试题库管理软件,不仅需要有一线教师长期从教的丰富经验,还需要开发人对软件开发工具、数据库管理环境及系统运行环境都十分熟悉、要具有多个课程和学科的教学管理经验,并且最为关键的是还要具备构架和设计大型综合性管理软件的能力。这需要很长时间的积累才能达到。因此,许多大学本身虽然很需要试题库系统,但自己开发出来的软件的确存在很多问题,几乎不能达到实际使用的水准。除大学外,中学具备开发试题库管理系统能力和条件的单位更是少只有少,因此,中学基本上只能作为试题库系统的用户,这个用户群体是比较庞大的。

     (九) 调查中还发现,用户不仅对试题库系统有基本需求,对组卷系统(抽卷系统)、组卷方案、试卷管理、电子考试、电子改卷评分、试题库库资源共享使用等都感兴趣。

     三、 重要意义

     试题库管理系统的开发和应用对当今来讲有十分重要的现实意义,对未来教学信息化建设的全面发展和教学体制与方法的科学化管理更具有深远的意义。主要从以下方面体现:

     (一) 考试信息化建设的基础环境

     在教育、教学现代化建设中,教、考信息化是最重要的主体工程。而在针对考试管理的信息化建设中,试题库建设就是最基础的工程。如果没有试题库管理系统软件的支持,试题库的建设与试题资源的形成将没有可能。如果没有合格的、规模化的试题库资源,组卷考试就没有可能。在整个教学考试的信息化管理中,试题库建设将起到重要的基础性的角色作用。

     试题库的建设是一个相对漫长和有相当负荷的工作,开发一个标准化指标强、专业化程度高、操作容易、维护工作量低的试题库管理系统,对教师个人以及教学管理单位建立自己的试题库管理体系有着举足轻重的作用。

     可以这样认为,试题库管理系统是网络考试系统及考试评定系统(改卷评分系统)的支撑平台。如果没有这个平台,或者这个平台搭建得不好,则往后的组卷、考试、评定等一系列工作都会受到影响。

     (二) 有效节省考试综合管理成本

     通常讲,与出题考试和改卷直接有关的综合管理成本有:

     1、 降低出题设计与制作成本

     传统方式下,一个教师每出一道新题(原题),大约需要花费60分钟,如果有样题出参照题,则需要花费30分钟。采用试题库系统后,每道题的出题时间会减少一半。试题库的检索、编辑、导入导出、复制等功能还能使出题的速度加快、质量和数量迅速提高、并且能加大出题范围。如果每道题的设计制作的初始成本为10元,按1千万道题计算,则至少可降低成本5千万元,如果按海量(10亿道题)规格计算,则仅此一项可在全国节省成本50亿元!

     2、 节省试题资源使用与管理成本

     传统方式下,试题资源大多用纸张、油墨作为载体进行记录和保存的。在这样的条件下,从数以万计的试题资源中查找符合条件的试题是非常困难的。靠人力在这些纸张文件中去查找若干相似的题型或内容相当的题目要耗费大量的时间和人力资源,并且还会有很多人为造成的遗漏查找和错误纠所形成的附加成本。这个成本也是巨大的。假设全国每年一次有1百万教师从事这项工作,每人消耗成本1000元,则有10亿元的人工成本。采用试题库管理系统后,将至少是这上面的工作成本降低至1/10。

     3、 降低试题编档审核中的管理成本

     传统方式下,试题入库审核并最终形成试题编录、成册,主要靠人力,不仅非常辛苦而且工作成本也很高。试题审核编录有许多雷同和重复现象,造成国家资源的极大浪费。采用试题库管理系统并形成海量试题库共享资源环境后,试题课本或手册的编录甚至考卷上的题目内容都能很容易地实现“防止雷同”及“相似题排他处理”,国家教育管理部门可根据当年的实际需要选择试题组织考试,并且这项工作将会很轻松地完成。

     4、 降低组卷综合管理成本

     传统方式下,组卷考试是通过纸张打印出卷并进行封装。一旦试卷泄漏将造成重大事故,并且所有原来出好的考题全部报废,需要再组织人力并花费时间从新出题。组卷过程中,出题者往往根据自己的经验和喜好出题,有失客观和公正,会诱发被考者猜题、作弊等不良行为。据统计,每年全国用于各种考试消耗的纸张、印刷费(包括能耗、人工、墨粉等)超过2亿元,纸张后期处理成本(包括保管、回收、环保等间接成本)十分巨大,仅纸张的材料成本就有5千万元。采用试题库管理系统后,组卷成本将大幅度下降,并最终可实现“无纸化考试”,使纸张的材料成本降为零、纸张后期处理成本为零。

     5、 降低考试成本

     传统方式下,一个全国性正规考试所动用的人力和物力是非常巨大的。以桂林为例,各种段考、中考、统考、高考、会考,每次需要监考老师等管理人员1000人,平均每个人补助500元,就有50万元的花费,全国在此项目上的耗费将达到1亿元。 如果采用试题库支持下的网络考试系统,则此项花费将下降至5千万元。

     6、 减少考试后改卷评分成本

     传统方式下,考试后要靠人工阅卷评分,通常需要1个星期时间,并且容易疲劳出错。答题卡如果涂写不清楚或不规范则很可能也会影响评分。除了主观题(如作文)由计算机阅卷成本高外,客观体用计算机改卷评分是非常快速和准确无误的。如果进行合理安排:把主观题的数量或分值控制在15%以内,则改卷教师的工作量就会减少85%,而因人为疲劳等造成在客观题上的评分错误会降低至零,整个错误率至多15%,这对提高改卷速度和质量将是一个划时代的突破。基于试题库系统之上的网络考试系统和阅卷评分系统对降低改卷评分成本有很大的帮助。

     7、 减少纠错成本

     传统方式下,题目出错、试卷出错、考试出错、评分出错等人为错误的发生都要经过一段时间才能被察觉或上报,通常都已经造成了严重损失,有些损失很可能是不可挽回的。而要预防或纠正这样的错误需要花费不少成本,比如启用传统的审核与监察制度。采用试题库系统后,由于能从技术手段上根本杜绝“硬性错误”(如逻辑判断错误)的发生,因此,在这方面的工作成本将会大量降低。据去年央视报道,国家在高考纠错方面的耗费损失有账可查的数额就高达5千万元。

     8、 减少抑制打击作弊的综合管理成本

     传统方式下,考试作弊很难治理及根除。其原因详见下一节的论述。其涉及到的治理成本相当高,包括行政、司法等领域的“介入管理”所形成的成本。每年,教育部都有相关的报道,包括违法、处分等事件多如牛毛,给国家的行政管理造成了许多负担,也是国家行政管理费用居高不下的侧因。采用试题库管理系统,能最终形成每人一份不同试卷的考试环境,使作弊、泄题等不良行为得到彻底根治。此项预计可在全国范围内直接节省上千万元的治理费用。

     (三) 有效杜绝考试作弊和腐败现象

     作弊现象的诱因有许多,但“万人同卷”,即数十万人甚至数百万人考同一份试卷,是主要原因之一。利益驱使下,不法分子可通过种种手段与监考人勾结,窃取试卷内容,进行场外答题,然后把答案通过手机等PDA设备发给考生,并从考生身上收取“服务费”,据悉,每个考生通常能够支付1千元给“答案提供者”。这样,只要一次考试“服务”100人,就可获得10万元的暴利,很诱人。于是,尽管国家年年打击,但年年都犯。光靠司法手段和行政手段难以有效解决问题。设想,如果每人手上的试卷不同,而难度系数和内容范围相当,并且无须通过纸张打印出来形成密封的卷宗全国寄送,临考时直接从题库中随机抽取试题组成试卷,这样,作弊的可能就几乎为零。

     (四) 有效杜绝改卷评分中的人为错误

     前有论述,不再赘述。

     (五) 对现有教育教学体系的全面创新

     考试模式最大的创新就是,把每年固定的“大考”,变为“根据需要随时随地的抽考”。用人单位可根据自己的实际需要对考生进行测试。另一个重要创新就是把同一试卷变为不同试卷,使考生之间及与外界联系人员都没有机会进行非法活动。并通过对考试内容、形式、过程、成绩等一系列相关数据的统计,找出今后教学内容和形式改进的依据和方向。这对提高国民整体素质,并快速跟进乃至超越国外先进国家,有非常重要的意义。

     四、 项目规划与系统设计

     为了适应教师、培训管理人员、学校、社会办学单位、机构、企业等对网络考试、试题库建设、电子试卷、改卷评分等系统所形成的应用型工具软件在实际应用中多种不同的需求,我们以大学、中学教学、考试管理模式为基本对象并对其属性和关联性进行了仔细研究,就上述系统的构架、功能、指标等做了完整的“项目规划”,并在此基础上进行了软件的系统设计。

     (一) 项目名称确定

     根据教考分离管理的特点,本项目名称确定为《万维考评综合管理系统》。

     (二) 系统平台规划

     为了使项目中各平台之间能够有机关联并在实际应用中顺利运行。本项目分成六大部分做系统规划:

     1、 《万维试题库管理系统》

     这是《万维考评综合管理系统》的基础平台,是本项目初期阶段规划的重点。规划的主要内容是:

     (1) 多种形式电子试题的建立

     (2) 以文本为主答案库的建立

     (3) 电子试题结构化处理

     (4) 基于中、大型关系数据库的电子试题集群管理

     (5) 支持电子试卷与打印试卷的输出

     (6) 支持电子化考试(俗称机考)

     (7) 支持试题资源平台的建立(试题库实群集合)

     (8) 建立电子试题档案及ID 属性标签

     (9) 建立试题入库审计(如查重)技术管理型体系。

     (10) 系统版本和规格:分为五大部分:家庭版、教师个人版、学校单机版、企业单机版、网络版。

     2、 《万维试题资源管理系统》

     该系统是建立在《万维试题库管理系统》基础之上的“资源利用型系统”。主要目的是“分布建立、集中使用”试题资源,即建立一个全国范围内大跨度的试题资源库管理环境,以此作为规划指南,主要内容有:

     (1) 分类电子试题和答案库的建立

     (2) 电子试题权益申明与许可系统的建立

     (3) 电子试题使用频率与计费管理系统的建立

     (4) 电子试题资源价值分析与档案管理系统的建立

     3、 《万维电子试卷管理系统》

     电子试卷管理是试题库应用价值的直接体现,规划包括如下内容

     (1) 随即抽取试卷,直接支持电子考试和程序评分

     (2) 按指定规则或方案抽卷

     (3) 支持答题卡评分

     (4) 支持普通打印输出试卷考试并人工评分(传统模式)

     (5) 试卷档案管理系统建立

     (6) 组题方案数据库建立

     (7) 支持各种套卷、套题等

     4、 《万维网络电子考试管理系统》

     这也是本项目规划中的重点应用软件平台。总体规划分为两大部分:

     (1) 正式考试模式

     (2) 非正式考试模式

     正式考试模式的成绩可以记入档案,非正式考试模式的成绩主要用于测验。正是考试模式有身份验证、监考、计时、封卷(缴卷)、ID识别、答题动作记录(操作轨迹记录)、作弊警示等一些列辅助功能。考试结果一旦锁定将进行数据安全保管。

     5、 《万维考试评分评定系统》

     该平台与网络考试系统联动,对考生答案进行管理,并能与“员工培训系统”、“人力资源管理系统”等第三方软件进行数据导入和导出。答案与成绩的数据以独立数据库形式进行管理。

     6、 《万维教学分析评估与预测系统》

     该平台实际上是一个专家分析系统、扶助决策系统、变化预测系统的集合,其直接数据来自考试评分评定系统,间接数据来自网络考试系统、试卷管理系统、试题资源管理系统和试题库管理系统,也可进一步扩展数据处理范围,比如向人力资源管理系统、员工培训系统等获取数据。另外,用户可根据自己实际需要甚至临时需要人工输入数据,进入系统处理,获得预期结论。

     (三) 试题库系统设计

     本项目最基础部分即《万维试题库系统》。该系统设计采用了一种建立“准标准化”的创新思路,把各主要功能模块相关的数据统一调配使用,并完全采用一线教师的实际工作方式,针对业务操作的每个环节进行“数字化仿真模拟”。主体模块设计要求阐明如下:

     1、 系统结构

     该系统采用结构化与离散数据处理相结合的形式。在结构化环境中以树状结构及二维关系表结构为主进行结构化数据的处理、管理和表族管理。实现了“分散处理、集中管理”的思想。结构数据可进行统一的表管理和集中调度使用,并对原始数据进行严格定义以及在数据之间的关系上进行语法安排,确保数据元的独立性和唯一可识别性。

     2、 运行环境

     该系统主要设计在微软32位视窗平台上运行,并充分利用微软等第三方技术可支持的对象处理器和文字编辑器、充分利用微软及其相关的关系型数据库资源和支撑平台,实现了在全国最大范围内的数据联动、平滑迁移和信息共享。同时也更加照顾了最广大用户的操作习惯。系统对用户在操作上完全透明。

     3、 主体模块与主要功能模块

     该系统在主体模块上分为:系统管理模块和业务处理模块。各主要功能模块的作用说明如下:

     (1) 系统管理模块

     主要有:系统登录验证、用户管理模式确立、权限分配、部门设置、题型参数设置、试卷参数设置、数据备份、数据恢复、数据库压缩与修复、标准词典建立、审计模式开启、试题标签开启、方案定制选择、工作(操作)向导、网络联通、数据库启动、并发流量监控、错误预警提示、系统日志、联机帮助等。

     (2) 业务处理模块

     主要有:试题管理(包括试题的录入/导入/浏览/编辑/统计等)、试卷管理(包括手工、自动组卷、套卷文档管理等)、课程管理(包括当前课程、当前课程属性、当前课程权限、知识点结构、添加课程、删除课程等)、导入导出(包括导入资源向导、导出资源向导等)。

     4、 主要功能模块进一步说明(部分举例说明):

     (1) 试题录入:包括的子模块有:题目、题目内容、题型、难度、知识点树(拖放编辑功能)、直接入库、暂存、检查雷同、编辑、插入对象、字体格式、选择题录入(包括:增加、删除选项,题干与选项合并录入、题干与选项分开录入)、查找、替换、答案选项、分析提示、调色板、背静色安排、粘贴、保存、退出等。

     (2) 试题统计:包括的子模块有:总量统计(部门、课程、数量、图示)、录题统计(知识点结构、图例——题型结构示意图/难度结构示意图、数据——题型/难度)、结构统计(按审题量统计、按出题量统计、课程名称选择、统计按钮、统计示意图)等。 (3) 自动出卷:包括的子模块有:试卷说明、试卷类型、试卷总分、查看题库结构、调入组卷方案、设置名称和类型、设置考试范围、设置题型和难度、自动抽取试题、调整试卷、生成word文档、保存试卷等。

     五、 工程计划与实施步骤

     试题库系统实际上是一个能够面向所有大学、中学、小学、社会办学单位和培训机构,以及大型企事业单位的人力资源管理部门、培训中心等提供考试基础环境服务,并能形成非常有价值的巨型试题资源应用条件的大型工具软件。它的开发和应用意义是逐年显现出来的。开发过程中的技术经验积累和教学经验积累是个相对漫长的过程,然而却是该系统得以成功面世的先决条件。为了保证该系统在网络运行环境下的成功,我们采取了分步开发原则,先从单机版入手。

     (一) 单机版开发与应用工程的实施与部署

     通过市场形势和学校、教师实际应用需求分析,该系统单机版规格设定为四个部分,实际开发中以教师个人版为先导,进入实战模拟并最早面世:

     1、 家庭版

     该系统主要针对幼教的家庭辅助教学使用。

     2、 教师个人版

     该系统主要针对中学、综合大学、专科学院、社会办学单位的执教人员、企事业单位人力资源管理部门中的培训干部使用。 3、 学校单机版

     该系统主要针对小规模学校单位使用。

     4、 企业单机版

     该系统主要针对企事业单位包括机关、部队、金融、能源等单位使用。

     (二) 网络版开发与应用工程的实施与部署

     第二阶段即获得政府科技三项资金时期,主要针对企业级用户在单位建立自主试题库资源环境的需要开发。由于每个用户实际网络和系统部署与运行情况有差异,因此,该系统在实际应用中遇到许多难题,比如数据管理安全问题、系统受攻击问题、用户操作错误导致数据混乱问题、并发操作问题、微软系统固有问题、用户新增需求问题,管理模式不统一问题,等等,另外还要面对不同水平的用户使用计算机方法的问题。实际应用中,网络版改动量最大,服务工作量也最大。目前,在单机版强大功能及稳定运行所形成的良好基础上,网络版的开发已经基本成功,并已经具有实际意义上的大型用户在使用。

     由于软件技术产品的特殊性,整个开发过程必须伴随实际使用过程进行调试、改进和演变,因此,该系统的开发周期相对较长,但同时也显示出其强大的生命力和启动市场需求的能力。可以说,从很大程度上,正是因为有了该系统所形成的一系列信息化数据管理平台,使得用户的现代化管理的进展得到了卓有成效的提升。

     六、 市场检验结果

     在互联网上,只要输入关键字“试题库系统”就可以看到许多有关“万维试题库系统”的介绍和软件使用传递下载,甚至还有大量“注册机”对该系统的破解和盗版,由此,至少可以说明国内市场对该系统的“热情”关注。我们认为,适当的让市场可以对该系统低级版本进行盗版,是市场推动的一个策略。目前在资金短缺的情况下,还不能采用广告轰炸或频繁参加行业论证会的形式,充分利用网络资源带来的便利也是我们目前的营销策略之一。

     (一) 教师个人版

     该版本软件已得到市场5年以上的检验并证明在国内同行产品中处于技术领先和成熟度最好的项目。该系统已经具有全国百余个来自不同单位一线教师或从教人员的实际使用。另有不计其数的未注册用户在使用网上可以下载得到的试用版软件(有功能和操作次数限制)

     (二) 学校单机版与企业单机版

     该版本软件也有数十个正式单位用户在使用,情况良好。

     (三) 网络版

     目前该版本有几家全国性大型机构使用。

     (四) 家庭版

     目前尚未正式推出,等待时机成熟后可向全国发行。 (五) 市场对考评综合管理系统的需求 在向全国市场拓展市场中,已感觉到用户的需求从单一系统转向复合系统,从单一对试题库系统的需求转向对试题库系统并网络考试系统的整体需求,即,更接近我们建立本项目的总体规划,这与早几年碰到的情况大不相同。说明市场已经起来,并正在形成规模。

     七、 发展趋势预测

     (一) 试题库系统与网络考试系统的关联度更加密切

     (二) 标准化数据处理形式与第三方系统接入的认同

     (三) 分散与分部考试体制的逐步形成与正式考试与非正式考试关系的建立

     (四) 考试结果数据对教学工作改进提供量化依据的力度的提升

     八、 需要完成的工作

     为了使本项目能深入开展,以及从技术深度和市场宽度两个方面同时考虑,我们需要对试题库系统做进一步的研发,并着手准备对于《万维试题库管理系统》直接相关的《万维网络考试管理系统》进行全面规划和设计,力求在有一定资金支持的前提下,短时间内有新的突破。目前的工作重点是:

     (一) 进一步深化试题库系统软件的深入开发

     (二) 逐步建立试题库资源共享环境

     (三) 进入网络考试平台全面开发前期准备

     (四) 进入相关系统开发的准备包括与考试后段相关的数据处理软件如教学评定系统,教学分析系统,专家决策系统等。

     九、 结论

     作为教学考试系统重要支撑平台的“考评综合信息管理系统”的基础平台,《万维试题库系统》软件的开发成功,对今后教学考试信息化全面管理,打下了良好基础。由于,试题库系统直接针对试题进行处理和管理,而试题是国家人力智力资源中最有代表性的数据形式,因此,试题库系统的专业化和正规化开发犹显重要。如果试题库系统开发不成熟则会直接影响考试系统的建立,甚至会影响教学整体规划。

     创新点说明:本项目在规划上的完整性和系统性,体现了本项目在全局范围解决问题的宏观思想和构建在全国大市场上的应用思路。目前国内还没有哪个机构有如此系统、全面的规划。另外,本项目中的基础系统即《万维试题库系统》在构架上最先采用试题特征提取及其管理的构思,并最充分地利用通用资源向标准化方向发展,同时解决了操作上的难题。

     在解决疑难杂题上,如医学题、艺术题等,实现了面向对象的整体编制和录入管理;通过权限管理使入库试题资源能够有效验证数据的出处、使用状态和社会认同性,并能从法律上有效解决未来试题在资源有偿共享上的司法纠纷和知识产权归属问题。

     试题库系统的建立,将使大规模试题资源的形成指日可待,并使现代化考试模式的创建以及教学考试的量化评估和科学化管理成为可能。

    



上篇 下篇 返回