高等建筑教育  2021, Vol. 30Issue (5): 83-92  DOI: 10.11835/j.issn.1005-2909.2021.05.012 RIS(文献管理工具)
0

引用本文 

付小莉, 张静雯, 沈超, 等. 港航专业面向产出的达成情况评价机制探索及效果分析[J]. 高等建筑教育, 2021, 30(5): 83-92. DOI: 10.11835/j.issn.1005-2909.2021.05.012.
FU Xiaoli, ZHANG Jingwen, SHEN Chao, et al. Exploration and effect analysis of output-oriented achievement evaluation mechanism for port, waterway and coastal engineering[J]. Journal of Architectural Education in Institutions of Higher Learning, 2021, 30(5): 83-92. DOI: 10.11835/j.issn.1005-2909.2021.05.012.

基金项目

2020年上海高校市级重点课程(0200104440);2019年上海高校课程思政领航计划

作者简介

付小莉(1979-), 女, 同济大学土木工程学院副教授, 博士, 主要从事水力学及流体力学研究, (E-mai)xlfu@tongji.edu.cn

文章历史


修回日期:2021-01-07
港航专业面向产出的达成情况评价机制探索及效果分析
付小莉 , 张静雯 , 沈超 , 张洪     
同济大学土木工程学院, 上海 200092
摘要:以学生为中心的工程教育认证的根本目的是促进或提升"教育产出"。为适应新时代新水利背景下水利科技人才培养需求,同济大学港口航道与海岸工程专业从培养方案修订着手,通过修订培养目标、分解毕业要求指标点,以及持续改进课程体系等方法贯彻OBE理念,实现从培养"学科导向型"人才到"工程导向型"人才的转变,从培养专业技术人才到培养兼具专业能力、职业素养、社会责任的复合型人才转变,以期达到水利工程师国际认证的实质等效。与此同时,建立了课程达成情况及毕业要求达成情况评价机制、培养目标合理性评价机制,并结合机制运行情况进行了实例分析,实现了对本专业本科生培养质量的全方位、中长期跟踪评价与持续改进。
关键词面向产出    工程教育认证    培养方案    评价机制    港口航道与海岸工程    
Exploration and effect analysis of output-oriented achievement evaluation mechanism for port, waterway and coastal engineering
FU Xiaoli, ZHANG Jingwen, SHEN Chao, ZHANG Hong     
College of Civil Engineering, Tongji University, Shanghai 200092, P. R. China
Abstract: The fundamental purpose of student-centered engineering education certification is to promote or enhance "educational output". In order to meet the needs of water conservancy science and technology talent training under the background of the new era, Tongji University's port, waterway and coastal engineering major starts from the revision of the training plan, and implements the OBE concept through the revision of training objectives, the specific decomposition of graduation requirements, and the continuous improvement of curriculum system to realize the transition from cultivating "discipline-oriented" talents to cultivating "engineering-oriented" talents, from cultivating talents with strong professional and technical capabilities to cultivating compound talents with professional capabilities, professional qualities, and social responsibilities, to realize the substantial equivalence to international certification of hydraulic engineers. An evaluation mechanism for the achievement of courses and graduation requirements, and an evaluation mechanism for the rationality of training objectives have been established respectively, and example analysis combined with the operation of the mechanism is carried out, to achieve a comprehensive mid-to-long-term follow-up evaluation and continuous improvement of the training quality of undergraduates in this major.
Key words: outcome-oriented    engineering education certification    training program    evaluation mechanism    port, waterway and coastal engineering    

我国自2006年开始构建工程教育专业认证体系,有力地推动了国内工程教育教学改革。工程教育专业认证既是我国“五位一体”评估制度的重要组成部分,也是我国实施“保合格、上水平、追卓越”三级专业认证的最高级认证。2016年,国际工程联盟大会通过我国成为《华盛顿协议》第十八个正式成员国决议,标志着我国工程教育质量体系标准实现了国际实质等效[1]。工程教育专业认证的目标是培养可胜任相关工程领域工作的技术人才。开展工程教育专业认证可用于构建我国工程教育的质量监控体系,推进我国工程教育改革,进一步提高工程教育质量;建立与注册工程师制度紧密衔接的工程专业教育体系;构建工程教育领域与企业界的互联机制,增强工程教育人才培养对产业发展的适应性;促进我国工程教育的国际互认,推动人才全球化,提升国际竞争力[2]

水利行业是我国走上国际舞台较早的一个行业,随着国力日益增强,水利水电水运建设成就突出,在国际上的影响愈来愈大。在“一带一路”倡议的指引下,我国在水电、港航领域的基础设施建设、技术推广和人才培训等方面大力推行“走出去”战略,需要大量具有跨国职业资格的水利工程师[3]。加入工程师国际互认体系是我国改革开放、融入世界、积极参与国际竞争、培养高素质人才和促进我国工程技术发展的迫切需要。工程教育专业认证既是国际通行的工程教育质量保证制度,也是实现工程教育国际互认和工程师资格国际互认的重要基础。对于已通过认证的水利类专业,其毕业生在《华盛顿协议》相关国家和地区申请水利类工程师执业资格或申请研究生学位时,享有当地毕业生同等待遇,可见专业认证是我国水利类专业学生走向世界的国际统一“通行证”。截至2019年12月,我国已有38所高校的59个水利类本科专业点通过认证。其中,水利水电工程专业22个,水文与水资源工程专业16个,港口航道与海岸工程专业8个,农业水利工程专业13个[4]

“产出导向、学生中心、持续改进”是工程教育认证的核心理念,也被称为基于产出的教育(Outcome-Based Education, OBE)理念。实践证明,OBE理念不仅是国际通用的工程教育理念,而且与新时代我国工程教育发展总体要求相适应。面向产出的教学质量保障机制是工程教育专业认证的核心和建设难点之一[5]。2020版工程教育认证申请书,特别强调“申请工程教育认证的专业必须建立基于评价的教学质量持续改进机制,必须提供专业已有的面向产出的内部评价机制等相关说明与支撑材料”。为了主动适应国家战略、社会进步与行业发展对人才培养的要求,切实将工程教育专业认证核心理念贯穿人才培养全过程,同济大学港口航道与海岸工程专业(以下简称“港航专业”)结合《工程教育认证通用标准解读及使用指南》(2020版,试行)[6]、《工程教育认证专业类补充标准》(2020年修订)[7],以及《同济大学2019级本科培养方案修订细则》等要求,修订了培养方案,制定了相关管理规定,建立了课程目标、毕业要求达成情况评价机制和培养目标合理性评价机制,引入了课程目标和毕业要求达成评价教学管理系统,对教学质量实施了有效监测与控制,以促进人才培养质量的持续提升。

一、同济大学港航专业培养方案核心要素解读

同济大学水利工程学科历史源远流长。1930年设立土木工程系水利组。1952年调整至华东水利学院(现河海大学)。1958年成立水工系,设有水电站及水工结构、陆地水文等专业。1979年开设海洋石油建筑工程专业。1985年更名为海洋工程专业。1999年开设港口航道与海岸工程本科专业(简称“港航工程专业”),首批学生于2003年毕业。同济大学港航工程专业依托土木工程优势学科国家级平台、师资资源、专业基础课程培养体系等,为人才培养提供了课程教学保障,同时在吸引优秀生源、教学管理、实践实习基地建设、创新创业基地、图书资源、网络教学等方面形成了比较完善的管理体系。

专业培养方案是学校人才培养的纲领性文件,体现了人才培养的目标和规格,是落实专业定位、专业标准,组织实施教学,保证培养质量的基本依据。根据《同济大学本科专业培养方案制(修)订管理办法》规定,港航专业培养方案需做到每四年一大修订,每年一小修订。培养方案的修订要符合学校发展定位和人才培养总体目标,要以港航专业的专业标准为依据,以人才培养为主线,以教学综合改革与建设为手段,体现港航专业特色。目前,同济大学港航专业培养方案的核心要素主要体现在对培养目标、毕业要求和课程体系的表述中,图 1为培养方案核心要素关联图。

图 1 同济大学港航工程专业培养方案核心要素关联图
(一)培养目标的修订

随着我国社会经济进入了新的阶段,面对立德树人新要求、国际竞争新形势、新一轮科技革命与产业变革新机遇、“一带一路”、新基建等国家需求,要求港航专业向大数据、人工智能、云平台、互联网+、生态环境和社会学等方向发展,对专业培养的目标提出了更高的要求[8]。为了更好地适应时代发展,加强多学科融合,迎接新水利需求及技术发展变革的挑战,培养面向水利多样化需求的复合型创新人才,同济大学港航工程专业于2018年4月启动本科人才培养方案的修订工作,并开展了对用人单位、毕业生和校内外专家的调研工作,在以新工科建设为导向的工程教育改革背景下,将“德、智、体、美、劳”全面发展的社会栋梁和专业精英作为人才培养的重要目标,期待毕业生五年左右达到如下目标。

(1) 具有社会责任感与职业道德:具有人文社会科学素养、社会责任感、可持续发展理念,能够在工程实践中遵守工程伦理、职业道德和行为规范。(2)能够综合运用专业知识:能胜任港航工程及相关领域的工程设计、施工、运维、管理等工作,具备职业工程师执业能力。(3)具备解决复杂工程问题的能力:能够创造性地解决港航工程及相关领域的工程设计、施工、运维、管理中的复杂工程问题。(4)具有终身学习能力:能够通过继续深造、行业培训、工程实践、自主学习等不同方式持续提升专业素养和综合素质,适应港航工程行业和科技的最新发展。(5)具有团队合作意识和领导能力:能够担任港航工程一般项目的本专业负责人,初步具备领导力。具有团队协作精神和组织协调能力,能够面向公众或业界同行进行有效沟通与交流。(6)具有全球意识和创新能力:具有全球意识、国际视野、自主创新的意识和能力,服务长江经济带、一带一路等国家发展计划。

(二)毕业要求的分解

结合工程教育对毕业条件的要求,根据培养目标制定了同济大学港航工程专业12条毕业要求,完全覆盖2018版工程认证标准12条毕业要求,能支撑培养目标达成。在授课教师、专业负责人、本科专业教学指导委员会的共同参与下,按照知识、素养、能力三个层面将12条毕业要求分解为26个二级指标点,建立了专业课程体系、毕业要求和培养目标之间的支撑关系,提供了师生了解专业毕业要求的公开渠道,构建了专业毕业要求制定的长效工作机制。

(三)课程体系的持续改进

目前,同济大学港航工程专业的课程体系设置中,通识课共计39.5学分(占总学分的24%),大类基础课共计30.5学分(占总学分的18.5%),工程基础类课程、专业基础类课程与专业类课程共计59.5学分(占总学分的36.2%),课程实验、课程设计、专业实习、毕业设计(论文)等实践环节共计35学分(占总学分的21.3%)。课程总体设置符合《工程教育认证通用标准解读及使用指南》(2020版,试行)和《工程教育认证专业类补充标准》(2020年修订)中的水利类专业补充标准的相关要求,能够支撑本专业的毕业要求和培养目标。

课程体系改进设计中,既考虑了新工科建设和大类招生的要求,又强化了社会责任和职业素养相关课程[9]。通过数学与自然科学类、人文与社会科学类、工程基础类课程和专业基础类课程,以及专业类课程的学习,构建起专业工程知识体系;通过人文与社会科学类课程,塑造专业工程素养;通过工程基础类和专业基础类、专业类课程、集中实践类和创新创业能力拓展项目及教学环节,培养社会责任、专业工程实践、沟通交流与管理和自我发展能力。此外,港航工程专业还进行了基于OBE理念的专业课程思政设计,分别从天下意识与全球视野、家国情怀与责任担当、文化传承与价值引领、工匠精神与职业素养、工程思维与创新能力、院系归属与专业自豪感等不同维度梳理了相关课程所蕴含的思政教育元素,构建了覆盖全面、类型丰富、层次递进、相互支撑的课程思政体系,将思政元素充分融入每门核心课程的大纲和教案里。

二、面向产出的达成情况评价机制阐述

“产出导向教育”是工程教育专业认证的核心理念之一[10]。专业的产出可以分为三个层次:专业培养目标聚焦于学生毕业后能做什么,以及学生毕业5年左右能取得怎样的职业成就;专业学习产出对应毕业要求,考察毕业时学生应获得的学习成果;课程学习产出对应课程目标,关注教学环节结束时学生获得的学习成果。同济大学港航工程专业始终把握专业产出三个层次之间的递进和交叉关系,将专业产出的达成情况作为评价对象,以可衡量的产出结果作为评价的依据,通过制度化的内部评价机制实现发现问题、解决问题、持续改进问题,把对课程目标、毕业要求和培养目标的考量融入到达成情况的评价机制中,以此推动专业“产出导向”人才培养体系的建立。面向产出的达成情况评价机制如图 2所示。

图 2 面向产出的达成情况评价机制
(一)课程目标和毕业要求达成情况评价机制 1. 评价与反馈机制的建立

为了保障评价机制的制定、执行、落实、跟踪、评价与改进等一系列措施的顺利推进,学院成立了由专业负责人、学科带头人、教学副院长、企业专家等组成的港口航道与海岸工程本科教学指导委员会,主导课程目标和毕业要求的达成评价工作。其中,课程目标达成评价工作组由课群方向负责人/教学系主任、任课教师组成,任课教师负责组织开展课程目标达成情况评价工作。毕业要求达成评价工作组由专业负责人、教学副院长、主管学生工作的党委副书记、教学系主任、部分骨干教师及教务科、学工办老师组成,教学系主任负责组织开展毕业要求达成情况评价工作。

课程目标达成情况评价工作包括考核方式和期终考试命题合理性审查、数据采集与审核、课程目标达成度计算、达成情况评价结果分析与反馈、任课教师和课程层面上改进措施的提出与落实。在修订培养方案和教学大纲时,毕业要求达成评价工作组对毕业要求进行指标点分解,组织任课教师讨论确定毕业要求指标点的支撑课程、教学活动及其权重、毕业要求达成情况评价方法,在此基础上,依据应届毕业生所学课程和教学活动的达成情况评价结果,课程和教学活动对毕业要求指标点的支撑关系,对毕业要求指标点及毕业要求达成情况进行直接评价。同时,结合问卷调查进行毕业要求达成情况间接评价,对毕业要求达成情况评价结果进行分析,从专业层面提出改进措施并加以落实。

2. 达成情况评价方法

(1) 课程目标达成情况评价方法。课程目标达成情况评价以定量评价为主、定性评价为辅。定量评价依托教学管理系统进行,不同考核方式对应不同课程目标点得分,教学管理系统依据教学大纲中的考核方式与比例计算课程目标点得分和课程目标达成度,如表 1所示。定性评价则主要通过每年一次的学生自评问卷调查,结合学校学院督导评价和学生教学质量座谈调查完成。

表 1 课程目标达成度计算

(2) 毕业要求达成情况评价方法。毕业要求达成情况评价在每届学生毕业后进行,采用直接评价和间接评价。直接评价选取当年毕业的所有学生(不含结业、肄业学生)修读课程最终成绩作为评价样本,以课程达成情况评价为基础进行毕业要求指标点和毕业要求达成情况的评价,毕业要求指标点达成情况评价时一般仅选取强支撑课程的达成情况结果进行分析,此时课程权重依据该课程学分(Cn)占该指标点所有强支撑课程学分(∑Cni)的比例确定,见式(1);间接评价主要通过问卷调查的方式了解应届毕业生对各项毕业要求达成情况的自我评价。

$ {\beta _{m, n}} = \frac{{{C_n}}}{{\sum {{C_{ni}}} }} $ (1)

表 2可以获得各课程目标指标点的计算达成度Fj。根据教学大纲中课程目标点对毕业要求指标点的支撑关系以及课程目标点权重(γj),针对多(k)个课程目标点支撑一个毕业要求指标点的情况,按照式(2)获得该指标点对应的课程计算达成度。

表 2 航道工程学课程目标达成情况评价分析报告
$ {P_{m, n}} = \frac{{\sum\limits_{j = 1}^k {{F_j}{\gamma _j}} }}{{\sum\limits_{j = 1}^k {{\gamma _j}} }} $ (2)

将支撑某项毕业要求各指标点的所有课程的达成度评价值乘以其权重后相加,得到该毕业要求指标点的达成度评价结果,见式(3)。取各分指标点达成度评价结果中的最小值作为针对该项毕业要求的达成度。

$ {Q_{m, n}} = \sum {{\beta _{m, n}}} {P_{m, n}} $ (3)
3. 评价数据来源及合理性判定

不同的课程类型其考核方式不同。认识实习、生产实习主要依据平时表现、实习日志、实习报告、成果答辩等进行评价,并给出不同环节考核的课程目标点及考核标准。毕业设计(论文)则根据论文/项目选题、阶段进展、英文文献翻译、最终成果(设计图纸、计算书或毕业论文)、答辩等进行评价。

课程目标达成情况评价时,选取该学期修读该课程所有学生的原始成绩(含缓考,但不含补考)进行分析。毕业要求达成情况评价选取该年度毕业学生(不含结业、肄业学生,可能来自于不同年级)所学专业核心课程和教学活动的最终成绩进行分析。

4. 评价结果分析

课程结束后,任课教师对课程目标达成情况进行纵向和横向比较分析,围绕教学设计、教学方法、教学手段、教学组织等分析本年度采取改进措施后的效果,分析存在的不足并提出改进措施,形成《课程目标达成情况评价分析报告》。该报告经教学副院长/专业负责人审核通过后,任课教师在下一年度组织实施,由学院教学督导检查落实情况,并在下一年度课程目标达成情况评价时分析持续改进效果。

毕业要求达成评价工作组对毕业要求达成情况评价结果进行分析,包括不同毕业要求指标点达成情况的比较、毕业要求指标点达成情况历年变化趋势,以及毕业要求指标点达成情况定量评价和学生自评、学生期望值之间的比较等。

(二) 培养目标合理性评价机制 1. 培养目标定期评价与修订制度

培养目标是教育目的在各级各类学校教育机构的具体化,由特定社会领域和特定社会层次的需要所决定。同济大学每隔四年左右在全校范围内以院系为单位开展人才培养方案修订,给出培养方案修订的指导意见、课程设置与修读要求及培养方案的具体格式。培养目标的持续改进是培养方案修订工作中的一项重要内容。港航本科教学指导委员会建立了四年一个周期的培养目标评价和修订制度,通过内部评价和外部评价相结合的方式,以标准导向、全面推进、巩固优势、建设一流为基本原则,制定了培养目标修订实施办法。

2. 培养目标的合理性评价

在内部评价方面,首先通过明确教学质量控制要求,建立教学过程质量监控体系,确保监控有效实施,从而实现课程教学与毕业要求的一致。其次,根据毕业要求的达成度来评估培养目标的达成度,即根据学生毕业时的毕业率、授位率、读研率及一次就业率等,评价学生的培养质量和受社会认可程度。

在外部评价方面,建立了毕业生跟踪反馈机制和社会评价机制。学院主要通过拜访校友、走访用人单位、邀请用人单位来院洽谈、问卷调查等方式,对毕业生的工作能力、工作表现进行评价。学院与专业联合制作了毕业生现状及培养目标调查表、人才培养社会评价调查问卷,通过邮件、邮寄等方式发放、回收,了解毕业生与用人单位对培养目标的评价,并进行汇总分析。

三、评价机制效果分析实例

通过达成情况评价体系来检验学生的学习效果和教师的教学质量是实现OBE理念的重要手段。同济大学港航工程专业将整套达成情况评价应用于学生培养的全过程,结合“面向产出”的核心理念完成关于课程目标、毕业要求的达成情况评价和培养目标的合理性评价。

(一)课程目标达成情况分析

以2018—2019学年开设的航道工程学为评价对象,针对课程特点对课程目标进行分解,将课程教学目标细化为4个指标点,精确覆盖了航道选线布置、整治工程规划、航道工程对生态环境的影响等多个知识点;赋予不同考核方式一定的权重,不将期末考试成绩作为唯一评价标准,聚焦学生在课程学习过程中所获得的能力,加大课堂讨论、课后质疑所占的权重;依据课程目标和毕业要求达成情况评价机制中提出的课程目标评价方法,给出最终的课程目标达成度,并根据课程目标达成度对本学期的授课情况进行分析总结,给出该课程持续改进建议和具体举措,不断优化教学模式,从而实现教学质量的提升。表 2为最终形成的《课程目标达成情况评价分析报告》。

(二)毕业要求达成情况分析

2018年5月,本专业开展了2018届本科毕业生毕业要求能力达成情况评价。直接评价部分采用了基于课程目标达成度的毕业要求达成情况分析法,选择技术类毕业要求4,对2018届毕业生毕业要求达成情况进行定量评价,具体达成情况评价见表 3。其中,毕业要求4的所有指标点达成值均在0.8以上,说明本专业毕业生专业基础知识比较扎实,并且在处理复杂工程问题方面具有较强的能力。间接评价部分则是通过问卷调查、座谈、走访等方式,以应届毕业生、用人单位为主体,调查了其对本专业毕业要求核心能力重要性的认同度及核心能力达成情况满意度的评价,最终对用人单位和应届毕业生的调查反馈意见进行汇总分析。

表 3 2018届毕业生毕业要求4达成情况评价结果
(三) 培养目标合理性评价分析

2018年5月,本专业开展了培养目标合理性评价。通过发放问卷、座谈、走访等方式,以毕业生、用人单位、在校高年级学生、任课教师、学工办教师为主体,调查了其对本专业培养目标合理性的评价。调查问卷的内容主要围绕培养目标与社会发展需求的吻合度、培养目标与工程技术发展需求的吻合度等展开。同时,针对不同的调查群体,问卷内容有所侧重。例如:用人单位的问卷中增加了“培养目标与贵单位事业发展需求的吻合度”评价;毕业生的问卷和在校高年级学生的问卷更加注重学生本人的学习体验,关注学生对专业培养目标与学校办学资源条件、个人未来职业规划发展等因素的吻合度评价。问卷以五分制计算,取各评价指标最低值为合理性评价结果,根据最终收回的问卷计算得出毕业生合理性评价结果为4.38分,用人单位合理性评价结果为4.37分,在校高年级学生合理性评价结果为4.22分,教师合理性评价为4.57分。本次培养目标合理性评价综合结果为4.22分,毕业生、用人单位、在校高年级学生、任课教师均认为专业培养目标合理。与此同时,利用校友返校、校企合作等契机,与毕业生代表和用人单位,探讨专业培养目标的合理性,以获得更加准确且全面的培养目标评价反馈。

四、结语

通过对港航工程专业面向产出的达成情况评价机制的探索,在对课程目标和毕业要求系统评价的基础上,针对培养目标这一核心要素进行了拓展,并结合机制运行情况进行实例分析,实现了对本专业本科生的全方位、中长期跟踪评价。在今后的教学过程中,同济大学港航工程专业将继续坚持“持续改进”的核心理念,在实践、反馈、改进的过程中不断精进,为港航工程专业的人才培养提供新的思路。

参考文献
[1]
胡晓宏, 郑慧, 张玲玲, 解成俊. 工程教育认证毕业要求达成度评价机制研究[J]. 通化师范学院学报, 2020, 41(4): 108-112.
[2]
王勇, 李剑峰, 赵军, 等. 以开展专业认证为契机大力提升工程教育质量[J]. 中国高等教育, 2009(2): 27-28.
[3]
陈元芳, 李贵宝, 姜弘道. 我国水利类本科专业认证试点工作的实践与思考[J]. 科教导刊(中旬刊), 2013(2): 25-27.
[4]
工程教育认证通告[2020] 4号关于发布已通过工程教育认证专业名单的通告及历年通过工程教育认证的普通高等学校本科专业名单[EB/OL]. (2020-07-15)http://www.moe.gov.cn/s78/A08/tongzhi/202007/t20200721_474084.html
[5]
陈以一, 张伟平. 本科工程专业要立足于培养工程师——工程教育认证的"成果导向"理念与本科专业定位[J]. 高等建筑教育, 2019, 28(3): 63-69.
[6]
工程教育认证通用标准解读及使用指南(2020版, 试行)[EB/OL]. (2020-02-08) http://www.ceeaa.org.cn/gcjyzyrzxh/rzcxjbz/gjwj/gzzn/index.html
[7]
工程教育认证专业类补充标准(2020年修订)[EB/OL]. (2020-06-27) https://www.ceeaa.org.cn/gcjyzyrzxh/xwdt/tzgg56/620333/index.html
[8]
姜弘道. 面向新时代新水利的水利类本科专业的建设与改革-基于工程教育专业认证的思考[C]. 中国水利学会2019学术年会论文集. 北京: 中国水利水电出版社, 2019.
[9]
魏维, 唐聃, 方睿. 试论面向产出的课程目标达成情况评价机制[J]. 高等工程教育研究, 2020(6): 188-193.
[10]
郭娟, 杨武军, 梁思远. 基于OBE理念的通信工程课程体系优化[J]. 工业和信息化教育, 2020(2): 16-19.