章节

第七章 评估程序与评估调查

关键词

作者

邓国胜 清华大学公益慈善研究院副院长、公共管理学院教授,博士生导师。

参考文献 查看全部 ↓

第七章 评估程序与评估调查

可试读20%内容 阅读器阅览

第七章 评估程序与评估调查

第一节 评估程序

评估者在进行正式评估以前通常需要草拟一个评估的方案与步骤,这是进行评估工作的必要程序。然而,评估程序并不是固定不变的,而是根据具体情况可以灵活调整。一般而言,非营利性评估、使命与战略评估、项目评估和组织能力评估的程序都不完全相同,但也有其共性的一面。本节着重介绍的是项目评估的程序或步骤。

评估程序通常包括以下几个步骤:第一步确定评估的目的。无论进行何种类型的评估,这都是评估者首先需要明确的问题;第二步确定评估的重点与关键性问题;第三步选择评估指标;第四步确定评估的方式;第五步编制执行计划;第六步处理与分析数据;第七步撰写评估报告;第八步交流评估结果并制定后续计划。

一 评估的目的

评估的目的是评估工作首先需要确定的问题。它有助于我们进一步思考所提议的评估工作。如果评估的目的明确,那么往往能够取得事半功倍的效果;反之,如果评估的目的不明确,那么评估就缺乏明确的方向,其结果不仅是浪费了资源,而且也起不到评估应有的作用。

需要注意的是,评估的目的并不是单维度的。不同的相关利益群体可能会有不同的目的。这些相关利益群体包括非营利组织的管理人员、员工、志愿者,以及基本客户(例如服务的目标群体)、支持客户(例如,捐赠者代表、社区的负责人)等。事实上,不同的利益群体对评估的要求、评估的标准并不相同。有的可能认为评估工作就类似于内部的“审计”,有的可能认为评估应是中介机构的工作,而另一些人则可能认为评估应是一个参与的过程;有的可能更关心评估的财务指标,有的可能更关心产出指标,而另一些人可能更关心组织管理能力指标。因此,只有确定了本次评估工作的目的,下一步的评估工作才好继续开展。否则,评估工作就失去了方向,下一步工作也就无从入手。例如,如果明确了本次评估的目的是类似于内部的“审计”,那么就不用请外部的专家;如果评估的目的是为了提高社会公信度,那么下一步就需要考虑请中介评估机构或外部的评估专家。而一旦确定需要请外部专家,那么在评估的早期设计工作中就应该让外部专家介入,以免外部评估者不清楚为什么进行评估、评估的侧重点是什么。

表7-1提供了一个确定评估目的的基本思路。即在明确了“谁想评估”、“他们为什么想进行评估”、“他们打算如何运用评估的结果”等问题后,便可以清晰地给出评估的目的。

表7-1 评估目的的制定过程

表7-2列举了两种不同的情况,每种情况下评估的目的都不相同。例如,第一种情况的评估目的就是:“捐赠者代表想了解项目是否达到了预期结果,然后决定这一类项目的资助价值”;第二种情况的评估目的是:“项目的管理人员希望通过评估识别弱势群体,并了解项目人事制度的效果,然后决定项目管理是否需要变革,决定员工是否需要培训”。

表7-2 不同情况的评估目的

二 确定评估的重点与关键问题

在明确了评估的目的之后,接下来的工作就是要确定评估的重点与关键性问题。通常,摆在评估者面前的问题会非常之多,且杂乱无章。这时,评估者需要冷静地思考哪些是需要重点评估的、哪些是一般性的、哪些是次要的,甚至可以忽略不计的。

评估者在确定评估的重点与关键问题时,需要围绕、考虑以下三个问题:

第一,根据评估的目的决定评估的重点。一方面,不同的评估目的关注的侧重点并不相同,因此,在选择评估的重点与关键问题时,首先必须依据的就是本次评估的目的;另一方面,评估的目的不仅清楚地描述了利益群体关注的重点,而且描述了如何运用评估的结果。它决定了评估所需要优先收集的信息。

第二,根据评估的经费与人力决定评估的重点与关键问题。评估是一项耗时耗力的工作,因此,评估的经费和人力也就决定了评估的范围、评估的时间,评估的重点内容。当经费与人力充足时,可能评估的内容就更多一些;而评估的经费与人力有限时,评估的内容就更少一些,评估的重点也就更集中一些。

第三,考虑不同的利益群体已经了解了什么,不了解什么,还需要了解哪些重要的信息。为了提高评估的效率,这也是评估者在选择评估的重点时需要回答的问题。否则可能出现事倍功半的结果。例如,评估工作所得出的结论都是相关利益群体已经了解或知道的信息。

在明确了以上三个问题后,评估者便可以确定评估的重点与关键性问题。

三 选择评估指标

一旦评估的重点与关键性问题已经明确,那么接下来的任务就是选择具体的测度指标。指标是指反映总体现象的特定概念和具体数值。任何指标都是从数量方面说明一定社会总体现象某种属性或特征。通过一个具体的统计指标,可以认识研究现象的某一特征,说明一个简单的事实。如果把若干有联系的指标结合在一起,就可以从多方面认识和说明一个比较复杂现象的许多特征及其规律性。

正因为如此,评估指标的选择也就变得较为复杂与困难。具体来说,每一个关键性问题几乎都可以列出许多测度指标,而评估者既可以采用一个指标来测度某一现象,也可以采用一系列指标来反映某一现象。因此,在选择评估指标时,需要经过认真仔细的研究。一方面必须遵循构建评估指标体系的原则,另一方面也可以由评估者进行初步筛选,然后请一些同行专家进行评议,或采用其他科学的方法选择评估指标。

四 确定评估的方式

当以上所有问题都清晰以后,就可以确定评估的方式。通常,可供选择的评估方式或者说数据收集的方法包括文献法、问卷法、访谈法、观察法等等。需要注意的是,中国的非营利组织经费较为缺乏,评估工作应尽量本着节俭的原则。因此,在选择评估方式时,应尽量选择成本低的方法。第一,文献法是评估方式中成本最低的方式。因此,如果能够通过文献法收集到的信息(包括查阅组织的有关文件、档案、年度报告、申请报告、监测数据和政府有关部门的统计资料等等)就不必采用其他成本更高的方式,这样可以降低评估调查的时间、人力与资金成本;第二,在评估调查中,采用抽样调查的方法比普查有更高的效率。因此,在不必要的情况下,尽量避免进行普查;第三,在需要的情况下,可以采用定量与定性相结合的方法,采用文献法、访谈法、观察法等相结合的方式。

表7-3 评估的关键性问题、指标与数据来源

五 编制执行计划

第五步工作就是写出评估的执行计划,即构成整个评估过程的各个部分。包括:

(一)组建评估小组

组建评估小组,即决定谁加入评估小组,他的任务又是什么?而决定谁可以加入评估小组又取决于前面4个步骤的形成。

组建评估小组,最重要的一点是有一个好的评估协调人,他不必是评估小组的负责人,但对小组成员的工作起一个良好的协调作用,并对评估工作是否按计划进行负责。

评估小组是否包括外部专家,则取决于评估的目的。通常,外部专家对评估小组有很大作用,但必须对他的角色和组织对他的预期有一个清晰的轮廓。对于评估小组的其他成员,则需要具备二个条件:第一,他是某一利益群体的代表;第二,他具备某一方面的专业技能和经验。

另外,评估小组最好有一个社区的代表,至少在关键的阶段,如计划和反馈阶段应征询社区的意见。

(二)分派任务

在确定了评估小组的成员之后,就可以将所有的评估任务分派给每一个成员。整个小组并不需要参与所有的活动,但是,编制计划必须列出需要做的每一项任务和活动及其责任人。表7-4给出了一个任务分派的例子。

表7-4 小组成员及其职责

(三)日程安排

日程安排也是编制评估计划的重要环节。它应包括每一项任务完成的时间安排。表7-5给出了一个日程安排的例子。其中,两天的评估讨论会是编制整个评估计划的必要环节,甚至可以说是评估进程的起始点。然后可以制定完成评估报告的截止日期,这将为所有其他活动的完成时间提供参照。

表7-5 评估的日程安排表

通常组织的自我评估与外部专家评估所需要花费的时间不太相同。一般情况下,组织的自我评估花费的时间较长,而且评估的时间较为分散、断断续续;而外部专家评估所需花费的时间较短,而且评估的时间较为集中。在评估的过程中,组织内部的成员在花费部分时间进行评估工作时通常还需要完成他们日常的工作职责。当然,也可能需要有专人集中时间来完成评估工作,时间一般在几天到两周之间。但不同类型的评估花费的时间有很大差异。例如项目评估所需花费的时间通常较短,而使命与战略规划评估所需花费的时间通常较长。例如,整个评估的时间,有的需要几天,有的需要几个月(包括同所有利益群体回顾评估结果的追踪会议)。

(四)预算

考虑到评估的价值,因此,在一些大型项目或特别重要的项目中,需要在项目申请书中预算评估的费用。通常,进行自我评估的费用相对更少一些,而请外部专家进行评估的预算费用则高一些。一般外部专家评估的费用比内部人员的评估预算费用要高出40%左右,甚至更高。评估费用主要包括评估调查的差旅费、评估人员的劳务费和一些其他基本费用等(例如,调查问卷的制作费、评估调查时准备的小礼物等)。另外,由于评估过程中,特别是进行项目评估时,经常可能出现一些意想不到的事故,例如遇到暴雨、洪水或交通车辆出现故障,因此,预算要留有余地或者适当宽裕一些。

六 处理与分析数据

在收集了数据信息后,就进入了关键的数据信息分析阶段,并依据分析结果写出初步的评估报告。

通常,在对数据信息进行分析之后,需要将一些分析结果反馈给提供信息的个人或团体。他们往往很有兴趣看到这些结果,并对此结果作出回应,而评估者在形成最终评估报告时应充分考虑到这些反馈的信息。

数据处理分析可以分为以下三个阶段。

(一)数据处理并制表

数据处理是指把调查中记录的各种分散的信息,经过分类加总汇集成表示总体特征的信息的全过程。数据处理的方式包括手工汇总和计算机汇总两种形式。一般,有计算机的非营利组织可以使用一些软件包,如SPSS等统计软件包处理数据并列出交互表;没有计算机的非营利组织[]则可以通过手工汇总处理简单的信息资料,并得出简单的交互表。

试读已结束,剩余80%未读

¥2.1 查看全文 >

VIP免费

章节目录

  • 第一节 评估程序
    1. 一 评估的目的
    2. 二 确定评估的重点与关键问题
    3. 三 选择评估指标
    4. 四 确定评估的方式
    5. 五 编制执行计划
      1. (一)组建评估小组
      2. (二)分派任务
      3. (三)日程安排
      4. (四)预算
    6. 六 处理与分析数据
      1. (一)数据处理并制表
      2. (二)对制表结果进行讨论与分析
      3. (三)对评估的再评估
    7. 七 撰写评估报告
      1. (一)内容提要
      2. (二)正文
      3. (三)附录
    8. 八 交流评估结果并制定后续计划
      1. (一)交流评估结果
      2. (二)制定后续计划
  • 第二节 评估调查
    1. 一 文献法
      1. (一)文献法的概念、优缺点
      2. (二)评估中常用的文献资料
    2. 二 问卷调查法
      1. (一)问卷的类型和结构
      2. (二)问卷设计的步骤与原则
      3. (三)问卷调查的优缺点
    3. 三 访谈法
      1. (一)个别访谈与集体访谈
      2. (二)结构式访谈、半结构式访谈和无结构式访谈
      3. (二)访谈法的步骤与原则
      4. (三)访谈法的优缺点
    4. 四 观察法
      1. (一)观察法的涵义与类型
      2. (二)观察法的步骤和原则
      3. (三)观察法的优缺点

章节图片/图表

查看更多>>>