案主满意度评估:一种有效的社会工作实务评估方法,本文主要内容关键词为:满意度论文,工作实务论文,方法论文,社会论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
[中图分类号]C916 [文献标识码]A [文章编号]1008-7672(2013)04-0028-08
一、社会工作评估对社工实务的意义
近年来,中国社会工作发展迅速,特别是在政府和教育机构的大力推动和支持下,我国的社工实务也发展迅速。2012年4月,中央19个部委和群团组织联合出台了《社会工作专业人才队伍建设中长期规划(2011-2020年)》,提出到2015年,要培养中国一线社会工作专业人才总量达到50万,同时,也将加快政府购买社工服务的进程。2012年,仅广州政府用于购买社会服务的资金就有2.6亿。目前,全国已经建立了1000多家民办社会工作服务机构,在民生、民族团结、社区服务、犯罪矫治等领域为服务对象提供服务。社会工作是一门专业,是一门科学,更是一个科学助人的过程,在社工实务发展迅猛的今天,我们尤其要重视社会工作的科学过程,因而社会工作评估环节显得尤为重要。
社会工作评估的重要意义在于:一是可以考察社会工作介入效果、服务对象进步情况及介入目标的实现程度;二是能够应用于总结工作经验,改善工作的方法和技巧、提供高质量的服务工作;三是检验社会工作介入的有效性。在问责制度的背景下,社会工作机构需要向服务对象做出交代;在接受了来自政府、基金会以及社会的资助之后,要向资助方以及群众和志愿者做出工作的负责说明;同时,也需要向专业进行交代。①因此,有效性的验证也十分必须。
二、中国社会工作实务评估的现状
社工实务领域的评估主要有四种类型:需求评估、过程评估、效果评估以及成果-收益评估。然而目前我国社会工作实务评估相关讨论的文献并不多,主要集中在对于需求评估和效果评估的讨论上。例如吴伟东以“人在情景中”为基本框架,讨论了社会工作评估的层次深入模型,认为可以从问题、个人、情景层面来评估案主的状况以有效地介入②,还认为在社工介入之前,可以从情景、资源和个人的应对行为来对案主情况进行评估,以制定计划和服务方案③;库少雄将单样本设计应用于社会工作评估中,认为首先要确定案主的基线数据(baseline),在介入前测量并记录案主所表现出来的问题,即所谓目标问题(target problem),然后确定介入的目标,又称为结果目标(outcome goal),测量从目标到结果的变化④;李华伟探讨了基线评估的方法应用于社会工作实务过程,在介入开始时对服务对象的状况进行测量,建立一个基线作为对介入效果进行衡量的标准,以评估介入前后的变化⑤;宋跃飞则在绩效评估的视角下讨论社会工作机构制度建构问题,认为绩效评估主要是要评估社会工作提供服务的业绩、社会工作机构的管理和服务绩效、成本核算⑥。总体来说,近年来关于社会工作评估的讨论文献比较匮乏,存在的不足主要为:一是已有的文献主要集中在讨论如何进行需求评估和效果评估上,比较忽略案主作为服务对象在服务过程中的主观感受;二是文献中少有对评估方法的信度、效度的讨论,因此扩大应用的可能性也不够。
作为促进社会工作机构发展的有效视角和途径,社会工作评估已在国外社会工作机构发展中得到了较好的应用,多种有效的评估方法广泛应用于社会工作实务领域,本文要介绍的是案主满意度(client/consumer satisfaction)评估。
三、案主满意度评估介绍
(一)基本概念与理论模式
“案主满意度”这一概念最早由Cardozo于1965年提出⑦,通常用于描述一种针对社会、行为健康等方面项目是否成功的实用且有效的指标。⑧“案主(consumer)”可以指服务对象、病人、精神疾病康复者、社会服务或健康服务的使用者、顾客,或其他参与者等。⑨“满意度(satisfaction)”通常可以理解为对某次服务体验过程的满足、认可或是喜欢的程度。简单来讲,使用案主满意度作为成效评估的核心论点是:如果案主对一种服务项目感到满意,他们就会更愿意参与到项目的活动中来,也会更加坚持听取项目的指导建议,进而体验到项目的积极效益。案主满意度包含认知和情感维度,Pascoe认为,案主满意度是多维因素决定的,不仅受到内容方面的影响,还随着时间的推移受过程的影响,也受服务体验结果的影响。从这个角度来讲,满意度是兼具认知和情感因素的。认知方面是基于对服务结构、过程以及成效的评估或打分产生的;而情感方面则是基于对服务结构、过程以及成效的回应或情感反应而来的。⑩
对比模式(contrast model)、同化模式(assimilation model)以及同化-对比整合模式(integrated assimilation-contrast model)是概念化的案主满意度的三种基本理论模式。(11)对比模式关注于期望值(expectation)和服务真实表现的差距与矛盾,当成效比期望值高时,该服务则将会被评估为满意的,相反表现得比期望值低时,则会被认为是不满意的。同化模式认为,如果案主预知成效会低于期望值将不会导致不满意,因为案主对结果的认知和理解会跟更高的期望值趋于一致,例如当案主对服务的体验很满意时,其对该服务的期望值也会随之提高,二者是一种同化的过程。同化-对比整合模式则结合了前两个模式的观点,认为期望值作为一种评价产品或服务的标准,并且围绕这个标准有一个可接受的范围。以下两种在范围内的成效与期望的差异将会被同化:一是当期望值低于成效时,将会导致降低对成效的评估。这样如果表现跟期望相一致时,案主的满意度也会降低。二是当期望值高于成效时,对表现的评价也会提高标准。这样当表现跟期望相一致时,案主的满意度会更高。当表现跟预期差异相对比较大时,对比效应就会发生。这种情况下,真实的表现超出了案主满意度的可接受范围,对比模式的标准就会被案主运用在对满意度的评价上。(12)
(二)案主满意度量表
对文献进行回顾,我们可以发现案主满意度量表经历了一个发展的过程:早在20世纪70年代到80年代,研究者发展出几种不同的满意度量表,并开始尝试运用他们去评估效果。在20世纪90年代,研究者开始发现在用满意度量表进行评估的过程中,存在着一些方法论的问题。于是,研究者在发展新的满意度量表的时候,尝试提高信度和效度。此外,研究者们也并没有把满意度作为唯一的方法去评估成效。相反,他们把案主满意作为成效评估的一个方面并结合其他的结果去评估成效。比如,当评估药物滥用项目的治疗效果,会综合应用药物使用情况、行为改变、心理社会功能和案主满意度。(13)案主满意度被主要应用于健康和心理卫生领域,现在也被广泛应用于社会服务的各个方面。笔者将介绍四种国外比较常用的量表,通过研究这些量表,并进行本土化,可以丰富我国社工实务领域的评估和研究工作。
1.服务对象满意度问卷(Client Satisfaction Questionnaire),简称CSQ
最初的CSQ-8(14),是一个只有8个问题的简单量表。而后又发展出了CSQ-18A和B量表(15),包含18个问题。CSQ最开始被应用于精神健康项目,现在也被广泛应用于各种社会服务。CSQ主要涉及9个方面的问题:(1)环境(Physical Surroundings)如:您觉得接受服务的地点是否方便?);(2)服务程序(Procedures);(3)行政人员的支持(Support Staff),(如:总的来说,您觉得接待人员和秘书在多大程度让您觉得友好,相处融洽?);(4)服务的类型(Kind/Type of Service)(如:您接受到了您需要的那种服务类型了吗?有没有服务您需要,但是服务机构没有提供?);(5)直接服务人员的服务(Treatment Staff)(如:当您跟直接服务人员谈话时,他们在多大程度上能倾听您的问题?);(6)服务的质量(Quality of Service),(如:对服务的质量您如何评价?);(7)服务的数量、时间的长短等(Amount,Length,or Quantity of Service)(如:您对所接受的服务数量满意吗?);(8)服务的效果(Outcome of Service)(如:您接受的服务对于您处理您的问题在多大程度上有效?);(9)整体的满意度(General Satisfaction)(如:总体而言,您对您接受的服务的满意度如何?如果您下次还需要服务,您还会继续选择我们的服务吗?)。CSQ总体的得分是所有问题的得分之和,得分的范围是8-32,如果得分越高,说明满意度越高。
CSQ量表被证明有很高的内在一致性和案主接受度。同时案主满意度的有效性在临床领域被很好地证明过。(16)
CSQ量表对于社工机构的服务项目评估有一定的借鉴作用。从服务预约、机构地点、服务前台到直接服务人员的技能、态度,总体的服务质量、效果,评估的方面比较全面,评估的结果也很有助于促进机构在各个方面的改善。
2.服务满意度量表(Service Satisfaction Scale(17)),简称SSS
SSS量表是个多维度的量表,用于身体和心理健康领域以及成瘾境中。SSS一共有正式封闭性问题30个(包括了案主满意度的7个维度),以及一些个人基本信息和三个开放性问题。满意度主要包括以下几个方面:(1)态度与技巧(manner and skill,9个问题,如:服务者倾听和理解案主问题的能力);(2)效果(perceived outcomes,8个问题,如:服务在多大程度上减轻了案主问题的症状);(3)办公程序(office procedures,5个问题,如:对接待人员的态度,时间安排等是否满意);(4)可及性(accessibility,4个问题,如到达接受服务地点的时间、可供停车的地方、公共交通是否方便等);(5)等待时间(waiting,2个问题,如从要求到可以面谈的等待时间等)。封闭式问题之后,是个人的基本信息,然后是开放问题,在接受服务的过程中,自己最喜欢和最不喜欢的部分。(18)
3.社会服务满意度量表(Reid-Gundlach Social Service Satisfaction Scale(19)),简称R-GSSSS
该量表有34个问题,3个子维度(相关、影响和满足),比其他量表稍长,里面主要是跟社会工作者相关,不太适合使用在一些既有社会工作者又有非社会工作者的机构。下面是量表的相关方面:(1)相关(服务对象对自己问题的认识,比如:如果我是社会工作者,我也会这么来处理我的问题;社会工作者是否认真对待案主的问题);(2)影响(评估服务如何减少案主的问题,比如:自从到了机构,事情是否开始变好了;我只是说那些我认为社会工作者想听到的话);(3)满足(度量服务在何种程度上增强了案主的自我价值感,比如:我希望自己以后不用再向机构寻求帮助了;我每次到机构之后都觉得如释重负,很舒服。)问题1-11是针对“相关性”的,问题12-21是关于“影响”的,问题22-32是针对“满足”的。回答者的答案可以从1分到5分,分数越高,说明满意度更高。
社会服务满意度量表因为是特别针对社会工作人员的,所以对社会工作者服务的评估具有极强的借鉴作用。在量表中,对社会工作人员的各种专业技巧都有评估,比如社工人员对案主的倾听、同感、尊重、保密等。同时,问题也涉及在接受服务时,案主的情绪与态度,比如是否感到轻松,是否对机构充满期待等等。
4.案主满意度调查(CSI)是一共有25个项目的量表,适用于度量案主对于服务的感受。问题涉及案主主观感受的各个方面,案主的回答从1到7,1是代表“从来没有”,7是“总是这样”,X代表不适用。CSI里20个项目是正向问题,5个是负向问题。正向问题:这里的服务给我很大帮助;他们把我当作一个人,而不是一个号码;在这里,他们接受真正的我。负向问题:他们按自己方式做事,而不是帮助我找到合适我的方法;他们只关心收费的问题。CSI-SF是CSI的缩减形式,一共只有9个问题,没有负向的问题。(20)
之前的案主满意度量表只是客观地描述“满意”或者“不满意”,这样会损失很多有意义的信息。因此,Dudley等人在发展CSI的时候,加入了开放性问题。(21)但是开放性问题的数量到底多少是合适的,目前少有研究者进行讨论。
除了以上几种量表,还有多种量表。有专门针对青少年的满意度量表:青年满意度问卷、父母与孩子的满意度调查问卷、多维青少年满意度量表;有针对寄养儿童和寄养家长服务的满意度量表;有药物治疗满意度调查问卷;有青少年抑郁症的治疗满意度调查问卷等等。
5.对以上四个量表的比较见表1。
(三)好的量表共同具有的特征
(1)标准化:这意味着量表能够广泛地应用于各个领域,并通过研究人员验证其较高的效度和信度;(2)简洁:量表的问题数量不多但是内容覆盖广泛,可以在较短的时间里完成;(3)简单而明确的措施:题目易于解释和理解,不需要很高的阅读能力;(4)集中在特定问题或人群身上,这就是为什么有许多不同类型的问卷。
四、案主满意度量表的信度和效度
(一)效度(validity)
研究者们意识到满意度评估也有着一定的理论和方法论上的局限性,他们尝试更多的努力以确保满意度量表的有效性。例如,当研究人员开发了一个满意度量表,他们会在文献综述的基础上,进行焦点小组去收集案主的期望,然后问卷的题库将根据案主的反馈产生。然后研究者们会在不同的国家或群体中进行预测试。(22)(23)
(1)表面效度(face validity)
一些研究者在不断发展满意度量表的时候测试表面效度。比如:在CSQ量表发展的不同过程,表面效度也在不断被测试。通过收集参与者的非正式反馈意见,了解问题是否能够真正反映出案主的“满意度”。(24)
(2)内容效度(content validity)
如前所述,研究者通常会用焦点小组去搜集案主的期望,促使问题可以在量表发展的不同时期去支持内容效度。(25)一些研究者通过共同的研究和验证性因素分析来保证内容效度。(26)然而,McMurtry和Hudson认为研究并没有很清晰地支持不同满意度当中不同纬度的存在。(27)比如,在较大的样本情况下,Greenfield和Attkisson验证了满意度的7个纬度,但是只证明了两个维度。(28)
(3)建构效度(construct validity)
建构效度要求一个持续的过程来测试理论或假设支持测量。(29)研究者们发现在医疗领域,人群中年纪较大、受教育文化程度较低、身体较健康的有比较高的满意度。(30)同时,女性比男性有显著的较高的满意度。(31)所有与CSQ相关的发现都支持了整体的建构效度。另外,有些研究者应用因素分析的方法,比如探索性因子分析法(Exploratory Factor Analysis,EFA)来研究建构效度。
(4)预测效度(predictive validity)
一些研究认为在满意度和临床效果之间没有必然的关系。(32)但是,绝大多数的研究都表明临床效果和满意度是正相关。(33)比如,精神健康案主对治疗的认知被认为是治疗质量的一项有效评估。(34)关于预测效度是否存在于现在的这些量表,答案是一致的。(35)研究了治疗效果(评估生活质量的改变、症状、功能水平)和案主满意度量表,而且发现评估案主的满意度是一个有效的服务效果度量手段。(36)
(二)信度(reliability)
量表信度的高低通常用Cronbach’s alpha值来衡量。Nunnally(1978)认为,一般量表的Cronbach’s alpha系数大于0.7,则该量表具有可接受的信度。(37)我们发现,现已发表的论文中所使用的满意度量表,大部分都具有较高的信度。例如,最初设计的案主满意度量表(CSQ-8)的Cronbach’s alpha为0.86(38),该量表在之后的研究中,也被检测出具有较高的信度,其Cronbach’s alpha值都在0.9以上。(39)(40)此外,对案主满意度量表的重测信度(test-retest reliability)和内部一致性信度检验,其可靠性系数也都非常高。(41)
五、关于量表的一些讨论
(一)样本选择的偏差
对服务做出“满意”评估的案主们可能是一个经过筛选后的小组,因为如果案主不满意他们可能会退出治疗。所以,满意度可能是个偏态分布,那些坚持接受完服务或是治疗的案主本来就有较高的满意度水平。(42)从研究角度来说,这里可能有选择偏差,跟搜集数据的时间有很大相关。如果在服务过程之初进行抽样让案主接受调查,有可能没有足够的时间让治疗效果显现出来。但是,如果抽样的时间较晚,那些不满意的案主已经退出,也许在其他服务机构获得相关的服务,而留下的案主是相对满意度较高的案主。(43)如果数据在案主进入服务稍晚的时候才搜集,已经结束服务的案主无法包括,正向偏差就会增加。针对案主满意度的后测可能会存在对那些退出的案主排斥的偏见。
(二)协变量的控制问题
研究者探究影响案主满意度的因素,但是有些协变量没有控制好,所以用满意度评估来作为成效评估的标准会导致结果的偏差。期望是决定满意度的因素之一。Stimson和Webb(44)最早提出对治疗的好处的认知以及案主期望的达到影响到满意水平。目前没有一致的研究结果表明,人口学特征与案主满意度的关系。然而,仍然有一些研究表明,案主自身的特点,如社会阶级,婚姻状况,性别,种族和年龄都会影响他们对服务或治疗的满意水平。(45)(46)
(三)较高的满意度并不一定是“治疗结果好”的同义词
较高的满意度可能反映的是社会赞许性反应,而不是真正的满足。(47)另一种情况是满意度水平反映的是对服务期望的满足,而不是实际的案主需求被满足或是实际效果的达到。(48)正是由于这些威胁有效性的因素存在,有一些批评是针对利用满意度量表来评价治疗结果。
总的来说,案主对于服务的满意度被确认为治疗和效果的一项重要指标。(49)(50)但是,抽样偏差似乎很难避免,重要的是找出不同抽样方式所带来的偏差结果,并找出偏差最小的方式。
六、案主满意度评估对内地社会工作实务的借鉴意义
案主满意度评估可以在社会工作评估中发挥重要的作用。实务研究和评估体系的构建是现代社会工作发展的重要组成部分。当前中国内地的实务工作正处于迅速发展阶段,但是,由于起步较晚,专业化水平还有待提升。同时,尽管积累了丰富的实务经验,但由于未能或未及时做系统的理论化提升,因而在中国的本土理论仍有欠缺。教育、实务和理论相互之间存在一定的断层。对国外的社会工作实务评估作系统探讨,在此基础上构建适用于我国社会工作实务模式,应当有助于降低教育、实务和理论之间的断层,有助于促进中国社会工作的发展。
注释:
①顾东辉:《社会工作评估》,高等教育出版社,第20-25页。
②吴伟东:《社会工作评估:层次深入模型》,《社会工作》2004年第10期,第42-45页。
③陈钟林、吴伟东:《社会工作评估——一般性架构》,《重庆社会工作职业学院学报》2005年第6期,第59-60页。
④库少雄:《社会工作评估——单样本设计》,《北京科技大学学报》2004年第9期,第6-9页。
⑤李华伟:《基线评估法在社会工作实务过程中的应用》,《社会工作》2011年第3期,第59-60页。
⑥宋跃飞:《机构评估制度建构问题研究——基于绩效评估的视角》,《社会工作》2010年第1期,第62-65页。
⑦Cardozo,R.N.(1965).An experimental study of customer effort,expectation,and satisfaction.Journal of Marketing Research,244-249.
⑧Copeland,V.,Koeske,G.& Greeno,C.G.(2004).Child and mother client satisfaction questionnaire scores regarding mental health services:Race,age,and gender correlates.Research on Social Work Practice,14(6),434-442.
⑨Sharma,A.,Levy,M.and Kumar,A.(2000). Knowledge structures of salespeople as antecedents of retail sales performance:An empirical examination.Journal of Retailing ,Vol.76 No.1,pp.53-69.
⑩(12)Pascoe,G.C.(1983).Patient satisfaction in primary healthcare:A literature review and analysis.Evaluation and Program Planning,6(3-4),185-210.
(11)Day,Ralph (1977).“Toward a process model of consumer satisfaction”,in Conceptualization and Measurement of Consumer Satisfaction and Dissatisfaction,H.Keith Hunt,ed.Cambridge,MA:Marketing Science Institute(May),153-86.
(13)Sowers,K.M.,Ellis,R.A.,Washington,T.& Currant,M.(2002).Optimizing treatment effects for substance-abusing women with children:An evaluation of the Susan B.Anthony Center.Research on Social Work Practice,12(1),143-158.
(14)Nguyen,T.D.,Attkisson,C. & Stegner,B.L.(1983).Assessment of patient satisfaction:Development and refinement of a service evaluation questionnaire.Evaluation and Program Planning,6(3-4),299-314.
(15)Larsen,L.D.,Attkisson,C.C.,Hargreaves,A.W.& Nguyen,D.T.(1979).Assessment of client/patient satisfaction:Development of a general scale.Evaluation and Program Planning,2,197-207.
(16)Pascoe,G.C.& Attkisson,C.C.(1983).The evaluation ranking scale:A new methodology for assessing satisfaction.Evaluation and Program Planning,6(3),335-347.
(17)Greenfield,K.G.& Attikisson,C.C.(2004).The UCSF client satisfaction scales:II.The service satisfaction scale-30.The Use of Psychological Testing for Rreatment Planning and Outcomes Assessment,3,799- 811.
(18)Clark,C.C.,Scott,E.A.,Boydell,K.M.& Goering,P.(1999).Effects of client interviewers on client-reported satisfaction with mental health services.Psychiatric Services,50(7),961-963.
(19)Reid,N.P.& Gundlach,P.J.(2000).Reid-gundlach social service satisfaction scale (R-GSSSS).In K.Corcoran,& J.Fischer(Eds.),Measures for Clinical Practice(Vol.2).(635-638).New York,NY:The Free Press.
(20)Clark A,Friedman MJ (1983).Nine standardized scales for evaluating treatment outcome in a mental health clinic.Journal of Clinical Psychology.39,939-950.
(21)Dudley,A.L.,Melvin,G.A.,Williams,N.J.,Tonge,B.J.& King,N.J.(2005).Investigation of consumer satisfaction with cognitive-behaviour therapy and sertraline in the treatment of adolescent depression.Australian and New Zealand:Journal of Psychiatry,39(6),500-506.
(22)Evans,C.J.,Trudeau,E.,Mertzanis,P.,Marquis,P.,,B.M.,Wong,J.& Mayne,T.(2004).Development and validation of the pain treatment satisfaction scale (PTSS):A patient satisfaction questionnaire for use in patients with chronic or acute pain.Pain,112(3),254-266.
(23)(25)Gerkensmeyer,J.E. & Austin,J.K.(2005).Development and testing of a scale measuring parent satisfaction with Staff interactions.The Journal of Behavioral Health Services & Research,32(1),61-73.
(24)Coe J.B.,Adams C.L.,Eva K.,Desmarais S.,Bonnett B.N.(2010).Development and validation of an instrument for measuring appointment-specific client satisfaction in companion-animal practice.Preventive Veterinary Medicine 93:201-210.
(26)Brannan,A.,Sonnichsen,S.& Heflinger,C.(1996).Measuring satisfaction with children’s mental health services:Validity and reliability of the satisfaction scales.Evaluation and Program Planning,19(2),131-141.
(27)McMurtry,S.L.& Hudson,W.W.(2000).The client satisfaction inventory:Results of an initial validation study.Research on Social Work Practice,10(5),644-663.
(28)Greenfield,T.K.& Attkisson,C.C.(1989).Progress toward a multifactorial service satisfaction scale for evaluating primary care and mental health services.Evaluation and Program Planning,12,271-278.
(29)Streiner,D.L.,Norman,G.R. (2003).Health Measurement Scales:A Practical Guide to Their Development and Use,3rd ed.Oxford University Press,New York.
(30)Jackson,J.L.,Chamberlin,J.,Kroenke,K.(2001).Predictors of patient satisfaction.Soc.Sci.Med.52,609-620.
(31)Woodcock,A.,Barleggs,D.(2005).Development and psychometric validation of the veterinary service satisfaction questionnaire (VSSQ).J.Vet.Med.A.Physiol.Pathol.Clin.Med.52,26-38.
(32)Stewart,M.A.& Wanklin,J.(1978).Direct and indirect measures of patient satisfaction with physicians’ services.Journal of Community Health,3,195-204.
(33)Pascoe,G.C.(1983).Patient satisfaction in primary healthcare:A literature review and analysis.Evaluation and Program Planning,6(3-4),185-210.
(34)Institute of Medicine (IOM).(2006).Improving the Quality of Health Care for Mental and Substance Use Conditions.Washington,DC:National Academies Press.
(35)Holcomb,W.R.,Parker,J.C.,Leong,G.B.,Thiele,J.& Higdon,J.(1998).Customer satisfaction and self-reported treatment outcomes among psychiatric inpatients.Psychiatric Services,49(7),929-934.
(36)Atkinson MJ,Sinha A,Hass SL,Colman SS,Kumar RN,Brod M,et al.(2004).Validation of a general measure of treatment satisfaction,the treatment satisfaction questionnaire for medication(TSQM),using a national panel study of chronic disease.Health and Quality of Life Outcomes.3,2-12.
(37)Nunnally,J.C.(1978).Psychometric Theory (2nd ed.).New York:McGraw-Hill.
(38)Attkisson,C.C.& Zwick,R.(1982).The client satisfaction questionnaire:Psychometric properties and correlations with service utilization and psychotherapy outcome.Evaluation and Program Planning,5(3),233-237.
(39)Dearing,R.L.,Barrick,C.,Dermen,K.H.& Walitzer,K.S.(2005).Indicators of client engagement:Influences on alcohol treatment,satisfaction,and outcomes.Psychology of Addictive Behaviors,19(1),71-78.
(40)Donker,T.,Van Straten,A.,Riper,H.,Marks,I.,Andersson,G.& Cuijpers,P.(2009).Implementation of internet-based preventive interventions for depression and anxiety:Role of support?-The design of a randomized controlled trial.Trials,10(59).
(41)Brannan,A.,Sonnichsen,S.& Heflinger,C.(1996).Measuring satisfaction with children’s mental health services:Validity and reliability of the satisfaction scales.Evaluation and Program Planning,19(2),131-141.
(42)Dudley,A.L.,Melvin,G.A.,Williams,N.J.,Tonge,B.J.& King,N.J.(2005).Investigation of consumer satisfaction with cognitive-behaviour therapy and sertraline in the treatment of adolescent depression.Australian and New Zealand:Journal of Psychiatry,39(6),500-506.
(43)Pascoe,G.C.(1983).Patient satisfaction in primary healthcare:A literature review and analysis.Evaluation and Program Planning,6(3-4),185-210.
(44)Simon,C.,Little,P.,Birtwistle,J.and Kendrick,T.(2003),A questionnaire to measure satisfaction with community services for informal carers of stroke patients:Construction and initial piloting.Health & Social Care in the Community,11:129-137.
(45)Cardozo,R.N.(1965).An experimental study of customer effort,expectation,and satisfaction.Journal of Marketing Research,244-249.
(46)Hall,J.A.and Dornan,M.C.(1990) Patient sociode-mographic characteristics as predictors of satisfaction with medical care:A meta-analysis.Social Science & Medicine 30,811-818.
(47)Young,S.C.,Nicholson,J.,and Davis,M.(1995).An overview of issues in research on consumer satisfaction with child and adolescent mental health services.Journal of Child and Family Studies 4(2),219-238.
(48)Lyons,J.S.,Howard,K.I.,O’Mahoney,M.T.and Lish,J.D.(1997).The measurement and management of clinical outcomes in mental health.New York:John Wiley and Sons.
(49)Gerkensmeyer,J.E.,Austin,J.K.& Miller,T.K.(2006).Model testing:Examining parent satisfaction.Archives of Psychiatric Nursing,20(2),65-75.
(50)Graham,J.,Denoual,I.& Cairns,D.(2005).Happy with your care? Journal of Psychiatric and Mental Health Nursing,12,173-178.