第一节 评价学术论文
评价学述论文的意义
科学评价的实质是指运用科学的方法,制定出某些标准,并根据标准对比目前研究的各个方面,以判断其价值、意义、以及欠缺等。学习护理科研的第一步,对学述论文缺点和优点两个方面的剖析,对于护理志专业知识发展和更新具有重大意义,可以帮助提高临床护理质量、护大对知识的理解、促进研究结果在实践中的应用,并为新的研究提供重要依据。
学术论文评价者
学生评价:这一过程的学习将极大地促进学生对科研知识的理解和掌握。
临床护士评价:专业护士的角色功能包括适应护理知识更新的现状和不断提高临床护理质量。护理人员应将评价学术论文视为自己的责任,有效地在实践中体现科学的进展。
护理教育工作者评价:增长知识、提高教学质量,通过对某领域学术论文的评价,为课程内容的设置提供依据,对学术论文的分析,发掘其有价值之处,也有利于对学生临床实践的指导。
护理研究者评价:评价结果会促进她们对研究问题的选择、方法的改进、以及在今后研究中对结果的解释等。
评价学术论文的形式
评价开题报告:对开题报告进行评价,可便于得到在某机构收集资料的允许、获得基金资助或判断学生的科研设计可否通过。
学术论文发表之前的评价:对投寄给各个杂志社的文章进行评价,以评估文章 的质量,设计是否合理以及具有较大意义,以决定可否发表。
学术论文发表之后的评价:刊登文后可附有对该文章的评价,以使作者有机会得到反馈意见,并做反应。
理解
- 审查研究问题:①是否提出了研究问题;②研究问题是什么;③研究问题的来源如何。
- 审查研究目标:①是否描述了研究目标;②希望完成哪些研究目标。
- 审查文献回顾部分:①前人的相关研究是否被找到并描述出来;②相关理论是否被找到并描述出来;③研究者是否对文献进行了评价;④ 是否全面描述了文献对所研究问题的价值和文献中的空白之处。
- 审查研究的理论(概念)框架:①是否描述了理论(概念)框架;②理论(概念)框架是否对本研究中的概念给予描述或解释;③是否有框架图帮助理解框架内容;④如果论文中没有列出框架图,你能否根据研究内容整理出来。
- 审查假设部分:①是否提出了研究的假设;②假设有几个,都是什么。
- 审查研究的变量:①从概念性水平或操作性水平是否对研究中的主要变量,包括变量、依变量等给予确认和定义;②该研究的外变量有哪些。
- 审查样本和抽样方法: ①总体和样本是否被阐述;②抽样标准是否清楚,样本的纳入标准和排除标准是什么;③是否描述了样本的大小和样本的主要特征;④样本大小以什么为根据;⑤是否描述了抽样方法;⑥如果是非概率抽样,潜在的样本偏倚是否被识别和说明;⑦如何获得样本的同意。
- 审查科研设计部分: ①本研究为何种设计;②设计是否有干预;③设计中是否设计了对照组;④是否有预试验。
- 审查测评工具:①指标测量方法如何;②测评工具的信度和效义情况如何。
- 审查资料收集过程:①是否描述了资料的收集过程;②是否对资料收集者进行了培训,并在文中进行了描述。
- 审查统计分析过程:①统计分析的目的是什么;②统计方法是描述性的还是扒断性的;③列出全部统计分析的步骤和结果。
- 审查讨论部分: ①结果是否与概念框架有关联;②哪些结果与预期结果一致,哪些结果不是预料中的;③是否对偶然发现的结果进行了描述;④研究结果是否与前人研究的一致;⑤确定研究结果对临床护理、护理教育、护理管理等到影响;⑥更出研究者对未来的研究的建议;⑦研究者确定的该研究的不足这处有哪些。
比较和分析
比较指研究现状与标准做比较,即评价该研究是否遵从科研的基本原则,以及研究者是否对研究内容给予准确、清楚地表达和解释。分析则指对研究中一个要素与另一要素之间逻辑关系的评价,即审查研究的各个部分是否符合逻辑关系。
步骤和内容
- 审查研究问题:①研究问题是否具体可行; ②研究问题是否重要且与护理相关;③研究问题是否具有创新性;④研究问题的阐述是否清楚、简洁。
- 审查研究目标:①目标是否缩小和澄清了研究的宗旨和目的;②目标是否确定了研究的变量和总体;③目标是否可被研究。
- 审查文献回顾部分:①文献回顾是否全面,是否检索到全部或大部分前人的相关研究并描述出来;②在一次文献能得到的情况下,是否过多地应用了二次文献;③文献是否是最近的期的;④文献是否为研究问题的提出和目标的确良设立提供了充分的理论依据;⑤文献组织是否合理以总结和反映该研究领域止前理论和实践方面最新发展状况。
- 审查研究的理论(概念)框架:①理论框架表述是否清楚;②理论框架是否适合这个研究问题,是否有更适合的不同的理论框架;③研究问题和假设是否来自理论框架,研究问题和理论框架之间的联系是否显得牵强;④理论框架的演绎推理是否符合逻辑。
- 审查假设部分:①假设与研究问题的联系是否直接并合乎逻辑;②假设与研究目的是否有逻辑上的关联;③假设是否来源于理论框架;④假设是否以理论框架或文献检索为基础,如果不是,作者做预测的理由是什么;⑤每个假设是否包含至少两个变量;⑥假设是否预测了变量之间的关系(自变量和因变量);⑦假设是否提到了研究人群; ⑧假设的阐述是否用词清楚、客观、以预测的口气进行陈述;⑨假设是有效假设还是无效假设,如果是无效假设,是否有理由。
- 审查研究变量:①变量是否反映了理论框架中所确定的概念;②变量的概念性定义和操作性定义是否清楚;③变量的概念性和操作性定义是否一致;④对外变量的描述是否全面。
- 审查样本和抽样方法:①抽样方法是否使样本具有代表性;②抽样方法有哪些潜在的偏倚;③除了抽样方法本身,是否还有其他因素影响了样本的代表性;④样本量是否足够、确定样本大小的依据是否合理;⑤如果研究中组数为两个或两个以上,组间是否有等同性。
- 审查科研设计部分:①为得到所需资料,该研究设计是否最恰当,是否可选择更严密的设计方法;②该设计是否为达到所有研究目标或验证假设提供了有效途径;③如果设计中有干预,干预是事被子详细地描述;④如果设立了对照组,该对照方法是否合适;⑤如果没有对照组,是什么困难(如果有),它是否影响对研究结果的理解;⑥控制外变量的方法是否合适和足够;⑦设计的主要局限是什么,是否被研究者所认识;⑧如果是非实验性研究,研究者是否有理由决定不对变量做任何干预,此决定是否合适;⑨设计是否在逻辑上与抽样方法和统计方法相关。
- 审查测评工具:①测评工具是否能充分测量研究的变量;②测量指标是否可以作为更高等级的指标来测量;③在本次研究中测评工具是否具有较好信度和效度;④是否可以有其他更好的方法来测量工具的信度和效度;⑤对测评工具的描述是否清晰,它与研究目标的相关性是滞被清楚地解释;⑥测评工具是否涵盖了所测量的全部内容;⑦如果设计了新量表,是否有足够的理由解释为何不用现存的量表,新量表是否做过预试验,并根据试验结果作了相应修改;⑧是否描述闻去除或减少庆答变量方法,如正向和负向的条目是否平衡、开放式问题和闭合式问题的备选答案是否涵盖了所有可能的情况、问题的数量是否妥当;⑨测评工具是否需要更深一步的研究等。
- 审查资料的收集过程:①对资料的收集过程是否描述清楚;②收.集资料的方法是否适合此研究;③收集资料的表格设计是否合理及利于将数据输入电脑;④是否对如何培训资料收集者进行了清楚的描述,培训方法是否合理;⑤是否所实施的资料收集过程在整个实验过程中保持一致;⑥所收集的资料是否为了解决研究的目的、目标或假设。
- 审查统计分析过程:①资料分析过程是否适合于所收集资料的类型;②是否清楚描述了资料分析过程;③统计描述是否正确;④论文是否包含了统计推断,是否每个假设和问题都做了统计检验,如果没有用统计推断,是否有必要用;⑤研究者设定的显著统计水准为多少,这个标准是否合适;⑥是否采用了参数统计方法,如果是,是否对参数统计的假设做了检验,如果用了非参数统计,是否应该用更用力的参数统计;⑦结果介绍是否清楚而令人易于理解;⑧论文对统计方法和结果的报告是否足够,结果是否有统计学意义;⑨数据分析是否回答了每一个研究目的、目标或假设;⑩ 资料分析是否阐述得恰当合理。
- 审查讨论部分:①是否讨论了所有重要的结果,结论是否与结果一致;②对结果的讨论是否与每一个研究目的、问题或假设有关;③对结果的解释是否正确、深入,有否偏倚;④是否每个结果的讨论都与相似研究做了联系和比较;⑤结果是否对提高临床护理质量、护理教育和护理管理等实践水平有重要意义;⑥是否对研究中所存在的偏倚加以指明,是否全面;⑦是否有一些研究的不足之处研究者还没有指明;⑧对研究方法是否提出了改进的建议。
评价
评价指根据所设定的标准对研究的意义和重要性进行评估。在这一过程中,主要对研究的内部效度和外部效度进行评价。还包括将现研究与该领域的前人研究进行对比。
评价过程主要包括以下内容;①研究结果的可信度如何;② 设计方法多大程度上影响了研究的本身的效度;③设计方法多大程度上增加了研究的外部效度;④是否将影响效度的影响因素减小到最小值;⑤研究结果可被利用和推广到哪些人群;⑥研究结果可进一步引出哪些研究问题;⑦研究结果对于所研究问题的相关理论提供了哪些补充或建议;⑧研究结果是如何对护理知识进行补充的; ⑨根据前人对这一问题的研究结果,哪些是以知的,哪些是未知的;⑩对评价的结果进行总结,研究的优势有哪些,缺点或不足之处有哪些,不足之处可否被纠正。
概念组合
研究结果与现今知识基础结合。 ①作者对文献回顾的目的是否清楚指明;②文献回顾的文献纳入标准是否清楚指明并被适当应用;③对研究结果进行组合过程的描述是否清楚;④对现金知识基础中已知和未知的内容表述是否清楚;
对知识基础和理论水平进行组织。 ①图中内容是否与目前理论一致; ②图中内容与目前理论有否不同,如果有,而且研究设计又是合理的,应考虑对目前理论的修改;③图中一些概念及其相互关系是否在目前理论中还未被验证,如果是,应设计新的研究来完成这个任务;④在这一研究领域的理论间有否不一致的地方,目前的研究结果支持其中哪些理论;⑤是否迄今还没有解释所研究对象的理论;⑥目前的研究结果能否被用来发展新的护理理论以更充分地解释所研究的现象。
针对研究结果在护理实践中应用的情况。
①将研究结果应用在护理实践上的可信度如何;②如果可信度不充分在将结果应用到实践之前,还需要哪些深一层的知识; ③在将结果应用到病人或健康照护机构时,有哪些益处和风险;④研究结果的应用对护理质量有和影响;⑤护理质量的变化是否会对病人的健康造成显著差异。
质性研究学术论文评价的技巧
- 角度看待同一事物,以及能够将不同研究或不同观点结合起来看待同一事物的能力。
- 从具体到抽象,从特殊到一般的归纳推理能力。
- 从许多原始资料及具体现象中找出规律性的东西,进一步形成或发展理论框架和模式的能力。
- 追寻研究者逻辑分析的过程,判断其观点形成是否充分的提炼观点的能力。
质性研究学术论文的评价过程和方法
- 描述的清晰性:在质性研究中,应非常详尽的描述研究地点情况,受试者情况,资料收集过程,以及研究者的逻辑思维过程,在质性研究中还应详细介绍研究者的背景。
- 方法的合适性:该过程要求评价者了解研究者在整个研究中所应用的哲理和方法学。对研究方法是否合适的评价主要包括以下4个方面的内容:
- 论文写作的严密性:指论文中应将所有的研究要素进行清楚的,精确的介绍,如研究形象,研究目的,研究问题,假设,哲理,理论的发展和结论等。
- 研究步骤的严密性:方法合适性的另一方面即研究者在应用所选择研究步骤时的严密性。影响步骤严密性的因素:①研究者所提问题是否恰当;②信息提供者所提供的信息是否可靠;③信息的选择是否合理;④研究者在报告中所介绍的情况与事实所观察到的有否出入;⑤研究者的存在或不恰当参与是否造成了资料的偏倚;⑥资料提供者可信度如何;⑦资料收集方法是否适合本研究;⑧资料收集员的培训是否足够;⑨收集资料所花费时间是否充足等。
- 伦理的严密性:论文中必须指出,研究者是④研究者在报告中所介绍的情况与事实所观察到的有否出入;⑤研究者的存在或不恰当参与是否造成了资料的偏倚;⑥资料提供者可信度如何;⑦资料收集方法是否适合本研究;⑧资料收集员的培训是否足够;⑨收集资料所花费时间是否充足等
- 可审查性:方法合适性的第四方面,即决定过程的严密性,有称可审查性。对可审查性的评价主要有以下几方面:①资料的收集过程介绍是否充分;②通过记录的原始资料是否足以下结论; ③资料分类或主题提炼是否合理;④应用研究者所确定的方法处理资料时,其他研究者能否得出同样的结论;⑤研究者是否介绍了具体的推理过程和所得结论的依据;⑥理论上的陈述与数据是否有关联等。
- 分析的精确性:主要从以下几方面进行:①对现象的解释与结果是否一致;②分类、主题或一般要素的提出是否符合逻辑;③分类、主题或一般要素的设立是否将现存资料包括在内;④分析是否在不成熟时就终止了;⑤结论是否以资料为基础;⑥所有证据最后能否达成一致的观点;⑦观察现象之间的关系是否符合逻辑;⑧结论是否包括全部的资料在内等。
- 理论的关联性:对其评价主要包括:①对概念的澄清是否充分;②对概念的推敲是否充分;③概念之间关系的表达是否清楚;④理论陈述的内在一致性如何;⑤所提出的概念之间的关系是否被资料证实;⑥在理论框架的发展过程中是否对原始资料进行了歪曲;⑦概念框架或概念图是否来源与资料等。
- 启发的相关性:
- 直觉上认识
- 与现存知识的关系
- 应用性