评价二手资料的准则(1)
“怀疑的尊重”是在民意测验中使用二手资料的一个基本原则,对于二手资料的使用先抱怀疑的态度是正确的。
对于二手资料的评估,研究人员需要提出并回答以下问题。□应当提出的问题1谁收集的?
(WHO)首先要问的是,这个二手资料是从哪来的?收集者是谁?委托收集者是谁?
谁发布的?尤其是对收集数据的机构的信誉(是否诚实,是否有出色的工作)以及委托单位的特点要有所了解,因为这些都有可能影响资料的质量。
还有一个相关的问题就是,委托单位是否有足够的财力来委托这样的资料收集工作?
是否有故意将资料过高或过低报告的动机?另外,还应当考虑到一个部门可能受到某种压力,而不愿意报告他们的真实情况,或不愿意花时间去收集资料,结果就可能导致猜测出偏差。
发布的媒体是大众媒体还是专业媒体也应考虑在内,因此有些大众媒体由于受新闻舆论导向的管制,而对敏感信息可能有所
“润色”。2为什么目的而收集的?(WHY)在利用二手资料之前,还应考察二手资料收集的初衷。
为了某个团体某些特定的利益而收集的资料是令人怀疑的。例如,人们会对某街道办公室自己做的街道工作评价的调查结果表示谨慎的态度,因为该办公室有可能选择那些有利于自身评价的方法、分析程序等等,而不太可能将那些不利于自己的结果公布于众。
3怎样收集的?(HOW)样本的收集方法是评价二手资料质量的另一个重要标准。
事实上,收集资料所用的一整套方法的缺失往往影响二手资料质量的最终评价。
在二手资料收集方法的评估中,需要了解问卷、访问方式、样本的性质、样本量、回收率、拒访率、实施的组织管理情况以及其他任何有可能影响调查结果的方法。
如果上述环节的信息都能获取,使用者对于资料来源的质量就心中有数了。
对这些环节的考察的关键是这些方法中是否可能造成结果的系统偏差。
4什么内容?(WHAT)即使二手资料的质量可以让人接受,但也可能难以使用或不能适应需要。
例如,二手资料的原有分类可能太宽,而实际应用时需要更细的分类。
5什么时候收集的?(WHEN)一般来说,人们把上周的报纸刊登的消息看成旧闻而不再是新闻。
这样的资料常常是没有什么利用价值的。虽然是否真正
“过时”还与资料的类型有关,但在任何情况下,使用这些资料的研究人员都应当知道资料是什么时候收集的。
因为有些调查结果发表的时间与收集的资料的真正时间常常是相隔很久的。
6一致性如何?(COHERENCE)多个资料来源的多边检核准可以从一致性的角度来考察二手资料的可靠性,从而了解所收集的二手资料与其他对相同问题调查所得到的数据的一致性状况。
二手资料可能存在不少难以发现的问题,要完全识别这些问题是很不容易的,最好的办法是再找10个以上可以用作比较根据的资料来源。
在理想的情况下,使用不同方法的两组资料来源最后得到的是同样结果的资料。
但一般情况下,两组资料都会有些差别,为此要找出各自的可能偏差以减少两者之间的不一致性,最后决定哪一组资料是更可靠的。
□评价二手资料质量的准则1技术要求(收集资料所用的方法)收集资料时的技术要求或所用的方法,比如,抽样方法、样本性质和大小、回收率和回答质量、问卷设计和执行、现场调查实施的程序、资料处理和报告的方法过程等是考察资料有无可能存在偏差的最重要的准则。
对这些方面的考查可以提供有关资料的可靠性和有效性方面的信息,也有利于帮助我们确定是否可以将这些资料用于解决手中现有的问题。
2误差(资料的准确性)调研者应当确定二手资料用于当前研究的问题是否足够准确。
二手资料误差的来源是多方面的,包括研究方案设计,抽样,数据的收集、分析以及项目报告等。
而且,由于调研者并没有实际参与,所以很难评价资料的准确性。评价的方法之一是寻找多方面来源的类似资料,然后通过标准的统计方法来比较。
方法之二是到现场去复查。3时效性(资料的收集时间)二手资料可能不是当前的资料,其发表时间远远迟于收集时间。
即使是最近期的,但对解决目前问题来说可能仍不够及时。民意测验一般都需要当前的资料,二手资料如果过时了其价值也就消失了。
4目的性(收集资料的目的)资料总是按一定的目标或用途来收集的,因此首先要问的基本问题就是
“为什么要收集这些资料”。了解了资料收集的目的,就可以知道在什么情况下这些资料可能相关或有用。
按一定具体目标而收集的资料不一定适用于另外一种场合。例如,为了了解待业青年所做的民意测验,就不一定完全适合用来分析青少年犯罪,而只能作为一种补充。
5性质、内容(资料的内容)考察资料的性质或内容时应特别注意关键变量的定义、测量的单位、使用的分类以及相互关系的研究方法等。
如果关键的变量没有定义,或者与调研者的定义不一致,那么资料的利用价值就很有限了。
例如,假定有关于消费者对电视节目偏好方面的二手资料。要利用这些资料,重要的是必须知道
“对电视节目的偏好”是如何定义的。是按照看得最多的节目来定义的?
还是按最需要的、最欣赏的、最有帮助的(提供最多信息)、或是对当地提供最好服务的节目来定义的?