微吐槽
市场调研公司的调研是作假的吗?【摘自知乎】
关注:4356  答案:1  悬赏:100
离问题结束还有7425天19小时11分30秒
  • 待解决匿名
  • 2018-02-28 10:08
今天遇到一个尼尔森的调研,调研问卷基本是调查人员拿着平板(录音的),然后点着答案告诉你要这样答,也只能按答案回答。
我时候问,是不是公司要求问卷都要这样做的。说,是的,都是这样。

这么做的情况下不就对不起客户企业的钱吗?是不是其他市场调研公司都这样做?
问题补充:
本信息来源摘自【知乎】
最佳答案
暂无最佳答案
全部回答
  • 1楼匿名
  • 2018-02-28 10:10
【知乎网友】Jeff Tsang回答:
市场调研涉及的范围很广,收视率调查、零售研究、定制研究等都属于这个范畴,对其它研究不太了解,这里主要说的是定制研究方面的情况。
本文提及的现象或事例并非作者所见所闻所经历,纯属个人臆想,切勿对号入座。
谢绝全文或节选部分内容以任何形式在其它任何媒体转载。

先来对题主问题小心翼翼的直接回答:
根据题主描述基本可断定确实是调查员作弊,目前国内没有任何一家市场调研公司能完全发现和杜绝调查员作弊现象,但负责任的公司已经采取了足够严格的QC(质量控制)制度和方法去保证项目整体数据的可靠性,从而令数据分析和决策建议不至于偏离正确的方向。况且题主所遇到的只是个别现象,这个样本也有可能会在后期质量检验的过程中被发现而剔除,所以我认为那些负责任的市场调研公司是对得起企业客户的钱的。

很多事情都不能绝对化地简单看待,作弊现象同样客观存在于负责任的公司,程度不同而已,甚至题主所见也不过是冰山一角。相对而言,越是大型的市场调查公司对自己的声誉越是重视,QC也越严谨,至于一些连独立QC部门都没有的中小公司和fieldwork代理商,那就要看老板有没有理想主义和把控能力如何了。从一家公司内部去看,尽管QC报告都是无可挑剔的,但实际某些人的心理都清楚,不同项目之间会有不可言喻的质量差异。我想,应该没有谁能回答“是不是其他市场调研公司都这样做”这种一棒子打死整间公司乃至整个行业的问题,谁要是拍着胸口说我来,那他也只能回答“不是”。

家家有本难念的经
市场调研是一个专业领域,有着非常完善的规则和规范,只有行内的人才能深刻体会,在日常工作中背负这些规则和规范是多么大的一个挑战。

一个调研项目的方案设计是科学、细致的,这里要先普及一下样本定义、配额、问卷这几个概念,以及调研公司一些基本的运作流程、人员分工。

样本定义是指需要访问什么样的人,通常定义为产品的现实或潜在消费人群,比如婴幼儿奶奶粉调研的访问对象一般是孩子母亲,奢侈品调研的访问对象是高收入人群,著名的J.D.Power新车质量调查是访问相应品牌3-6个月(没记错的话)的车主。确定样本定义是为了调研得到的数据具有代表性,如果你问我奔驰汽车的驾乘感受那是纯属扯淡。

调研公司大多按样本量收费,每个样本数十元到数千元不等,项目方案设计的样本量在能满足统计意义的前提下,都尽可能地少。但数据分析的时候往往又需要分组交叉,比如性别、年龄等,所以方案会要求男性女性分别多少样本,各年龄段又多少样本,这就是配额。

调研可分为定性调研和定量调研。定性调研常见的形式是深度访问、座谈会等,通常是调研公司的研究人员亲自操作,访问的内容是大纲式的,称为非结构式访问。定量调研一般是结构式访问,就是把需要访问的问题设计为问卷的形式,调查员需要严格按照问卷操作和提问,题主遇到的应该就是这种。拿着问卷去访问的调查员,其实跟机器差不多,各种提问和应对的措辞都是严格设定的,几乎没有什么自主发挥的空间。

一个调研项目的运作流程大致是这样的:调研公司的研究人员先向企业客户了解调研需求,然后设计调研方案交给fieldwork督导去执行,QC对执行过程和结果进行品控,合格的样本交给数据处理部门做一些数字化和模板化的汇总整理,最后交给研究人员分析、撰写报告present给客户。

定量项目一个城市少则几十个样本,多则上千个甚至数千个样本,督导是不可能自己去完成所有问卷的,于是督导就需要招募和培训调查员了。只有少量公司有少量全职的调查员,大多数调查员都是兼职的,一部分是学生,一部分是以此为职业的女性,这是北上广等大城市较为的普遍情况,小一点的城市不好说,大体还是以学生和闲散人员为主。学生相对单纯,而且从事这项兼职的时间不会太长,很多没来得及学坏就已经转行了,大部分的作弊现象发生在那些以此为职业的“老油条”调查员身上。

好了,科普到这里,下面来看看市场调研为什么会有作弊现象。

兼职的职业调查员收入普遍不高,能以此为生的大概就是一般工薪阶层的收入水平(有些调查员家里确实挺困难的,她们的收入还要按劳务报酬的税率纳税,唉。。。),她们之所以会作弊的关键原因是按调研项目的要求去做的话,这钱太难赚了!为什么这样说呢?我举些fieldwork过程当中最容易诱发作弊现象的例子。


样本定义难度太高,难以接触到合适的访问对象。比如一个定点街访的操作是这样的:在人流量较大的商业区租一间或几间房间(课室、餐厅、办公室、酒店都有可能),楼下马路边拦截员(大多由“老油条”调查员担任)负责找到合格的样本,然后带到房间由学生调查员来访问问卷。而要找的访问对象可能是这样定义的:年龄要求18-45岁,大专以上学历,个人月收入5000元以上,每周饮用某品牌某口味饮料3次以上,还有如果在当地连续居住时间不够两年的不能访问,过去半年接受过其它调查访问的不能访问,自己或有家人亲戚同学朋友在市场调研/广告/媒体/饮料生产销售等相关行业工作的也不能访问,等等。一个个条件刷下来,站街上一天能遇到多少个符合样本定义的人?如果该饮料的市场占有率才3%不到呢?好不容易逮到一个合适的吧,你跟他说要不到楼上坐坐,15分钟问卷调查,送你一根牙膏,你去不去?我问你去不去?十之八九拒访!拦截员成功邀约到一个人可以获得的收入大概是10块钱,正正经经风吹日晒雨淋口干舌燥街上站一天能遇到多少个完全符合样本定义的好人?于是拦截员不再见人就去搭讪了,无数次的碰壁之后练就了一双火眼金睛,识别到一个好人才果断出击。一上去也不会问你那么多问题了,直接就叫你帮忙做个访问吧送你牙膏好不好,你要愿意或半推半就的话,一边拽着你上楼一边悄悄跟你说你其实多少岁了、你的收入是多少、你经常喝某品牌饮料。。。记住了啊,别说错了啊,说错了就没有牙膏啦。。。


样本定义在刚开始抽样的时候不难,但追配额的时候会变得很难。即使是一个高渗透率的产品、高市占率的品牌,在剩下最后几个样本的时候,可能样本配额是这样的:35-39岁男性,已婚无孩,家庭月收入8000-10000,性格属于乐观派(有心理学博士设计经过数万人测试证实准确有效的测试问题哦)。。。你来给我找找看,你叫警察叔叔设个卡把一个个过路的抓来审问,看看有多少个合适的?什么?今天完不成?不但要增加场租预算,还要拖着这一队人马明天继续开工,还要跟客户汇报进度解释原因,还要压缩研究人员写报告的时间。预算还好说,但有的时间根本不能拖,明天学生们要上课了怎么办?明天是周一人流跟周末的不一样怎么办?明天新版广告出街了影响访问结果怎么办?没办法,研究人员逼督导,督导逼拦截员,拦截员没有警察叔叔帮忙抓路人,那就只有谆谆善诱好心的路人如何回答正确的答案了。还得赶紧的,天就要黑了。


问卷设计实在太长。一般电话访问和街头访问的问卷长度不宜超过15分钟,入户访问不宜超过30分钟,呵呵。可是有很多客户是贪得无厌的,有很多研究人员是软弱无能的,于是有很多问卷是宛若天书的,尤其是有些什么生活形态、媒介版图之类的调研,涉及日常生活产品消费的方方面面。想象一下你刚吃完午饭准备午睡,调查员敲开你的家门问你下午没什么事吧?那好,老老实实呆在家里跟我做个问卷调查吧。时间总是过得很快,一眨眼三个小时就过去了。。。不好意思,耽误你准备晚饭了。什么,有点头晕?那先睡一会儿等下叫外卖吧!送你一根牙膏,谢了啊。。。有可能吗?这种事情有可能吗?还有,问了大半问题然后人家发飙了,被赶出家门的事情又不是没遇到过。我只能说,三个多小时的问卷是极少数的,但也是现在都真实存在的。接下这种项目的调查员是用手拉车拉着问卷回家的,半路还要顺便到文具店买一打圆珠笔。刚刚那个访问过程是我杜撰的,真实的访问过程是调查员挑着问题大概问个15分钟,然后留下一张小纸条了事(QC复核时对口供之用)。这类调研很有可能是调研公司自己投资的多用户调研,成本往往被压得很低,调查员一份问卷大概能拿到50-80块钱,但她们大多是不愿接这种项目的,哪怕自己在家填问卷都填到手抽筋了,叫上中学的儿子帮忙填他还不愿意,情愿去洗一个礼拜碗。交回公司的问卷审查起来可能错漏百出,还分分钟冒着被罚款被开除的风险。


尽可能轻松地完成工作,人性也。

上面几个例子是带着无奈的作弊现象,其实稍有经验的督导是知道调查员的那些伎俩的,但督导的工作更优先要保证的是项目进度和成本控制,质量方面也是关注可见的访问操作和卷面质量为主,其它的事情如果没有放到台面上,大多是采取睁一只眼闭一只眼的态度,QC才是那只真正抓老鼠的猫。

调研公司的项目督导也可能会作弊,但大多或是因为意外或是确实无能为力,比如下面这个例子。

话说某公司准备召开一场座谈会,虽然样本定义和配额都比较苛刻,可这位督导是一位优秀的督导,经过一番各种努力,提前两天就约好了十二个来参加会议的人(8人会约12人是惯常做法),录音录像设备提前一天测试运作正常,会议当天零食准备就绪摆放整齐,白板擦得干干净净,白板笔红蓝黑三种颜色墨水充盈。。。一切都已安排得妥妥当当。可是天有不测风云,一场大暴雨降临了。。。优秀的督导意识到可能会有变数,马上冷静地给参加会议的人逐个打电话,果然有一半的人来不了了,求爷爷告奶奶打车到家里去接都没用。优秀的督导不动声色地把负责主持会议的研究员拉到平时抽烟吐槽聊八卦的楼梯间,说明了当下的情况。研究员想到鬼佬客户正在自己老板办公室谈笑风生,这可是global客户啊!久经沙场的他心里立马有了决定,平静地对督导说,座谈会时间不能改,与会人数不能少,样本配额不能变,会议气氛不能冷,其它的你自己想办法吧。优秀的督导没有跟研究员回办公室,而是拿出手机扒拉通讯录,开始给自己的熟人打电话。。。座谈会终于顺利结束了,鬼佬客户跟项目组成员一一握手感谢,满意地拉着行李箱赶飞机去了。优秀的督导和研究员终于松了一口气,相视无言,自此也结下了深厚的战友情谊。

商场如战场,有些仗,输不起。

各家大型的市场调研公司一般只在北京、上海、广州设立提供full service的分公司,在成都、武汉、杭州、沈阳等地或许会有分支机构,但可能只有fieldwork或数据处理之类的职能,从事收视率调查或零售研究的公司则会有工作站星罗棋布,但与定制研究业务一般分开独立运营。这些大型调研公司的数据收集网络远不能覆盖我们祖国的广袤土地,于是便催生了一大批fieldwork代理商。这些代理商有些落脚在相对发达的大城市发展得好的,也逐渐具备了服务一手区域客户的能力,但更多的是纯fieldwork的执行公司,靠承接二手业务生存,比如题主提到的那家市场调研公司,你遇到的打着他们公司名义的代理商调查员,他们的fieldwork在中国大陆已经完全外包了。这些代理商的素质良莠不齐,公司伙同调查员作弊的现象也不是没有,他们的心态与调查员的心态是一样的,能过了上游公司的QC检验关顺利收到钱就好,至于样本的产生过程就只有天知道了。在上游的大型调研公司眼里,这些代理商与调查员之间,大概就是批发与零售的区别了。

大型调研公司经常会派出自己的督导去到代理商当地监控项目的现场运作,每天跟自己老板汇报情况都是各种难啊,进度不理想啊,可能要改方案拖时间啊。。。老板说这样啊,你先回来吧,咱们商量商量看看后面的情况再决定吧。督导马上酒店checkout通知前台改签机票,急急忙忙买了几包特产拉着行李箱当晚就飞回去了。第二天在办公室跟同事们分享着特产零食旅途趣事的时候,代理商发来邮件说经过各种努力进度总算赶上来了云云。。。个中玄妙,看官自己脑洞吧。诱发代理商作弊的因素跟调查员是一样的,有些方面可能更无奈。项目这么难怎么做?给钱这么少怎么做?这个项目当初你找不到人做,我可是捱义气帮你扛下来的啊!话说去年的项目款你看什么时候跟我结啊?这么个拖法兄弟扛不住啊。。。

在艰难中逐利,或许也是无可厚非。

即使有些成名的公司,数据结果出来一看不对劲啊,没法解释啊,客户是傻子都知道有问题啊!赶紧找首席数据分析师过来看看,有什么方法可以加权一下修正一下?不行?偏差太大?那找QC过来,把不想要的样本数据找理由作废掉,让fieldwork重做!什么?样本太多来不及?那算了,当我没说过。那个谁,Daniel,还有Jennifer,你们过来,我们去会议室商量一下这个数据到底哪里不合理怎么不合理。。。报告present之后,客户信心爆棚产品如期上市,各种宣传推广轰轰烈烈,大获成功。

是也?非也?

总之,各种角色各种无奈。导致作弊现象还有更深层次的原因,作者所言只是皮毛而已。是不是所有的事情都可以直接用大是大非的道理去衡量对错呢?作者没有那种境界,请高人指点,看官自己判断吧。

道高一尺,魔高一丈
要解决作弊现象,从根源上泯灭作弊的动机当然是最好的。可是项目方案设计是不能违背统计学理论的,不能浪费客户预算的,不能信息量太少满足不了客户需求的。。。现在的方案已经是一个各方面权衡的理想方案了。那增加预算可以吗?特殊情况个别样本有可能,普遍提高那就想都不要想了,怎么保证公司利润率?怎么跟友商竞争?

既然不好治本就试试治标吧。这方面调研公司是下了猛药的,各种监控方法和检验手段无所不用其极,但作弊现象就像抵抗抗生素的病菌一样,不断变异进化,波澜壮阔的攻防大战史诗般上演了。
先说说定点街访。早年拦截路人做访问的拒访率不像现在这么高,在路边拦截是不需要配备现场QC的,在访问房间有个比较聪明伶俐的学生作为兼职督导问一遍甄别问题就算过了。慢慢的拒访率高了,拦截员与好心路人串通口供的现象多了,就开始配备现场QC了。开始的时候是一个QC盯着几个拦截员,慢慢就变成一个QC盯着两个拦截员,甚至一个QC盯着一个拦截员了。有些拦截员偶尔会脱离QC视线,不知道从哪个角落扯了个人就带上去做访问了,于是有些调研公司开始使用QC标签(一张有QC印章的不干胶贴纸),经过QC认可拦截员才能得到一张标签,有标签的好人才可以接受访问,标签还会粘贴在对应的问卷上。

但这样也有两个问题,一是QC也要工资成本撑不住啊,二是QC也是人,也不能保证尽心尽责啊。那改变一下思路就靠机器吧,给每个拦截员脖子上挂一支录音笔,工作时间不间断开启录音,但QC也没有人手和时间听录音啊,拦截员也是刚开始时被吓了一下下而已。好,那我就上更高科技的GPS定位仪吧,后台随时追踪定位工作位置,并且实时监听对话,上个厕所都要先报告申请卸下装备。短暂的不适应之后,拦截员很快发现好人们其实很聪明的,不用说话用手指指问卷的答案大家同样可以愉快地聊天欸。

高新科技加上现场QC负责到底的话,大部分拦截员确实无缝可钻,那大家一起耗呗,一天下来做三五个样本的事情也不是没有发生过,看看谁能坚持到最后。也有些拦截员祭出了无解大杀器,做了这行这么多年怎么也结识了不少好人吧,只要在或QQ或微信的好人群里喊一声,没有过百人也有几十人的好人兵团就浩浩荡荡开赴过来了!难道市场调研公司还要为好人们拍照录指纹建档案吗?

插播个花絮。样本定义及配额要求访问指定年龄阶段的人,有天拦截员带着个小鲜肉就冒充大叔来了,QC大人一问年龄小伙子张口就说自己35岁,眼睛都不眨一下。QC大人当然明察秋毫了,但也不能直接说你扯淡吧,于是继续和颜悦色地问道,那生肖几何呀?小伙子这下懵了,支吾半天说不出来。QC大人对一旁惴惴不安的拦截员怒目而视,自己送客吧!可惜这招很容易被破解,传开之后很快就不太灵了,但出生年份与生肖的对照表至今依然是QC们的基础装备之一,有些新手或工作不到位的调查员还是会栽倒在这个坎上。

再说说汽车相关的调查。虽然汽车逐渐开进平常百姓家,但车主在现阶段还算高端人群,更何况要找指定品牌指定型号指定购买年限的车主,这类样本难度高价值也高。不同于定点街访的是,汽车相关调研相当部分是没有现场监控的,调查员从公司领了问卷之后,就自己到街上到洗车店到停车场找人访问去了。无人看管且利益诱人,汽车调研也就理所当然地成为了QC与调查员斗法的又一个重要战场。

先看看QC有什么招,什么电话复核之类玩烂了的常规招数就不说了,QC最重要的两招是要求调查员录音和拍照。

录音是为了记录下整个访问过程,让QC人员事后也可以根据录音检查调查员操作是否规范、记录信息是否准确完整。汽车调研的录音可不比一般消费品街访,大多是要求问卷100%录音,录音笔坏了电池没电文件损坏导致问卷没有录音?免谈!有些项目可能不会硬性要求100%,那也只是一时心软留出些许空间给那些意外情况的。QC也有足够预算请一帮兼职天天回公司排排坐带着耳机吹空调,像J.D.Power那些要求到极致的公司,不但要一边听录音一边检查调查员有没有偷工减料,还要看看调查员有没有严格按照问卷文字读出问题,有没有按标准追问,有没有原话记录车主回答的答案,出错点过多或出错问题严重,废卷!因为提交出去的样本还会有他们自己的auditor(QC的另一种说法差不多)和第三方QC公司按相同的标准再检验一遍,他们发现不合格样本就会拉低自己公司的质量评分。

那录音这招怎么破?简单,找人重录。调查员先填好问卷,就像剧本一样,老公就照着念台词。那女性车主呢?找工友找邻居找闺蜜咯,大把女人。某天某QC带着耳机吹着空调发呆的时候,突然眼前一道白光闪过,不对啊,问卷不是大白天在街上访问的吗,怎么背景音是昨晚我看电视上的中国好声音呢?咦,这个声音怎么跟刚才那个车主一模一样?哗,这个车主回答好流利啊,问题都没念完答案就念书一样说出来了。。。一张张写着不合格原因的“牛肉干”就开出去了。调查员自然是吃一堑长一智,那就找多几个人来帮忙录,跑到马路边上录,带着感情吞吞吐吐录。。。技艺突飞猛进,日臻完美。

QC的另一个重要招数是拍照。最简单的是车屁股照,要看得清汽车品牌型号和车牌号码,QC核对照片信息与问卷记录一致就行了,那个年代大家还有一项技能,看车牌号码就能大致推断上牌时间。这个要求太简单了,满大街的车随便照,别鬼鬼祟祟被保安为难就是了,至于你有没有见到车主,有没有访问到他本人就只有靠打电话复核了,找个朋友认了那还不小事一桩。然后开始要求驾驶位的车门打开,车主站在车门口的人车合照。这下难了一点,但干这行久了的调查员谁不认识几个相熟合作的洗车店老板,帮客人洗车的时候找个员工啊隔壁士多老板啊什么的往车门口一站,茄~子~so easy!为什么老板会合作?调研公司有场租有礼金有介绍费的预算分给他啊,钱多的时候一条利益链就是这样建立起来的。更难的来了,“三证”照(身份证、驾驶证、行驶证)!更狠的是要求拍车架号!真正接受调查的车主都迷糊了,我这是要卖车了么?还是你想克隆我的车?快解释清楚!当然不是啦。。。早就设计好了标准措辞。你以为调查员这就没招了?图样图森破!中国最多的户外广告是什么?办证!微软office之外最流行的生产力工具是什么?PS!

唉,不说下去了。。。这些都是些什么事儿啊?做个市场调查而已。

上面活泼的文风一下子说这么多,看官们切莫误会这是调研行业的普遍现象,作者只是把很多年很多人很多事串在一起来表现演进的过程,其实如果只是在某个时间点上,我们或许只能看到其中的极个别案例。作者在文字上更多着墨于作弊方进攻的精彩以博君莞尔,也请看官不要忽略了QC方防守的努力和决心,若有行外的看官还能理解一下双方的无奈,便是极大的欣慰了。

更多不同形式的调研方法,没有精力系统地展开了。那些最基础最有效却又最无聊的质控规则和手段也都没有提到,怕看官们瞌睡,就像盆栽的泥土重要却无人欣赏,罢了吧。

行业的整体状况就不去揣测和评价了,只是想回答题主作弊现象在调研行业里面确实是客观存在的,但也有一些负责任的公司和一些有信仰的人在与之顽强抗争,即使他们自己都做过一些不愿面对的事情,他们也一直忍耐没有放弃,默默地积蓄着能改变些什么东西的力量。


PS:大胆说句,相较起研究技术水平,调查员作弊现象未必就是影响客户花钱价值的主要因素。