手把手教你复制一份重创瑞幸的做空调查-严肃的人口学八卦的财新博客-财新网

撰稿/王中汉

这几日，恐怕中文互联网上最惊人的商业新闻就是瑞幸“自爆”事件了。

在4月2日，美股上市公司瑞幸咖啡董事会成立的特别调查委员会宣布，其在2019年Q2-Q4期间至少存在22亿元人民币的财务造假。

此消息一出，瑞幸股价应声跳水，请注意，这一次是真的十米高台跳水，因为在一天之后，瑞幸的股价就只有5.62美元了，跌幅超过78%，56亿美金市值瞬间蒸发。

图/瑞幸咖啡在美股4月2日收盘时股价跌幅为78.07%

且不论造成瑞幸惨剧的始作俑者是谁，无疑，知名做空机构——浑水（Muddy Waters Research）公司在两个月前发布的做空报告是瑞幸“爆炸”的最直接导火索，其直接推动了瑞幸董事会被迫启动了特别调查。

这份重磅且神秘的做空报告不仅结论惊人，其调查本身同样令人咋舌——

其一共起用了92名全职员工和1418名兼职人员，实地调查了瑞幸的981个门店，录制了长达11260小时的门店流量监控视频，收集了25843份顾客收据，形成了一份逾90页的深度调查报告（以下简称浑水报告）。

图/浑水公司公布的89页匿名调查报告

对于这份做空报告及其调查过程，虽然有人调侃道，“调查者花了这么大的代价得出了一份在中国几乎是人尽皆知的结论”（半佛仙人语）

但是毋庸置疑的是，这份做空报告的确为质疑瑞幸财务数据造假提供了目前来看最有力的微观调查证据。

甚至有前证券分析师发出了这样的感叹：

“浑水的这份报告，采取了实事求是、不怕困难、接地气的研究方法，这是唯一正确的研究方法…如果浑水是100分，那么绝大部分（证券）分析师连20分都考不到”

怪盗团团长裴培，公众号：互联网与娱乐怪盗团

浑水做空瑞幸咖啡成功，说明了我们这些“专业分析师”有多么无能

在这份做空调查报告产生巨大轰动的同时，人们也对调查背后的细节产生了很大的兴趣，但令人遗憾的是，虽然一些媒体（如燃财经）找到了受雇于调查的部分兼职调查员，

但对其背后的调查设计、人员组织、实地观察和数据质量控制的具体操作仍难以窥其全豹，而这些令人好奇的细节可能会伴随着商业秘密的尘封而永远石沉大海。

不过，对于经常组织和进行大型社会调查的人口学者来说，用科学的调查思路和方法“逆向”推想出这份做空调查的全过程也并不是一件难事，

所以在接下来的文章中，我们将手把手教你如何复制这份搞垮瑞幸咖啡的做空调查，并复盘浑水报告中的诸多问题。

如何让你的老板为你的调查掏钱？

首先，无论你是由于看了唱衰瑞幸的自媒体文章，还是在天天拿瑞幸优惠券的时候觉得这压根就是一个“不靠谱”的公司，

总之，根据你的经验和常识判断，你会产生一个问题：

为什么2019年二季度以来瑞幸的门店销售数据这么好，好到和我们的感受大相径庭？

随后你马上会提出一个假设：

瑞幸门店销售数据好看的原因在于数据造假。

图/早已有媒体文章在去年八月就对瑞幸的财报数据提出质疑

当你抱定这个假设之后，你第一时间会想到的，是去做一个调查——来找到充足的证据来证明或证伪你的假设。

但是，在这时你要面临的一个困难是——任何一个理性人的决策都是基于成本-效益分析，而启动一次大型实地调查也如是

——你要说服你的老板为你的想法掏钱。

那么如何去说服你的老板来掏钱启动这次调查呢？

你的选择有两个，第一个是先做一次微型的“预调查”。

它的成本很低，可能只是一个几个人组成的小团队利用三四天的时间调查了公司附近的几家瑞幸咖啡门店，得到一份粗糙的门店销售数据，如果这个结果和瑞幸财报汇报的单店数据差异很大的话，你就可以把这个结果汇报你的老板，让他为你的后续调查掏钱。

可尴尬的是，这样得到的一份数据是很难让吝啬且小心的老板信服的。

因为它可能只是一个特殊的“个例”——可以影响这次预调查结果的因素太多了：

你的公司正好处于城市的郊区，周围的瑞幸门店和城市中心的CBD比当然是弱鸡；你观察的那几天刚好是工作日，不是咖啡销售的主力时间……

图/一些顾客在瑞幸门店内等待

不过，除此之外你还有第二个选择，那就是使用定性的访谈方法。

定性方法往往采取归纳逻辑，即从特殊到一般，哪怕你选择的调查对象数量也很有限，不具备对整体的代表性，但是他们说出的一些观点具备一定的典型性，同样可以成为提出问题的依据。

其实，所谓定性和定量方法的结合，不仅仅是强调同时使用两种方法，而是在于能形成方法间的补充，在没法进行有代表性的大样本调查前，定性方法可以帮助其明确研究问题和目标，降低研究的不确定性。

什么样的访谈“姿势”最科学？

那么，应该访谈哪些人，以及采取什么样的方法进行访谈呢？

事实上，如果想真正了解瑞幸的门店销售状况，直接访谈瑞幸的首席运营官（COO）、财务总监以及门店店长，是最直接准确的选择。但是任何人都知道，在我们的假设里，恰恰是他们在对数据造假。

当然，除了这些人，你仍然有可能通过访谈行业专家来达到你的目的。

第一种你可以选取的方法是焦点小组（Focus Group），来组织一些长期关注咖啡或零售行业的专家来座谈讨论。

图/焦点小组中专家在座谈

但是在小组座谈中，往往会有意见领袖左右了大家的意见，如果你想得到更多元化的回答，可以采取第二种方法——德尔菲法（Delphi Method）

通过匿名函询或单独访问的方式访谈专家。这一点也在“燃财经”的报道中得到了印证：

“我理解的是，当时雪湖的计划是先找一批行业专家，通过专家访谈，来对瑞幸咖啡这家公司有个整体的研判。确定看空策略之后，专家论证通过，再让咨询公司启动实地调查…他们的问题比较宏观，基本都是整体上是否看好瑞幸的商业模式，然后会有一些具体的提问…当时我给出的意见是，瑞幸的商业模式是能够被证伪的”

燃财经工作室，公众号：燃财经

独家 | 做空报告参与者讲述：我们是这样调查瑞幸的

如果专家访谈的看法和你的假设一致，而你的老板已经决定为你的预算掏钱，那么这个时候这次做空调查的重头戏就要登场了，你要采取最有力的武器——

一个可以对总体有代表性的抽样调查，来彻底砸碎瑞幸财报造假的面具。

调查谁？调查什么？在什么时候？

“工欲善其事，必先利其器”，要做成这么一项耗资巨大的大型抽样调查，前期的抽样设计和实地调查准备是必不可少的。

第一步，你需要明确的是调查的内容、对象和时间。

实际上，实地调查关心且能做的只有瑞幸咖啡的门店销售数据和顾客数据，反应在浑水发布的做空报告中则是以下四个指标：

1.单店日均销售量（Number of items per store per day）

2.每笔订单商品数（Items per order）

3.实际商品单价（price per item）

4.其他产品收入比例（revenue contribution from “other products”）

任何定量调查的基础都是对调查内容的操作化，所以这四个指标数据即是做空调查想要得到的调查内容。

图/浑水报告中利用这四项指标提出的质疑“铁证”

至于调查对象，则应是调查期间瑞幸咖啡在全国范围内的所有直营门店以及当日在这些直营店购物的顾客。

由于这份做空调查是一次连续几日甚至一周的追踪调查，所以对调查时间的明确也尤为重要，因为不同的时间段：工作日，周末和法定节假日、月份的上中下旬的销售数据可能会差异极大

而且由于瑞幸几乎每周都在疯狂开店，确定调查日期也有利于明确调查的总体，来保证不会漏掉已经开业的门店，避免覆盖不足的问题。

图/观测总体与目标总体不一致：覆盖不全和覆盖过度

但事实证明，浑水报告在调查日期的处理上完全是一笔糊涂账。

浑水报告中透露这次做空调查从2019年的第四季度开始，一直持续到了2020年的一月，旨在研究瑞幸在2019年第三季度向好的财务数据是否真实。

确定调查时间最好的办法就是事先明确调查的次数和周期，例如分别在2019年10月-2020年1月中选取月中旬一周（或其中的几天）进行追踪调查。

而这四次调查的门店总体可以根据瑞幸咖啡公众号的每周新开店数据确定，分别是3955家（10月14日）、4275家（11月11日）、4918家（12月16日）、4999家（次年1月13日）。

相较之下，浑水报告确定的门店总体为4409家，与我们计算的期中门店数4440家较为相近（注：计算公式：期中门店数=（期初门店数+期末门店数）/2）。

但是无论如何，浑水调查对调查日期的含糊和混乱会极大的降低其数据质量。

图/截至2020年4月5日，中国大陆的瑞幸咖啡门店数为5236家；数据来源：极海品牌监控数据

第二步，在明确了调查内容、对象和时间之后，你需要做的是抽样调查设计。

为什么要做抽样设计？

因为一个好的抽样设计在保证样本代表性的同时，可以极大的降低调查的成本。

如果你要调查瑞幸在全国的五千家门店，保证在95%的置信区间下，按照简单随机抽样的原则抽取样本单元，你仅仅只需要抽取353家门店，就可以保障抽样造成的绝对误差不超过5%。

图/样本量计算公式

如果你要采取简单随机抽样，那么你需要拿到一份瑞幸的全国门店花名册（瑞幸APP里可以找到），在其中用随机数法随机抽取353家门店，

但是这样抽取的样本会有一个问题，那就是样本中需要观测的门店仍然很可能分布在太多不同的城市中。

要知道，实地调查的成本不仅取决于你打算调查多少家门店，更在于你要去多少省份和城市做调查。

这个时候你需要借助整群抽样来控制你的成本，把样本集中在几个城市，但是这样的人为操作无疑会增加误差，所以你另外需要在整群抽样前设计抽样框来对样本分层，以提高你的抽样精度。

这时你可以采取的一种常用的方法是多层次、多阶段的、与总体规模成比例的概率抽样，也就是大名鼎鼎的PPS

它的使用帮助一系列的全国大型社会调查CGSS（中国综合社会调查）、CFPS（中国家庭追踪调查）在降低成本的同时保证了抽样的精度。

如果你们感兴趣，我们会在之后的推文中专门讲PPS抽样的操作及优势。

总之，在一通抽样猛如虎之后，你通过确定样本总量、设计抽样框和逐步选取抽样单元后抽出了你想调查的门店样本，

同时由于你为了降低成本的花式抽样操作，所需要的样本量因设计效应膨胀一倍，涨到了706个，这个数字就和浑水做空报告调查的981家门店数量相近了。

调查了981家门店就意味着抽样准确么？

浑水的报告并没有讲述他们采取了怎样的抽样设计，但是我们仍然可以有一种手段检验他们样本的代表性。

那就是将样本分布的特征和总体特征进行对比，如简单考察CFPS（中国家庭追踪调查）的代表性，就是将其数据的人口金字塔与相近年份的普查数据的人口金字塔的形状对比，一份代表性好的数据会与总体显示出相似的特征。

图/CFPS的性别—年龄特征与“六普”数据特征基本一致

如果让我们分别对比浑水报告中提供的总体和样本中门店数量排名前15的城市门店数量分布（TOP15城市的门店总量在总体中占比为71.69%），

我们会发现样本门店数并没有像总体一样呈现出一条流畅的曲线，而是一种波浪式的分布，这种特征的差异暗示着我们：

即使浑水报告付出了这么大代价调查了981家门店之多——这个样本可能仍然是有偏的，这会造成浑水报告中汇报的一系列均值数据全部出现问题。

图/浑水报告中总体和样本中的TOP15城市门店分布

第三步，你需要确定你的调查方法，以更好的测量你所需要的门店销售指标。

出于做空调查秘密的需要，你无法采取问卷或访谈的方法收集收据，但是由于你需要的门店销量和顾客单价数据并不是十分复杂，你可以采取观察和抽访顾客的方法达到你的目的。

这是“燃财经”披露的浑水报告采取的实地调查细节：

“按照要求，一人拿多杯算一杯，多人拿一杯算一杯，一个外卖袋子算一杯，但是兼职有很多按照自己方法来算的，比如听来单的声音统计。现场记录主要分两种，一种是在纸上画正，一种是用手机计数器…但有的纯外带和外送的店，没有座位，兼职会在外面站一天”

燃财经工作室，公众号：燃财经

独家 | 做空报告参与者讲述：我们是这样调查瑞幸的

现场记录门店销售量的方法虽然粗糙，但也是在保密前提下最行之有效的方法。

做空瑞幸，你需要多少名访员？

到目前为止，你基本上做完了调查的前期准备工作，进入到了实地调查环节。而这一环节，则是这次做空调查中最烧钱的部分。

首先，你要做的是招聘访员，高校学生是你最好的选择，因为他们一般热情较高，时间充裕，方便管理。即使按照“一店一人”，你最多也只需要706位访员。

可实际上，这还是太多了，因为只要对访员进行稍微严格的招募和必要的培训，完成CFPS这种每年在全国调查5000户家庭的大型调查，也仅仅只需要400多位访员。

其次，你可以进行多元化的培训，利用小班教学、课堂训练和集中培训的方式对访员进行调查培训；

图/CGSS调查前对绘图员做实地培训

最后，你需要组建一支高效的执行团队，它包括了执行主管和若干位执行督导，完成访员问题解答、现场协调、质量监督、指导和反馈、酬金和劳务申请等任务。

实际中，访员招募和执行团队非常重要，因为这关系到调查测量的准确性。在浑水的做空调查中，执行团队的不专业给调查带来了很大的麻烦。

“这次的领队，要负责的事情很多，其中还有核对业务。兼职需要每个小时把数据填进问卷里，数据导出来就有十二个小时的数据，由于很多兼职填错，给领队增添了非常多工作量……从调查的过程来看，我觉得领队是不太专业的”

燃财经工作室，公众号：燃财经

独家 | 做空报告参与者讲述：我们是这样调查瑞幸的

你的数据质量如何让老板和甲方满意？

最后，你还需要做一件非常重要的事情，那就是对调查进行全面的质量控制。

质量控制做不好，甲方会不满意，你的老板也会不满意。

“一开始实习生只需要数客流。大约两周后，雪湖去抽查，发现有一些数据和雪湖自己员工统计的情况不太一样，这导致雪湖很不满意。雪湖和久谦生气的沟通数次后，久谦就开始要求实习生在店内偷偷安装摄像头。”

燃财经工作室，公众号：燃财经

独家 | 做空报告参与者讲述：我们是这样调查瑞幸的

那么，如何对调查做较好的质量控制呢？

第一，你需要保证质量控制的覆盖面

保证每一位访员会受到核查，每一天的单店数据要核查，每一份数据中每一个指标的准确性也要核查，另外，因为一些原因失访的情形（调查中断；店员拒访；设备故障）也要重点控制；

第二，要按比例采取视频录音核查、电话核查和实地核查等多种核查手段

在大致核查了数据的基本情况后，利用定向随机核查抽取嫌疑较大的样本进行复核，发现问题之后要马上采取电话和实地核查的方式进行佐证。

根据“燃财经”披露的做空调查细节，其同样采取了访员位置信息核查，领队复核，实地抽检的方式保证数据质量。

做空调查是在“恰烂钱”么？

如果你真的要复制一次相同的做空调查，上述讨论中的任何一个环节出错，都会导致你对调查付出的巨大成本付之东流，而一份不严谨的做空调查无疑也无法令广大分析师和投资者信任。

说实话，如果你仔细阅读浑水报告中的实地调查部分，你会发现他们已经极力去做到客观和严谨，

但是我们仍然可以从浑水报告和媒体披露的细节中发现他们在调查日期确定，抽样设计，质量控制等环节出现出现的诸多问题，而这些问题其实都可以通过很好的调查设计和执行来一一解决。

其实，这也能从侧面说明为什么浑水报告在两个月前甫一发布时并没有对瑞幸造成伤筋动骨的影响，因为熟悉市场调查和社会调查的明眼人早已发现其中的种种漏洞。

但是浑水报告的价值在于其秉承着科学研究中的实证主义范式，真的去做了一次对瑞幸咖啡全国五千家门店的抽样调查，相较于只是去门店看看的审计师，只看媒体报道和财报数据的分析师，浑水报告又好太多了。

其实就社会科学领域而言，真正开启全国性的大型社会调查才不过20年的光景，但正是2003年的CGSS启动，2010年CFPS正式启动…才使得现在每年数以千计的实证社会科学研究得以发表，人们对社会才有了更加全面、客观的认识。

浑水报告推动了瑞幸“自爆”了22亿元的财务造假，推动了上市公司的自觉和整个市场的自省，也给做空公司带来了丰厚的收入，其实怎么看，都是百利而无一害。

“没有调查就没有发言权”，浑水报告之后，我们希望未来看到更好的、更科学的、更田野的市场调查，正如“互联网和娱乐怪盗团”在推文中呼吁的：

“接地气，去第一线，做真正的调研。”

参考文献

1.浑水公司发布的匿名报告：Luckin Coffee: Fraud + Fundamentally Broken Business

2.微信公众号，燃财经：独家 | 瑞幸咖啡22亿元造假大起底；

https://mp.weixin.qq.com/s/X8iiCOIYLnjDbkR8GwVhGw

3.B站，硬核的半佛仙人：【半佛】瑞幸咖啡是如何暴打资本主义的？；

https://www.bilibili.com/video/BV1T7411W7ca/?redirectFrom=h5

4. 微信公众号，互联网与娱乐怪盗团：浑水做空瑞幸咖啡成功，说明了我们这些“专业分析师”有多么无能；

https://mp.weixin.qq.com/s/IudinXFv-2ue2LBGY0yDEg

5. 微信公众号，燃财经：独家 | 做空报告参与者讲述：我们是这样调查瑞幸的；

https://mp.weixin.qq.com/s/jKAa9A9H8BWd58asvhlykA

6.极海：连锁品牌门店数据；

https://stores.geohey.com/workspace/

7.中国综合社会调查（CGSS）：第二期（2010-2019）抽样方案

8.中国综合社会调查（CGSS）：抽样框和样本抽取过程说明

9.中国家庭追踪调查（CFPS）技术报告系列：用户手册（第三版）

10.中国家庭追踪调查（CFPS）技术报告系列：中国家庭动态跟踪调查 2010 年基线调查执行报告

11. 中国家庭追踪调查（CFPS）技术报告系列：中国家庭动态跟踪调查 2010 年基线调查质量督导报告

12.谢宇、胡婧炜、张春泥. 2014.中国家庭追踪调查：理念与实践.社会：34(2)，pp.1-32.

本期撰稿&图文编辑

中国人民大学人口学研究生王中汉

本期责编

中国人民大学社会与人口学院副教授李婷

本期策划

中国人民大学社会与人口学院副教授李婷吕利丹

中国人民大学社会与人口学院讲师靳永爱

话题：