1. 什么是定量分析?
你可以这样理解,假设你是一家电商公司的市场经理,想知道季节性因素对销量的影响有多大。通过定量分析,收集过去三年的月度销售数据,进行回归分析,得出季节性因子解释了70%的销量波动。结果不是猜测出来的,是根据数据规律得出的,使你能够准确地调整库存和促销计划。
定量分析和定性分析的区别,3秒分清
很多人分不清定量分析和定性分析。下面这个表格可以帮助你快速建立起认知框架:
核心区别:定量分析告诉你“是什么”和“有多少”,追求广度和客观;定性分析告诉你“为什么”和“怎么样”,追求深度和理解。在大多数实际项目中,两者结合使用效果最好,先用定量分析发现规模和趋势,再用定性分析深入探究原因。
定量分析的五个核心步骤:明确问题、设计研究、数据清洗、选择方法、结果解读
2. 定量分析的核心步骤
成功的定量分析不是一步到位的,它要经过一系列的过程。以下五个步骤构成一个完整的分析框架,每一个步骤都有它的关键点以及常见的陷阱。
步骤1:明确问题与假设
这是最容易被忽略但也是最重要的一步。你要把模糊的业务问题转化成可以量化的研究问题。例如:
- 模糊问题:怎样提高用户满意度?
- 可量化问题:用户满意度评分(1-10分)和“客服响应时间”存在负相关关系吗?
接着,建立假设。假设检验是定量分析的基础,它包括:
- 零假设(H0):一般表示没有差异或者没有关系。例如,客服响应时间和用户满意度评分无关。
- 备择假设(H1):与零假设相反,是你期望发现的差异或者关系。例如,客服响应时间和用户满意度评分呈负相关。
常见陷阱:问题定义太宽泛,造成后面分析失焦。不先确定成功的量化指标(转化率、留存率等),就直接分析产品是否成功是没有意义的。
步骤2:设计研究方案与数据收集
有了明确的问题之后,就要设计怎样收集数据。关键考虑因素有:
- 样本量:样本量过小,统计结果不稳定,不能发现真实的效应;样本量过大,会浪费资源,而且微小的差异在统计上显著但实际上没有意义。可以用统计功效分析工具(G*Power)来估计所需的样本量。
- 抽样方法:随机抽样是黄金标准,可以保证样本具有代表性。但是实际操作中经常使用便利抽样(从注册用户中随机抽取)。样本偏差属于常见的陷阱,只对主动反馈的用户数据进行分析,而忽略了沉默用户的意见,从而造成结论的片面性。
- 数据来源:可以是一手数据(问卷调查、实验数据等),也可以是二手数据(公开数据库、公司CRM系统等)。务必保证数据来源的可靠性、伦理合规,收集用户数据要得到知情同意。
真实的经验作者曾经帮助过一个电商客户预测季度销量。我们最初打算用它的内部销售数据,但是发现数据有很多缺失(历史促销活动数据没有记录)。我们不得不转向第三方数据平台,补充了季节性促销和宏观经济指标之后,模型的稳定性才得到了明显的提高。数据清洗以及质量控制属于这一阶段的无形杀手。
步骤3:数据清洗与预处理
这是最耗时但也是最致敬的一步,一般占分析时间的80%。原始数据中一般会存在以下情况:
- 缺失值:用户年龄没有填写。处理方法有删除(缺失率低的时候)、均值填充、模型预测填充。
- 异常值:一个月的销售额是100亿,这是不可能的,属于输入错误。处理方法有删除、截断(将超出3个标准差的值替换成边界值)、保留并分析其原因(真实异常值可能会揭示出重要的模式)。
- 重复数据:同一个用户多次提交问卷。需要去重。
- 格式不一致:日期格式有“2023-01-01”和“01/01/2023”两种。需要统一格式。
核心原则数据清洗方案要记录在案,并且要保持透明。在分析报告中注明“我们剔除了满意度评分小于0或者大于10的异常值(共5条,占0.1%)”。不能随意删除数据,尤其不能为了得到“理想”结果而删除不支持假设的数据点。
步骤4:选择分析方法
根据问题类型以及数据特点来选用恰当的统计方法。这一步将在下一节中详细说明,但是基本的原则是:
- 描述性分析:用来回答“是什么” (What)。
- 推断性分析:用来回答“是否有差异” (Is there a difference?) 或者“是否相关” (Is there a relationship?)。
- 预测性分析:用来回答“会怎样” (What will happen?)。
常见陷阱:选择与问题不匹配的方法。比较两个组的平均值时,如果使用t检验(适用于连续数据)来分析分类数据,或者使用卡方检验(适用于分类数据)来分析连续数据,就会出现错误。工具的选择要依据数据类型以及研究假设来定。
步骤5:结果解读与决策
这是最后一步,也是最需要批判性思维的一步。解读结果时,你需要:
- 理解统计显著性 vs 实际显著性:p值小于0.05说明结果在统计上是显著的,但不能直接等同于“重要”。A/B测试显示新版按钮点击率提高了0.1%(p<0.001),统计上是显著的,但是实际业务影响很小。因此,要同时关注效应量(如Cohen's d, R²),它衡量差异的实际大小。
- 验证假设:结果是否支持你的备择假设?如果支持,置信度有多高?如果不支持,是零假设为真,还是你的研究设计有问题?
- 提出决策建议:根据分析结果,给出具体的、可操作的业务建议。例如,“根据回归分析结果,建议把促销折扣力度从10%提高到20%,预计可以带来15%的销量增长(R²=0.85的模型预测),但是需要成本核算来验证。”
3. 定量分析的主要方法
定量分析方法虽然很多,但是大体上可以分为四类。以下通过对比帮你理解它们的区别与适用场景。
比较描述性统计、推断性统计、回归分析、时间序列分析四种方法
描述性统计详解
描述性统计是定量分析的第一步,它的目的就是对数据的基本特征进行总结和描述,使你对数据有一个大致的了解。
- 集中趋势指标:告诉你数据的“中心”在哪里。
- 均值 (Mean):算术平均数,对所有数据敏感。缺陷:易受极端值影响。例如,一个公司员工年薪中,CEO年薪1000万,普通员工年薪10万,均值会被拉到很高,不能反映普通员工收入。
- 中位数 (Median):排序后的中间值,不受极端值影响。在上例中,中位数能更准确地反映员工收入的中等水平。
- 众数 (Mode):出现次数最多的值。适用于分类数据,如“最常见的购买产品是牙膏”。
- 离散程度指标:告诉你数据的“分散”程度。
- 标准差 (Standard Deviation):衡量数据点与均值的平均偏离程度。标准差越大,数据越分散。例如,两个班级平均分都是80分,但是一个班标准差是5,另一个是15,说明后者成绩差异更大,学习效果参差不齐。
- 方差 (Variance):标准差的平方,单位不直观,但是数学上更容易处理。
- 极差 (Range):最大值减最小值,最简单但容易受极端值影响。
你可以这样理解:描述性统计就像给你一张数据的“快照”,告诉你数据的大致模样。但它不能回答为什么这样或者样本结果能否推广到总体。
推断性统计详解
推断性统计的核心就是用样本数据推断总体特征,是定量分析的精髓。它从有限的数据中得出有统计意义的结论。
- 假设检验的流程:
- 设定原假设(H0)和备择假设(H1)。
- 选择检验统计量(如t值、F值)和显著性水平(通常α=0.05)。
- 计算p值:在零假设为真的前提下,观测到当前样本结果(或更极端结果)的概率。
- 做出决策:如果p值<α,则拒绝H0,认为结果在统计上显著;否则,不能拒绝H0。
- 常见检验方法:
- t检验:用来比较两组数据的均值是否有明显差别。检验A/B测试中,新版本和旧版本的转化率均值是否有显著差异。
- 卡方检验:用来分析两个分类变量是否独立。分析性别和购买品牌偏好是否独立。
- 方差分析 (ANOVA):用来比较两组以上数据的均值差异。比较三种不同的广告文案所带来的销售额均值是否有所不同。
关键概念:
- p值:p值并不是“H0为真的概率”,它只是在H0成立的情况下,你所看到的结果的概率。一个常见的误解是p<0.05就认为我们有95%的把握否定H0,其实不是这样的。更准确地说,如果p<0.05,则拒绝H0,但是仍然有5%的可能性犯第一类错误(假阳性)。
- 置信区间 (Confidence Interval):更直观地告诉你总体参数可能落在哪个区间。例如,95%的置信区间为[0.15, 0.25],表示有95%的信心认为总体均值落在这个区间内。置信区间比p值提供更丰富的信息,因为它同时给出了效应大小和不确定性。
回归分析:变量关系建模
回归分析用来研究一个或者多个自变量(X)和一个因变量(Y)之间的关系,经常被用来进行预测和解释。
- 线性回归:假设Y与X呈线性关系。公式为:Y = a + bX + ε。b是回归系数,表示X每变化一个单位,Y平均变化多少。
- 多元回归:引入多个自变量。预测房价时,同时考虑面积、房龄、地段等多个因素。
- 拟合优度(R²):衡量模型解释Y变异的能力,范围0-1。R²=0.85意味着模型解释了85%的Y的波动,剩余15%由其他因素或随机误差解释。
真实案例:市场分析师小王用Python对某电商平台10万条用户购买记录做回归分析。他把折扣力度当作自变量,销量当作因变量,控制商品类别、节日效应等变量。结果发现,折扣力度与销量呈正相关(R²=0.85,p<0.001),即折扣力度每增加10%,销量平均提升12%。本分析所用到的原始数据来源于公司内部CRM系统,对数据进行清洗以及异常值处理(剔除双十一期间由于促销造成销量异常高的极端值)。因此小王团队把日常折扣从5%提高到10%,季度营收因此提高12%。
常见陷阱:相关性不等于因果关系。冰淇淋销量和溺水事件呈正相关,但这并不表示吃冰淇淋会导致溺水,而是由于夏季高温使得两者同时增加(混淆变量“温度”)。回归分析只能发现相关性,要建立因果关系就要用随机对照实验(RCT)。
时间序列分析:趋势预测
时间序列分析主要用来处理随时间变化的数据,例如股票价格、每天的气温、季度的销量等。核心就是找出数据中存在的趋势、季节性、周期性。
- 常见方法:ARIMA模型、指数平滑法、Prophet模型。
- 应用场景:预测未来销量、需求预测、经济指标预测。
你可以这样理解:描述性统计是“照片”,推断性统计是“显微镜”,回归分析是“望远镜”,时间序列分析就是“时钟”,专门用来观察和预测时间的规律。
4. 定量分析的应用场景
定量分析不是书斋里的理论,它在各个领域中都有广泛的应用,并且可以解决实际问题。
定量分析在商业、科研、金融、社科四大领域的应用示例
商业领域
- 市场调研:采用问卷调查的方式获取用户的评分数据,用描述性统计来了解用户的满意程度,用t检验来比较不同用户群体(新老用户)之间的满意程度差异。定量分析可以告诉你有多少用户喜欢这个功能,给产品的更新提供数据支持。
- 销售预测:根据历史销售数据(时间序列分析)或者考虑促销、季节等因素(回归分析)来预测未来的销量,从而改善库存及供应链管理。
- 用户行为分析:对用户的点击流、购买记录等数据进行分析,找出用户的行为模式(例如购买A产品的用户80%也会购买B产品),并将其应用于推荐系统以及精准营销当中。
科学研究
- 实验数据分析:在医学、心理学等领域随机对照实验中,用t检验或者方差分析来比较实验组和对照组之间的差异,从而检验药物或者干预措施是否有效。
- 流行病学调查:对大量人群的健康数据进行分析,用回归分析来研究吸烟、饮食等因素与疾病发生率之间的关系。根据统计年鉴2023年的数据,用回归分析得出城市居民中运动频率和慢性病患病率有显著的负相关关系(β=-0.23,p<0.01)。
金融领域
- 风险评估:利用历史交易数据,采用回归分析或者时间序列模型来预测贷款违约概率、股票价格波动率,从而帮助金融机构管理风险。
- 投资组合优化:利用马科维茨模型来量度不同资产的风险与收益,再经由数学上的优化来找出最佳的投资组合权重。
社会科学
- 问卷调查:对大规模问卷调查数据进行分析,用卡方检验来检验不同群体(不同教育水平等)在政治倾向上是否存在差异,或者用回归分析来探究影响社会信任的因素。
- 政策评估:比较政策实施前后(“双减”政策等)关键指标(学生学业负担、课外辅导参与率等)的变化,用时间序列分析或者双重差分法(DID)来评价政策效果。
5. 定量分析的常见误区与注意事项
虽然定量分析具有很强的功能,但是误用会造成荒谬甚至有害的结果。以下是常见的误区及应对策略。
1. 相关性不等于因果关系
误区:看到两个变量显著相关,就认为一个导致另一个。
应对:
- 思考混淆变量:是否存在一个变量同时影响两者?例如,教育水平与收入正相关,但“智力”或“家庭背景”可能是混淆变量。
- 进行实验:随机对照实验(RCT)是建立因果关系的金标准,因为它能控制混淆变量。如果不能做实验,使用工具变量法或者倾向得分匹配等统计方法,但是仍然要谨慎。
2. 样本偏差与代表性
误区:样本不能代表总体,但是分析结果被错误地推广。
应对:
- 检查抽样方法:是否随机?是否漏掉了某些群体?在线问卷(便利抽样)会漏掉不上网的人群。
- 报告样本特征:在分析报告中,对样本的人口学特征以及抽样过程进行明确的描述,使读者可以判断出样本是否具有代表性。
- 进行敏感性分析:如果样本存在偏差,可以采用权重调整的方法,也可以对不同的子群体进行分析,从而得到不同的结果。
3. 过度依赖p值,忽略效应量
误区:只看p值是否小于0.05,忽视效应量(如Cohen's d, R²)。
应对:
- 报告效应量:总是同时报告p值和效应量。例如,“新版本转化率显著高于旧版本(t(197)=3.12, p=0.002, Cohen's d=0.45)”,其中d=0.45表示中等效应。
- 关注实际意义:p值告诉你“是否显著”,效应量告诉你“多显著”。一个统计显著但效应量极小的结果,可能没有实际业务价值。
4. 数据清洗与噪音处理
误区:不清洗数据,直接分析;或者过度清洗数据,造成有用信息的损失。
应对:
- 建立清洗规则并记录:对异常值做出明确的定义,即超过3个标准差的数值为异常值,并对清洗过程进行记录。
- 进行稳健性检验:清洗之后,对清洗前后的数据进行对比分析,看结果是否稳定。如果结果对清洗方案很敏感,那么数据质量就存在问题,应该谨慎地进行解释。
- 保留原始数据:永远不要覆盖原始数据。清洗后的数据应另存为新文件,以便追溯和验证。
5. 忽视上下文与定性分析
误区:只依靠定量分析,忽略业务背景、用户情感、政策环境等非量化的因素。
应对:
- 结合定性分析:定量分析可以告诉你“是什么”和“有多少”,但是不能回答“为什么”。用户满意度评分下降(定量),但是原因是什么呢?需要通过访谈用户(定性)来探究是“价格问题”、“质量下降”还是“竞争对手影响”。
- 建立反馈循环:定量分析的结果应该被看作是假设,和业务团队、用户一起讨论来验证它是否合理。最好的分析是定量与定性协同工作。
常见问题
共 3 个问题,点击展开查看专业解答
回答:定量分析侧重数值数据与统计方法,追求客观、可量化的结论,回答“是什么”和“有多少”的问题,如“有多少用户喜欢这个功能”、“满意度评分平均是多少”。定性分析侧重非数值数据如文本、访谈,探索深层原因与意义,回答“为什么”和“怎么样”的问题,如“用户为什么喜欢这个功能”、“他们有什么样的感受”。两者常结合使用,定量分析提供规模与趋势,定性分析提供深度与理解。
回答:典型步骤包括:1. 明确研究问题与假设:将模糊问题转化为可量化的假设。2. 设计方案与数据收集:确定样本量、抽样方法,收集数据。3. 数据清洗与整理:处理缺失值、异常值、重复数据。4. 选择分析方法:根据问题类型选择描述性统计、推断性统计、回归分析等。5. 分析结果并解释:计算统计量,解读p值、效应量、置信区间。6. 撰写报告与决策建议:基于分析结果提出可操作的业务建议。
回答:常用的方法有:描述性统计(均值、中位数、标准差,用来概括数据);推断性统计(t检验、卡方检验、方差分析,用来进行假设检验);相关分析与回归分析(线性回归、多元回归,用来建立变量之间的关系模型并进行预测);时间序列分析(ARIMA模型,用来进行趋势预测)。初学者应该从描述性统计、t检验入手,逐步学习更复杂的方法。
总结:定量分析是数据世界里的精密仪器,它能从纷繁的数据中找出规律,也能预测未来。但是它仅仅是工具,并不是万能的药。方法的选择、数据的质量、解读的批判性,再加上最终与定性分析、业务经验相结合,才能决定分析的价值。下一次面对数据的时候,先问问自己:“我到底想回答什么问题?我应该用哪种方法?我的结论有多大的把握?” 掌握了这些原则,你就可以成为一名真正的分析师,而不是一个数据的搬运工。