数据分析误区:AB测试=简单对照?NO!正确打开方式应该是这样

摘要:北京时间20200407关于【数据分析误区:AB测试=简单对照?NO!正确打开方式应该是这样】的具体情况和说明,让www.hajy.net.cn新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

那么,当我们做一个实验时,判断feature是否有用,我们的思路是这样的:

当我有足够大的样本量,把用户分成两组。A组(对照组)和B组(实验组)。由于样本量充足,理论上来说,A组和B组的各项原始指标表现应当是差不多的。

也就是说,AB实验告诉我,显著了!指标显著发生了变化!!!喜大普奔!!!这个时候,我们仍然是有可能犯错的。可能我们的样本指标就是落在了那个5%的区间里。

你可能会想,完犊子了。那我们这还咋评估啊。

但是!!!!虽然我们不敢说100%数据就一定会像表现的那样涨,我们可以给出,“实际没涨,AB实验看起来涨了”的犯错概率。这个过程,就是将“不确定性”进行“量化”的过程。一般如果给定P值0.05,AB实验看起来显著的涨了,但实际没涨,犯这种错误的概率是5%。

总而言之,我们不可能“准确”的预估产品feature上线后的表现,但是它能将“不可预知”的风险,转换为“可以量化”其“不确定性”的问题。

当你看到指标不显著时,是真的不显著吗?

结论:不一定真的不显著。

原因:犯了第二类错误!(常说的beta错误)

嗯嗯嗯又来了,看到不显著,也不一定是真的不显著……

那这又是为什么呢?我们会可能犯第二类错误:其实策略有效,只是没有被检测出来。

这种错误的概率被记为β。而统计功效(power,也被称为检验效力),被定义为1-β,表示的是“假设我的新策略是有效的,我有多大概率在实验中检测出来”。

什么意思呢?让我们画图来看,右边这个红色曲线是实验组,左边这个蓝色曲线是对照组。大家可以知道的是,如果我实验组取的样本落在了图中蓝色涂满的这部分,其实是应该拒绝原假设的!!但是由于它不在蓝色曲线的拒绝域里,所以我们接受了它。这就是第二类错误了。第二类错误的概率取决于两个曲线的分布情况。

一个合适的AB实验指标判断怎么给出?

这里有个简单的流程。

当我们判断一个指标是否显著时,先看P值。能得到显著与否的结论,但是要注意仍然有概率犯错。

当我们判断一个指标不显著、实验没效果时,要注意是否会存在流量不够的问题,造成了实际有效果,但没被检验出来的可能性。(不过一般来说,开始实验前最好就评估好样本量的问题)

AB实验相关的面试常见问题

1.怎么降低犯第一类错误的概率?

把p值限定得越小,犯第一类错误的概率就越低。因为P值本来就是犯第一类错误的概率……

2.怎么降低犯第二类错误的概率?

降低犯第二类错误的概率,换言之就是提升统计功效。

这个部分和我们置信度(1-p值)、样本量都有关系。

首先,如果我们降低置信度,可以提升统计功效。比如说不需要p值<0.05就认为显著了,我们认为p值<0.1就显著。那么红色的部分会往更中间集中,相对应,蓝色的部分会变小。

不过这种方式的缺点在于,我们犯第一类错误的概率就会变大。

其次,可以提升样本量,使我们的正态分布钟型变更尖,让犯第二类错误的概率变小。

3.怎么确定样本量?

样本量和我们的统计功效息息相关。怎么根据我们希望的统计功效,来反过来推算实验所需的样本量呢?

输入 :

1、指标的base值和两组指标的差异(比如说,现在对照组留存是60%,认为提升到61%才是有意义的,差异就是0.01)

2、指标方差。如一个实验组的指标如阅读数的方差,可用历史数据估算。

3、t检验的显著性水平,默认0.05

4、统计功效,一般取80%,可以调整。

输出:

单个实验组的样本量。

这个部分的公式推导就不展开了(公式推导是我的弱项…),python中提供了相应的计算包,可以去实验一下,感兴趣的也可以自己研究背后的计算函数、原理。

python statsmodels里计算样本量的包

4.产品要求开AABB实验,我听不听?

听你个大头鬼哦。

首先,不科学。抽样产生的误差本身就已经在我们的计算概率里了!为啥还要专门开4组实验对比?

其次,不聪明。多样本进行对比更可能犯错。比如说,一次抽样有5%的可能犯错,四次抽样,产生6组对比(A1A2,A1B1,A1B2,A2B1,A2B2,B1B2),一组对比时不犯错的概率95%,‍假设各组对比结果相互独立,至少一组犯错的概率[ 1 -(1-0.05)^6 ] =0.265,远大于0.05。多来几次抽样,犯错的概率增加。更别提评估成本了——本来只用评估两组,现在需要看6组。

最后,不好使。AABB实验可能会影响实验的灵敏度。流量不变则意味着各组样本流量减少一半,灵敏度下降;加大流量则更多用户进组,有可能引入风险。因此不管怎么说都是加大成本的。

5. 实验做了有效果,上线没有效果是怎么回事?

有可能犯第一类错误。你看到的显著可能不是真的,只是抽样的随机误差带来的~~~

文源:知乎作者 无眠


查看更多
亚洲高清aⅴ视频国产_男人到天堂去a线2019|交换旅行之大杂交章节目录 - 交换旅行之大杂交HCKC小说网|交片欧美肥老太牲交视频|亲兄热弟-电视剧全集-高清完整版-免费在线观看-新视觉|亲胸揉胸膜下刺激视频|人与动物_2019国产最新视频在线观看|人人影视,80电影天堂,琪琪电影网,窝窝影院,80s电影网|人人碰碰视频97资源站_CaoPorn超碰免费_人人,人人碰,人人爱|人体艺术-小草在线观看视频播放|人兽杂交_HD1280高清中字版_在线观看_爱下电影网|人妖欧美HD高清秒播_免费高清在线播放-123电影网|人妻之和服诱惑在线观看,日本三级片-香港经典三级|人妻系列,美妙人妻个系列,作者青涩春天(已完本)-青春|人成午夜免费视频高清在线观看-日韩片|人教版九年级英语单词朗读视频在线播放_免费人教版九|人狗视频能看到吗男生把女朋友日出水了|人碰人碰人成免费视频播放_伊人大杳蕉中文在播放_体内|人肉腊肠BD高清_免费高清在线播放-123电影网|人鬼交易所 人鬼交易所1在哪能看-小说网-去看书啦|今夜星辰似你全文免费阅读 今夜星辰似你最新章节-小说网-去看书啦|

实时推荐

索帅确定清洗曼联三人,转会市道迫使红魔降价!能都卖掉就是成功
推荐 2020-06-04 16:07 384 4324
曼联买马蒂奇接班人受阻!分期付款被拒,对方缺钱要求3000万首付
推荐 2020-06-04 16:07 910 6231
滁州市市场监管局开展医疗美容用药械安全专项检查
推荐 2020-06-04 16:07 249 6972
白粥养胃?小心越喝越伤!竟然又被骗了好多年
推荐 2020-06-04 16:07 496 7516
漳州开发区:爱心直播 助农增收
推荐 2020-06-04 16:07 220 3129
金箍棒密码:孙悟空大闹水晶宫,或藏龙族一场鲜为人知战争?
推荐 2020-06-04 16:07 678 4081
LOL官推再次将头像更换为Uzi夺冠捧杯图,网友:这就是牌面
推荐 2020-06-04 16:07 585 7207
街拍:曲线曼妙的小姐姐,穿搭打底裤,很显年轻!
推荐 2020-06-04 16:07 931 4413
孩子开学前做好这6件事,打败假期综合症,带着良好的状态去上学
推荐 2020-06-04 16:07 600 5874
把不可能变为可能!浙一专家助力义医,共创生命奇迹!
推荐 2020-06-04 16:07 974 9484
早期结肠癌难察觉?身体这5个“红色信号”,或许早已告诉你
推荐 2020-06-04 16:07 650 4548
冷门中大型豪华车推荐,30万就能入手,还买什么C级3系
推荐 2020-06-04 16:07 162 3613
郑伟:以保促稳,留得青山赢未来
推荐 2020-06-04 16:07 999 3882
媒体人表示:40强赛国足的三个主场比赛都在沈阳市进行
推荐 2020-06-04 16:07 844 2873
餐厅太普通没意思,试试超有情调的卡座,谁装谁好看,还不占位置
推荐 2020-06-04 16:06 980 1458
哥伦比亚女婴昏迷38天后战胜新冠病毒,医生:简直是奇迹降临
推荐 2020-06-04 16:06 731 9730
单场30篮板有多难?罗德曼5次,现役只有两位球员做到
推荐 2020-06-04 16:06 522 4217
李世民始终提防着一位功臣,临终前对太子说:他不走就处死
推荐 2020-06-04 16:06 790 6541
莫拉蒂:下赛季国际米兰能否争冠要看能不能留下劳塔罗
推荐 2020-06-04 16:06 683 1495
这车是真牛!销量排行老二,起步10万,第一是它的梦想
推荐 2020-06-04 16:06 239 9006
柳岩评价郑爽:一个天马行空的女孩,想做什么立刻就行动
推荐 2020-06-04 16:06 236 1730
【全警实战大练兵】和政县公安局开展全警实战大练兵野外拉练
推荐 2020-06-04 16:06 698 6405
戴尔G3和外星人元素强强联合 体验游戏中的洒脱肆意
推荐 2020-06-04 16:06 670 3867
《嘉人本色》定档0605,范薇校园风清新来袭
推荐 2020-06-04 16:06 110 8234
B费:博格巴是世界最佳之一,能跟他搭档会非常棒
推荐 2020-06-04 16:06 976 3264
米体:伊瓜因和萨里约定好,先专心踢完剩余比赛再谈未来
推荐 2020-06-04 16:06 961 9885
夏季带饭如何安全又营养
推荐 2020-06-04 16:06 844 1586
虞书欣有多宠粉?粉丝发微博思念她,点赞后立马分享库存照!
推荐 2020-06-04 16:06 922 5862
昆山·碧江打造东西部协作扶贫“教育”样本
推荐 2020-06-04 16:06 442 9424
昆山·碧江:探索蓝莓产业联动新模式 助力脱贫攻坚
推荐 2020-06-04 16:06 642 8277
2比3!U16国少以小打大虽败犹荣,名记:对手年龄还大五岁
推荐 2020-06-04 16:06 129 5702
爱干净的三位生肖女,看不得家里乱七八糟,天天打扫卫生
推荐 2020-06-04 16:06 617 5900
原创 转型金融科技怎么走?多家上市公司业绩亏损,大股东套现离场
推荐 2020-06-04 16:06 298 7459
说到做到,古天乐为香港艺人发放援助金
推荐 2020-06-04 16:05 510 8082
抚顺:8890热线“群众难题我来答”活动办实事、见实效
推荐 2020-06-04 16:05 146 6652
邮储银行景德镇市分行:让党建工作和业务发展同频共振
推荐 2020-06-04 16:05 699 9932
王德佳在“双凌协同”工程推进调度会上强调 将“双凌协同”发展示范区建成协同发展区改革创新区
推荐 2020-06-04 16:05 953 7374
云南省启动2020年环境司法保护宣传周活动
推荐 2020-06-04 16:05 177 4528
出道一年就出这样的事?看来是凉凉了
推荐 2020-06-04 16:05 880 7819
抚顺市城乡结合部环境综合整治会战打响
推荐 2020-06-04 16:05 451 5148
黄金联赛战队赛RW巡礼:从荆棘中走出的王者
推荐 2020-06-04 16:05 160 7093
两大悍将全面对比:罗德曼更像嘴强王者,格林才是真正硬汉
推荐 2020-06-04 16:05 913 2068
寻仙觅妖奇遇式卡牌手游,挑战升级!全新装备助战全新副本
推荐 2020-06-04 16:05 961 4659
街拍:曲线曼妙的小姐姐,穿搭打底裤,风采迷人!
推荐 2020-06-04 16:05 708 500
关羽3个跟班不简单,一人力敌赵云,一人平庞德,一人成千年谚语
推荐 2020-06-04 16:05 852 2037
嫌说话声大!芜湖一男子上网时将朋友打倒在地
推荐 2020-06-04 16:05 759 1471
孝感“网红街”,记者打卡实录
推荐 2020-06-04 16:05 215 4472
不敢认这是林青霞“女儿”,才17岁拿长袜当裤穿,腿长得我崩溃
推荐 2020-06-04 16:05 973 640
最惨烈的抢七!满身伤病轰44+6+7 35岁老汉19篮板7帽
推荐 2020-06-04 16:05 699 2918
没有第二次机会!官方回应《Valorant》封测作弊玩家质疑
推荐 2020-06-04 16:05 704 6773
《我们的乐队》第十一期即将播出 谢霆锋为乐队排练严格把关
推荐 2020-06-04 16:05 946 5505
​《机智的医生生活》摘得电视剧话题性1位!出演者话题性1位田美都
推荐 2020-06-04 16:05 727 2915
一吹空调就鼻炎发作,鼻炎发作怎么控制?
推荐 2020-06-04 16:05 265 4444
库里夫妇下跪抗议,汤普森也来了,詹姆斯炮轰巨星
推荐 2020-06-04 16:05 532 1981
晋武帝司马炎,大一统王朝最弱的开国之君
推荐 2020-06-04 16:05 491 8918
6月22日—7月5日鞍山市将举行退役军人网络招聘会
推荐 2020-06-04 16:05 281 856
辽阳市部署第七次人口普查市级综合试点工作
推荐 2020-06-04 16:05 428 599
遂平县常庄镇全面开展住房安全隐患再排查再整治专项行动
推荐 2020-06-04 16:05 730 4171
辽阳北方国际康养小镇项目成功签约
推荐 2020-06-04 16:05 669 2148
大连海事局完成国家溢油应急设备库大型设备搭载
推荐 2020-06-04 16:05 247 8199
王一兵出席辽阳市通信管理办公室揭牌仪式
推荐 2020-06-04 16:05 446 5746
下一套房子装修,橱柜就照这样打,布局尺寸这么详细,不信不好用
推荐 2020-06-04 16:05 143 1909
辽阳市积极培育市场主体发展新优势
推荐 2020-06-04 16:05 248 2234
明朝最耿直的大臣,因说话太大声惹怒皇帝,被活埋七天七夜不死
推荐 2020-06-04 16:05 303 9825
不踢球也吸金!C罗疫情期收入188万排行运动员第一 梅西紧随其后
推荐 2020-06-04 16:05 483 2627
辽阳市召开创建国家森林城市工作推进会
推荐 2020-06-04 16:05 848 7580
王一兵出席辽阳智慧城市运营有限公司挂牌仪式
推荐 2020-06-04 16:05 367 8004
北镇市加速推进市场主体注册登记规范化便利化
推荐 2020-06-04 16:05 210 4323
辽阳市召开中小学校、幼儿园推进 “厕所革命”和提高学前教育公办率工作会议
推荐 2020-06-04 16:05 987 1092
中船应急与澳大利亚UPB公司 “云签约”12座装配式公路钢桥
推荐 2020-06-04 16:05 966 2668
全球战“疫”,上海这条有创呼吸机产线亮了!来看视频→
推荐 2020-06-04 16:05 550 7940
青春落幕!卡特正式告别NBA,四大分卫结局真是太唏嘘了!
推荐 2020-06-04 16:05 406 7662
5G呼唤高刷新率OLED 三星显示获两项SGS认证
推荐 2020-06-04 16:05 180 4059
地摊儿经济复活,实拍西安景区的地摊美食,都是人间烟火的味道
推荐 2020-06-04 16:05 950 3287
大连市2020年中考工作安排发布
推荐 2020-06-04 16:05 769 859
列车长细致服务,助旅客平安归家
推荐 2020-06-04 16:04 457 1756
和平精英:伏地魔最爱的四把枪,用它们阴人,防不胜防!
推荐 2020-06-04 16:04 969 9200
龙井市1500名教师接受核酸检测
推荐 2020-06-04 16:04 253 3622
老婆穿连衣裙+高跟鞋,比运动套装洋气时尚,一下子年轻了好几岁
推荐 2020-06-04 16:04 201 6316
realme X3参数再曝光 或取消变焦版的60倍变焦能力
推荐 2020-06-04 16:04 955 926
蹲一会儿,站起头晕,就是贫血?这个伪常识骗了很多人
推荐 2020-06-04 16:04 227 1964
210㎡现代前卫风|建筑中的光与影
推荐 2020-06-04 16:04 949 7154
滕州龙泉街道“四部曲”做好人大工作
推荐 2020-06-04 16:04 509 6200
薛岳要枪毙桂永清,一看他的老丈人,只好把龙慕韩枪毙了
推荐 2020-06-04 16:04 848 7485
价格战已经拉响警报 逆境之下经销商求变破局
推荐 2020-06-04 16:04 883 3187
普陀区:“学做结合”让“四史”学习接地气、入人心-区域频道-东方网
推荐 2020-06-04 16:04 659 1666
出征!钻石永流传,39岁阿根廷妖星书写传奇!即将第五次征战奥运
推荐 2020-06-04 16:04 991 604
经常失眠很伤身!营养师建议,每天做好这些,沾枕就入睡
推荐 2020-06-04 16:04 885 3939
“餐前服”与“空腹服”有区别吗?
推荐 2020-06-04 16:04 888 4312
预算十多万想买合资轿车,选哪款合适?看看这3款
推荐 2020-06-04 16:04 829 9182
藏不住了!今夏,这个赏花秘境将成栾川最火网红打卡地
推荐 2020-06-04 16:04 298 1910
原创 星座日运(6月5日),金牛座头疼,射手座奔波,天秤座别拖延
推荐 2020-06-04 16:04 697 8708
李荣浩、董子健零点准时为自家老婆庆生,网友连吃两波狗粮
推荐 2020-06-04 16:04 928 1254
喜欢的选手退役了,致游戏玩家:那些人,那些事
推荐 2020-06-04 16:04 636 8382
遇见夏天 清爽夏日——惠济区杜庄小学开展教师活动
推荐 2020-06-04 16:04 679 904
滑膜炎的一些小禁忌,别不当回事
推荐 2020-06-04 16:04 853 5958
《陈情令》播出一年后,主演现状差异大,肖战并不是最艰难的那个
推荐 2020-06-04 16:04 747 800
大势爱豆纷纷转行?女娃金童“入职”人生株式会社 体验别样人生
推荐 2020-06-04 16:04 913 6965
全昭旻《RM》消失2个月回来了!一开口全场沉默2秒:她没变
推荐 2020-06-04 16:04 603 7155
未来你好!九句话给特别的毕业季
推荐 2020-06-04 16:04 295 2788