抖音指标体系是怎么长出来的
第 2 课 · 第一阶段 · 验证第一次体验

播放,不一定算看了

产品刚上线时,要先把「路过」与「真正开始使用」分开。否则数据很大,价值可能是空的。

接着上一课的问题,有人下载了以后,先看哪个数

手指一划,视频自己就放了

你现在打开抖音,手指往上一划。视频自己就开始放了。你没点播放键,你甚至还没看清这条是什么,它已经在放了。

这是抖音从第一天起就定下来的产品形态,全屏、高清、自动播放。张楠后来总结抖音崛起的四个关键词,第一个就是全屏高清。1我觉得这个设计是抖音体验的核心,但它同时也给数据埋了一个坑,而且是一个很大的坑。

坑就是,播放量这个数,不可信了。

你想想看,在以前的视频网站上,一次播放是用户主动点的,点了就说明他至少想看。但在全屏自动播放的产品里,用户划到下一条,后台就可能记一次播放。他可能只是路过,手指没停下来而已。

所以 2016 年底的抖音团队很快会撞上一个问题。播放量看着很漂亮,一天几百万几千万次,但这几千万次里,到底有多少是人真的在看,多少是手指划过去的时候顺便放了一下?裸播放量回答不了这个。

数字太容易虚胖,就给它加门槛

这是我想让你记住的,指标体系形成的第一条规律。当一个数字太容易虚胖,就给它加质量门槛。

加什么门槛呢。团队的做法是,不看播了没有,看播了以后发生了什么。于是就有了这几个数。

0 秒开始播放 2 秒之前划走 = 快速划走 门槛(比如 3 秒、5 秒)过了门槛 = 有效播放 看到结尾完播 平均播放时长 = 每次播放平均看了多久
一次播放从开始到结束,门槛把它切成几段。播放量只数「开始了几次」,后面这几个数才说这几次有没有质量。
有效播放率开始播了以后,看够一定时长或比例才算一次。不是屏幕上出现过,是用户真的停了一会儿。
快速划走率视频开始后极短时间内就被划走的比例。用户在用手指投票,这条明显不是我想看的。
平均播放时长每次播放平均看了多久。有质量的播放有多深。

这三个数放在一起,播放量就从一个数字变成了一张图。播放量告诉你机器放了多少次,有效播放和快速划走告诉你这些播放有没有质量,平均时长告诉你有质量的播放有多深。

现在每个抖音作者每天看的,还是这一套

现在你去抖音的创作者后台看自己作品的数据,能看到的也是这一套东西的后代,2 秒跳出率,5 秒完播率,完播率,平均播放时长。22 秒跳出率就是快速划走率的一个具体版本,5 秒完播率就是有效播放的一个具体版本。所以这一课讲的不是历史,是现在每个抖音作者每天都在看的数。

补丁自己又带来新的偏差

我再往前多推一步,这一步是我自己觉得最有意思的。你给播放加一个门槛,比如 3 秒,看够 3 秒算有效。听起来很合理对吧。但你想想,一条 5 秒的视频,看够 3 秒是看了 60%,一条 3 分钟的视频,看够 3 秒是看了不到 2%。同一个 3 秒门槛,对短视频和长视频是两套完全不同的标准。

动手试示意

同一个门槛,对长短视频不是一回事

拖门槛秒数,看同一个门槛对 5 秒视频和 3 分钟视频分别意味着「看了多少」。

1 秒5 秒10 秒15 秒
对 5 秒视频,等于要求看到
对 3 分钟视频,等于要求看到
同一个秒数门槛,换算成「看了多少比例」差几十倍。这个偏差会一直跟着短视频,直到第 7 课多目标推荐专门去纠它。
5 秒视频60%
60 秒视频5%
3 分钟视频1.7%

条的长度 = 门槛秒数占这条视频总长的比例。

也就是说,你刚给播放量打了一个补丁,补丁自己又带来一个新的偏差。这事还没完。这个偏差后面会一直跟着抖音,直到推荐系统变成多目标优化,直到快手和字节专门发论文去纠正它。3那是第 7 课的事。这里我只想让你先感受一下,指标这个东西,每修一个坑,就会在旁边挖出一个新的。这不是谁做得不好,这是指标体系的天性。

从门票,到真的尝到味道

回到 2016 年底这道门口。有了有效播放、快速划走、平均播放时长,团队终于能区分路过真正开始使用了。第 1 课说的那道门,下载的人有没有真正进入产品价值,现在可以量出来了。

10,000下载只是拿到门票示意
6,000打开走进产品
3,500有效观看第一次真的尝到味道

这组数是示意,不是抖音真实数据,但形状是对的,所有产品都长这样,每一层都在掉人。

你来判断

播放量上涨 20%,但快速划走率也明显上涨。能不能直接说产品变好了?

B。播放量是数量,有效播放和快速划走才告诉你这些播放有没有质量。播放量涨 20% 同时快速划走也涨,一个很可能的解释是,推荐给了用户更多他不想看的东西,他划得更快了,播放事件反而更多。数字更大,体验更差。这种事在自动播放的产品里太容易发生了。

这一课,自动播放让播放量不可信,于是给它加门槛,有效播放、快速划走、平均播放时长。这是指标体系的第一条规律,数字太容易虚胖就加质量门槛。而补丁自己又带来新偏差,同一个秒数门槛对长短视频是两套标准。每修一个坑,旁边就挖出一个新的。

这课认识的指标
播放量视频被触发播放的次数
播放量 = 所有播放事件次数
为什么看它它说明内容被机器播了多少次,不一定说明用户喜欢。
一秒划走也可能算一次播放。
搭配有效播放率、快速划走率
有效播放率开始播放后达到一定时长或比例的播放占比
有效播放率 = 达到门槛的播放 ÷ 开始播放
为什么看它比裸播放量更接近真实消费。
固定门槛对长短视频偏差完全不同。
搭配平均播放时长、按视频长度分组
快速划走率极短时间内被划走的比例
快速划走率 = 快速划走次数 ÷ 有效曝光次数
为什么看它推荐不匹配和首屏不吸引人的早期信号。
猎奇封面能让人暂时不划走,不代表长期满意。
搭配负反馈、长期留存
平均播放时长每次播放平均看了多久
为什么看它有质量的播放有多深。
天然偏爱长视频,第 5 课和第 7 课会讲怎么纠。

这一课的数字从哪来

  1. 张楠四关键词里的「全屏高清」:抖音如何迈过 500 万日活瓶颈期
  2. 抖音创作者后台可见 2 秒跳出率、5 秒完播率、完播率、平均播放时长,属公开可查的产品事实。
  3. 固定门槛对不同长度视频的偏差,快手 KDD 2022 D2Q 论文讨论的就是这个问题。
  4. 「2016 年底就因自动播放遇到播放量虚胖」是教学推断;10,000 / 6,000 / 3,500 是示意。

这课到这里,我们知道用户今天真的看了。那下一个问题就来了,而且是整个抖音早期最要命的那个问题。他明天还来吗?