何谓大数据
什么是大数据?在大多数人理解中，是企业用数据来优化自己的流程、产品以及决策，让运营变得更有效。但我认为，这还不能涵盖大数据范畴。
事实上，大数据是一个包含了技术和商业两个层面的综合性的概念。
一方面是技术层面的。在技术层面，数据并不是一个新鲜的概念，从计算机诞生的那一刻起就伴随着数据的产生，但是在那个时候并没有大数据的概念。一直以来，要进行海量的数据存储、高效的数据计算，都需要有非常强大的计算机来支撑，而动辄百万美元计价的大型机的硬件成本和每月数万美元的维护成本并不是每一个企业都能够承担的。在高昂的成本面前，数据的使用成为了企业的一种“奢侈品”，并没有得到很大的普及。最近几年来，技术在不断地进步和发展，类似于Hadoop这样的分布式存储和计算系统的出现，大大提高了数据存储和计算的效率，使海量数据应用于商业变成了可能。大数据的概念也开始被越来越多的人关注。
另一方面是商业层面的。对于商业而言，最重要的是能够让企业通过数据获得更多的收益。传统意义上的数据是面向业务的，对于每一条业务线来说都会有数据的积累，相信很多企业已经在这方面做得很好了，可以说“量”已经足够了。如果连“量”这方面都没有做好，那我觉得有必要先去修炼一下内功，毕竟数据不是一天就能建成的。而能够让商业产生更大价值甚至颠覆性创新的则是多样性的数据。这个多样性是指能够将多种数据连接在一起看，通过彼此之间的关联和互动让数据产生商业的价值。比如最近一段时间流感比较严重，谷歌公司的“流感趋势”预测模型就受到了很多人的关注。作为一家互联网公司，谷歌是如何知道流感趋势的呢?它的核心价值就在于大数据的应用。谷歌通过分析发现，在流感的不同阶段，某些与流感有关的药品、症状的关键词会表现出不同数量和特征，谷歌正是通过这种多样性数据的关联来发现了数据价值。
对于企业来说，良好的指标体系可以增加企业可预见的范围。通常情况下，数据可以通过是否正向作用、是否可预见两个维度归纳成四个类别(见图1)。对于企业而言，那些具有正向作用且可预见的数据通常作为运营指标进行关注，而那些具有反向作用且可预见的数据通常作为风险来规避，这都是需要先修炼好的内功。但是除了图右边可预见的数据之外，还有大量的不可预见的数据。例如双十一，淘宝的目标是单天销售100亿，结果却实现了191亿，那么91亿便是不可预见的惊喜。对于我们来说，我们需要把不可预见的变成可预见的，也就是把惊喜变成可预见的，让它发挥更大的价值，把悲剧变成可预见的，最大可能地减少它。
缩小未知世界
如果说上述都是对大数据定义的解释，那么下面用一张图更清楚地展现企业与数据的关系。
如图2所示，横坐标上方的是企业内部数据，包括财务数据、运营数据、市场数据这类公司的结构型数据，以及WA和MA，即网站的分析数据和移动应用数据;下方是企业外部数据，包括百度、SNS的社会数据，和comScore、Hitwise、艾瑞这类的第三方数据，这些往往是竞争对手的数据。
事实上，这四类数据都没有得到电商企业足够的重视。
大多数有传统商业背景的电商企业，对网站分析数据都不太专注。但往往它们一旦能用上网站分析数据，会大大改变自己内部的数据。
例如，一个消费者看了但不买，没有产生消费，所以这组数据不可能出现在企业的经营数据中，绝对是网站分析数据。换而言之，如果要知道企业未来的机会，起码可以把那些看了不买的消费者转变成客户，如果能转化20%，你的市场会增加多少?
在这种情况下，如果你无法解释市场份额增加的原因，那么这个就属于“惊喜”;但当你看懂数据，当“惊喜”变得更加确定并做出相应的调整，不可知的东西慢慢变小，公司也会越来越聪明(Data smart)。
相比较对未知“惊喜”的探索，对未知风险的警惕显得更为重要。
当竞争数据化，不再是去看对手做了什么事，而是从那些“微声音”中感受危机，例如，以前A公司的消费者，有10%是先去B公司看看后再来A公司的，现在这个比例变成了30%，说明B公司的影响力比以前大，一旦B公司策略有变化，对于A公司便是危险。
所以，需要用一些非结构化的数据不断补充，这就是大数据的范畴。
除此之外，SNS、百度这类的社会数据也是很大一块非结构化的数据。这些社会数据不单只是用来评价公司口碑的好坏，同样能帮助公司进行一些决策，只是一直没有找到这个连接点。
表面上，这套框架已经很全面，但是尽管第五个元素没有加入，可运营的能力还是极低。所谓的第五元素便是人，当不同的用户群走进去后，整套框架立刻变得千变万化。
在蛛丝马迹中找数据
在商业环境中的企业，究竟应该收集什么数据，哪些数据对企业重要，这个数据究竟是社会数据、竞争数据、交互数据还是经营数据，这些都需要思考。
事实上，不少公司在收集数据上存在问题。
如果早上8点你在A路上，觉得特别堵，怎么解释那条路那天特别堵呢?必须收集与A路相邻相交的各条路的情况，如果这些周边数据不收集，只关注了一个数据，是没法验证A路堵车原因的。
这就是说，数据收集过程是没有边界的，不可能因为大数据的关系，什么数据都去收集，但一些关键性的核心数据以及周边数据必须收集，否则一旦错过，就没有机会。
在目前电商中，最欠缺的是内部监控数据。简单举例，怎么去评价整个网站、店铺运营做得好不好，大多数商家是没有精准收集的。正是对自身运营含糊，使得突然的业务上涨只能归功于好运，并不清楚为什么会涨。而如果突然变得不好，在找不到原因的情况下，风险控制更是无从谈起。
这些现象的原因是大多数公司的数据之间(经营数据、用户交互数据、竞争数据、社会数据)是不通或者缺乏周边视野的。其中缺乏数据框架是重要原因。
此外，在国内，运用社会数据的例子不是太多，大多数都是用社会数据来分析一个公司的舆情，但会发现很多公司用完一段时间就销声匿迹。
其实，社会数据同样可以帮助企业减少风险，甚至预知市场。那些对企业有影响的“微声音”早就存在了，但企业可能会忽略了其中的重要线索。
例如，我在一家B2B公司的时候，曾经提出一组数据，如何多角度去确定一个批发卖家是不是骗子。其中的元素很简单，用他在网站所注册的邮件地址去搜索，看与其公布在其他网站的邮箱地址是否相同，如果这个邮箱多次出现则说明这个人比较可信，如果这个邮箱在其他网站都搜索不到，风险便比较大。
我们用两组历史数据去跑，发现的确是这样，风险可以减少30%以上。这便是应用社会数据。
另外一个应用社会数据的案例，同样是在B2B平台。为了推出一些新的类目，我每天逛一些美国网站，从公开的数据去研究，到底美国B2C网站买了哪些Google 关键词，看这些关键词的价格记录，根据它们买的关键词来估计未来的趋势。当时我认为，美国B2C网站内的SEM达人肯定比中国人更懂美国的趋势。
只要关注达人在关注什么关键词，知道他们的数据后，再用其他数据来验证到底会不会是趋势。简单来说，也是运用社会数据。所以，在运用社会数据时，首先要充满好奇地关注周边数据，好奇心会带你找到很多有趣的数据。
举个好玩的例子：以前，很多京东的竞争对手都好奇它每天能做多少单，那时候，只要早上在京东下订单，晚上再在京东下个订单就能知道。因为最初京东的订单编号是一个一个加上去的，后来京东自己也发现了，便改了。
很多时候，看数据就要像福尔摩斯一样，要从蛛丝马迹中去判断，数据会偷偷地“走”出来，只要你有足够的心去看待它。
数据拼图争夺战
实际上，对于现在的公司来说，需要的是大数据的精神，而非大数据的架构，这是两个不一样的概念，千万不要混为一谈。
大数据架构是技术性的架构，在中国拥有大数据架构的企业屈指可数。即使阿里巴巴、腾讯有着非常强大的大数据技术，但仍然没有形成真正大数据的框架，都还在路上。
其实，对于这些互联网大佬而言，大数据的真正价值是数据拼图，但大家究竟在拼什么呢?
追本溯源，商业是为了赚钱，实际上，是用消费者的行为在赚钱。但没有人知道一个消费者行为的全貌，所有人都用已知的东西、用数据的方法来找出未知的东西，以期能做出一个决定，拼出一个消费者购物行为的拼图。
一个新用户进来，真实价值有多大?他的行为是怎么样的?他的购买喜好怎么样?当空间和时间(Marketing的4P)变化的时候，刚才讲到的行为相对有什么改变……
要知道这些，就需要拼图。一旦知道这些答案，相信你就没有对手了。
只可惜现在谁都没法拼出这张图。淘宝有大量的购物数据(Transactional data)，可以从购物数据中去找出消费者在购物时的偏好;腾讯有大量的社交类数据(Social data)，可以从社会数据中拼出消费者在SNS上面所表达出来的他们的需要;百度有大量的带有明确目的的搜索数据(Intention data)，可以从大量搜索数据中去找出消费者的行为需要是什么。
我的前前老板是沃尔玛的COO，不懂数据，但是告诉我，根据他在沃尔玛做了这么多年的经验，总有一天，当一个顾客走进沃尔玛大门时，就知道他要什么。这个是零售业的老大相信的，十年内这个事情就要发生，所以没数据会很可怜，这个世界会出现两种人——数据的富人和数据的穷人。
这些都是我白日梦的想法，但却可能在未来的十年后真实发生。
现在越来越多的公司在用数据挖掘，但其实都没有真正用好，而真正用到大数据的公司更是少之又少。
以我的理解，现在能用上大数据的公司，一般来说产品经理都很会用数据。无论是Google还是Facebook，凡是大数据很厉害的公司，都有一套很好的大数据发现系统。
在过去的几年，Facebook不断地更新发现系统。两年前，他们的发现系统可以通过一个男生输入的关键词，推测出他未来离婚的可能性会达到多少。
虽然我在负责BI部门，但我认为，好的发现系统是不需要BI部门的人跑数据的，凡是要用上大量数据分析师资源去跑数据的公司，其实就已经落后了。
好奇和相关肯定是来自第一线对这个产品很有感觉的人。如果找一个分析师，他对这个产品都不是很熟悉，又怎么能找到相关的东西?这就如同隔山打牛。
改变思考方式
但不可否认，大数据思考的精神是每一家公司都能用的，只要让他们偶尔找到大数据的精神所在，就会有很大进步。
前段时间碰到一个B2C公司的CEO，我向他建议，今天下订单的消费者，也许在十几天前已经在浏览网站，你为什么不收集这个消费者从注册那天起，所看过的产品与最后购买产品之间的关系，为将来所用呢?
我认为，这个数据就是大数据思考的精神所在。其实，大数据并不是我们在聚光灯下看到的这么死板，而是要充满好奇，不断地自问，有什么数据(全新的或重新创造的)能够解决今天的一些问题。
一直以来，由于数据获取成本高，大多数商家都用假定没数据的方式进行决策。而如今，要想具备大数据思考精神，必须先改变思考方式，假定这个世界能找到任何数据来思考你的问题。
而这一思考方式的改变，最重要是从管理层开始，如果没有意识到大数据是个管理问题的话，做大数据是没意义的。
企业管理层不要过度注意自己的事情，要把眼界打开，看到周边的微信号和自己现在所做东西的一种关系，这是大数据的精神所在。
具体点说就是，不要只盯着今天眼前的数据，有些数据虽然放在路边，但是它却非常有用，只是你没有看见，所以没有把它用上。今天大数据使更多人知道，周边数据比本身数据更重要。
如果大家相信我，就不要再说做大数据，而是说用大数据的思考来运用数据。虽然公司有数据挖掘部门，但这些数据都是用来做营销的，而这并不是大数据。
现在，我常常接触的电商老板，已经开始运用大数据思考，每天都讲数据，而这些数据就是大数据能够给到他们的机会是什么。对于企业运营层面而言，不需要把数据分为大数据和小数据，但是企业的决策层应该有所区分。
例如，唯品会把自己BI团队的员工打散在业务部门做轮岗，他们在业务部门轮岗六个月后再回到BI团队。我觉得这个做法非常对，一个没有商业感觉的数据分析师是废人一个。
而银泰网的CEO廖斌，现在天天在美国走来走去，看人家大数据在干嘛。对于CEO来讲，应该多一些对大数据的了解，通过思考让企业更好地发展。
但公司的运营层面，要老老实实把公司里可以用的数据都用上，忌不吃碗里的，只盯锅里的，用大数据的思考方式来找出一些以前没看过的点。
大数据的新挑战
当数据越来越复杂，大数据同样面临新挑战。预计未来，当无线数据和电脑数据混在一起后，将是大数据的一大难题。
早上，你用手机看到觉得挺好的商品，点击收藏，下午，你用电脑打开再看，那这个链条加起来后，你觉得以前电脑端讲的漏斗还有效吗?
所谓的转化率都是假定存在于电脑发生，而如今，包括淘宝在内的很多网站手机的访问占比已经远远高于几年前了。当用手机和用电脑购买商品的用户群混在一起，用什么方法证明购物体验的好坏、转化率的高低，都需要重新设定。
而无线所产生的数据，与网站分析数据最大的差异是情景(Context)，究竟是在百货公司里搜索还是在机场里搜索，重要的是在什么情景下进行搜索，这是很重要的链接点。
除了无线数据，线下和线上数据的关系，也会产生新的数据原材料和方向(Re-invent Data)。
在某些地区，线上购物已经极具影响力，线上的商家慢慢发现，最大的竞争对手不是线上的竞争对手，而是传统商业的线下零售商。
其实，1号店最大的竞争对手是离消费者三百米外的沃尔玛。以前，线上购物用户比较宅，他们更偏向互联网，但是现在线上市场已经不是一帮铁杆的互联网用户群，而是一群以前在线下购买，现在开启线上购买的人，这才是所有电商公司正在争夺的用户群。
所以线上和线下这两种数据，变得非常重要。
例如，我看过亚马逊的数据科学家的用户档案里，重点关注的是消费者首次/末次购买情况，购买的地理位置旁边的数十公里范围内有没有书店。因为亚马逊知道最大的对手是线下书店，消费者喜欢逛，而线下书店可以提供逛的感觉，这就是竞争对手。
一直以来，互联网用户群是最核心的线上消费者，而现在被部分线下消费者稀释了，所以现在的消费者更偏向浏览和逛，用户的行为更宽泛。
事实上，逛的用户习惯和传统的线上购物习惯是矛盾的，传统线上购物是先有目标，输入关键词，再选东西，但对于逛的人，根本不需要关键词。
这也是为什么淘宝要开始推逛的概念，这是一个趋势。
看淡数据的得失
数据不会把一家公司救活，只有公司经营的方向和理念，才会救活一家公司，数据只是锦上添花， 甚至有人说数据是用来帮企业调头用的。
但大数据思考显然不同，它并非锦上添花之用，而是将数据作为产品的原材料，产生一种新的商业模式。如果有人能想到，有些数据以前没人关注，运用到商业中，可能会出现一个新模式，这才是大数据的范畴。
最近我一直都在思考，什么样的团队才可以管理大数据，这个必须要想清楚。
先想通人再讲事，因为数据人才在中国非常少，在这种人才、管理经验都不够的情况下，要做到很棒的数据是不容易的。所以在数据上，人才培养才是王道，在未来的一两年会很重要。在目前这个浮躁的环境下，中国专业性的人才很难培养起来。
至于2013年，因为大数据还没形成一种动力，很难讲趋势。只能对电商老板说，慢慢来，对数据不要失望，也不要太乐观。今天，企业最难抓到的点是，如何在专注的领域里找到一些对企业有价值但是以前没有关注过的数据，这个数据如果能为我所用的话，会成为企业的核心竞争力。
（i天下网商 车品觉）
