啥是暗数据？暗数据如何影响我们的未来？ —全球1300名商业领袖参与的调研 （上）
数据是我们最大的财富，如果我们能幸运的找到一半。
2017年，《经济学人》宣布数据是世界上最有价值的资源，即“新石油”。 Gartner表示将数据视为资产。Forrester称其为“新的业务货币”。对于如此宝贵的资产，令人惊讶的我们每天都在流失。
根据Splunk赞助的TRUE Global Intelligence进行的最新全球研究表明，企业数据中有百分之五十五是“暗”的（未量化和未开发）。接受调查的1300位商业领袖认识到，数据是现在和未来成功的关键，但很少有人说他们的组织可以成功地利用数据。
“大数据”和日趋完善的分析工具是机器学习和人工智能革命的基础，也是我们建立新客户群，新效率，更严格的安全性和全新的业务领域的驱动力。
我们生活在一个数据的世界。 数十亿台互连的设备与无数的云服务进行通信，我们从服务器日志文件，GPS网络，安全工具，通话记录，网络流量等中收集数据。从后端交接到客户指尖的每笔数字交易都被分类。从仓库货架的内容到服务器机房的温度，再到每次登录安全网络的时间和位置，所有内容都被记录并存储在某处。但是，今天，大多数都是无结构的，未标记的，尚未开发的。 一句话，没用！
走出黑暗
暗数据可能是当今业务中最大的未开发资源。暗数据（包括我们网络生活所产生的“数据消耗”）是由系统，设备和交互产生的整个组织中所有未知且尚未开发的数据。也许它在某个地方被孤立了；格式或元数据可能不一致，也许没人知道该怎么做，也许没人知道它的存在。
大多数组织都在努力利用其数据的全部潜力。三分之一的受访者表示，其组织中超过75％的数据是黑暗的。只有11％的人报告说，其组织中不到四分之一的数据是黑暗的。
流程，资源和技术不足会阻碍暗数据的智能使用。黑暗数据被业务和IT经理所忽略，是一种未充分利用的资产，需要一种更为复杂的方法来收集，管理和分析信息。
这是一个巨大的挑战和机遇，机器数据是黑暗数据的主要来源，其增长速度远远超过传统的组织数据，对决策和组织成功的重要性日益提高。而且由于暗数据可以为人工智能提供强大的动力，因此无法利用强大的数据将无法跟上竞争对手，甚至远远落后竞争对手。
竞争是全球性的。我们的调查发现，对数据和人工智能的看法存在很大差异。一些欧洲国家似乎落后于全球平均水平，而其他国家，尤其是中国，则表达了更具远见的见解。
什么是暗数据： 公司，系统，设备和交互生成的所有未知和尚未开发的数据。
调查背景与方法：本报告基于TRUE Global Intelligence在七个国家进行的调查。受访者是组织内收集，管理和使用数据的全球业务和IT高管和经理。在IT和业务角色之间平均划分，受访者分别为30％的高级管理人员和高级领导（VP / SVP），30％的董事级和40％的经理。 该调查于2018年10月至2019年1月在以下市场以当地语言进行：
关键发现
我们的暗数据
被调查者（包括企业和IT领域的全球经理和领导者）报告说，他们的大多数数据仍然黑暗。
即使是对组织的暗数据有一定了解的受访者也同意，这些数据仍未分析，未组织和未使用。 在我们调查的市场中，有60％的受访者表示其组织的数据中有一半或更多是黑暗的。 仅在中国，一小部分受访者表示其组织的数据不到一半是黑暗的。
数据很重要……但我们无法利用它……
我们接受调查的领导者了解数据的力量和潜力。尽管如此，他们承认组织缺乏使它可用的资源，流程或技能。
• 81％的受访者认为数据对于其组织的整体成功至关重要。
• 90％的人同意，每个组织都需要从数据中提取价值，才能在未来取得成功。
• 90％的人认为最聪明的商业领袖将数据视为金融资产。
• 88％的人同意“世界正在从大数据时代过渡到以数据为导向的结果时代。”
但是 …
• 56％的人同意“数据驱动”只是他们组织中的口号； 79％的人认为他们必须将口号变成现实。
• 尽管有75％的人认为该技能非常重要，但只有56％的人对组织提出正确的数据策略评价为好或非常好。
• 60％的人说组织的数据中有一半以上未被捕获，甚至很多都不被理解为存在。
数据技能很重要……给其他人
即使绝大多数受访者都同意数据对公司和职业的价值，但许多人表示，即使牺牲自己的职业发展，他们也愿意让其他人带头。
• 几乎所有人（98％）都认为数据技能对明天的工作很重要。
• 72％的人认为数据工作可以适应未来。
• 84％的人认为，成为组织中的决策者将需要强大的数据技能。
• 85％的人认为，数据技能将继续对组织内各个职位的员工而不仅仅是IT部门变得越来越重要。
• 81％的人同意，要成为组织中的高级领导者需要具备数据知识。
• 83％的人同意，继续依靠他人来解释数据含义的工人将来会落后于他们的职业。
但是 …
• 超过一半的人说他们觉得太老了，无法学习新的数据技能。
• 69％的人表示愿意继续做自己的工作，即使这意味着他们不会再被提升。
区域差异
值得一提的是，调查中的地区差异会影响我们的见解。例如，中国受访者一贯将数据和数据技能放在第一位，对人工智能的理解水平最高。
91％的中国受访者表示，他们需要数据技能才能得到晋升，而92％的受访者表示，必须具备数据技能才能晋升至高级领导层。他们的法国和德国同行似乎不太担心数据对自己职业的价值，60％或70％的同事这么认为。英国的调查参与者更加自信–83％的受访者同意这样说。
在中国接受调查的受访者表示，他们的组织拥有最少的暗数据（他们估计“相加”仅占50％），但比其他任何市场，他们对人工智能的了解非常好。相比之下，在接受调查的所有其他市场（英国除外）中，只有不到一半的受访者表示对AI有深刻的理解。
调查还表明，与其他国家/地区的受访者相比，中国受访者更充分地接受了数据和人工智能的价值。这无疑将使中国在推动人工智能业务应用方面具有竞争优势。
数据的未来
尽管我们的受访者坚决认为我们正在过渡到以数据为依据的业务时代，但大多数受访者并未采取措施来曝光暗数据为他们带来更好，更准确的见解和增强的竞争优势。
受访者还认识到，他们现在拥有的技能与将来需要的技能之间存在很大差距，尤其是技术。
几乎全世界的所有受访者都认为，数据的价值将不断增长，并在未来对组织的成功变得越来越重要。这表明组织将继续围绕数据和分析对技术，流程和人才进行投资。
• 71％的人希望数据在未来10年内变得更有价值，几乎所有人都希望数据对他们的决策更具影响力。
• 76％的人同意“拥有最多数据的组织将获胜。”
• 88％的人同意“世界正在从大数据时代过渡到数据驱动结果时代。”
• 85％的人同意成功实施AI需要成功的数据管理。
受访者认识到数据将改变组织的各个方面，促进更具创新性和盈利能力的见解。对组织数据的更好，更完整的理解将改善决策，这是需要曝光黑数据的关键原因。这些未开发的数据代表了客户行为和其他指标的潜力，可以推动业务发展。
为什么有暗数据
暗数据包含客户，交易，应用程序，服务器，网络和移动设备的所有活动和行为的记录。它包括配置，消息队列，诊断命令的输出，呼叫详细记录，来自工业系统的传感器数据等。
简而言之，暗数据是指所有未使用的数据。这包括组织的系统和应用程序生成的多种类型的数据，从机器数据到服务器日志文件再到客户和用户数据再到从社交媒体获得的情感分析。它是组织内部以及客户，合作伙伴和供应商生态系统中日常业务活动的副产品。
根据定义，组织的暗数据是最难访问的。这项调查显示，全球范围内，有55％的组织数据是黑暗的-他们拥有数据却不知道，或者知道他们拥有数据，但是不知道如何使用它们。
超过80％的受访者表示，他们一半以上的数据是暗的，但有价值。
换句话说，他们知道挖掘数据很有用，但他们都没有挖掘工具。在某些情况下，他们甚至不知道在哪里挖。受访者表示，他们不堪重负，缺乏数据，缺少合适的人才和工具，同时面临组织数据孤岛，领导能力不强等问题。
开灯
组织如何改善理解和掌握暗数据？传统上，快速简便（即使昂贵）的方案是聘请顾问。这种反应可能正在减弱：只有29％的受访者表示，引入外部顾问具有解决管理暗数据挑战的巨大潜力。25％的人认为顾问的帮助很小或根本没有。
这意味着组织将不得不在内部找到力量。受访者表示，要更好地利用数据，他们需要采用整体方法来克服技术和组织上的障碍。数据策略以及对暗数据的追求不能成为一个“项目”，它必须是关键的组织优先事项，是由内部领导者和内部人才以端到端为驱动力管理所有数据。
被调查者认为具有潜力的领先解决方案包括培训更多数据科学和分析领域的员工；使用使技术含量较低的员工分析数据的新软件；并将数据收集整合到应用程序和设备开发中。
大多数受访者还看到了人工智能收集和分析数据的机会，还有增加数据管理资金，以及雇用更多数据专家的潜力。
前沿
人工智能是计算机对诸如学习，推理，分析和自我纠正之类的人类智力过程的模拟。到目前为止，人工智能不能替代人类的推理和创造力，但是它可以处理数据并以人类计算无法期望达到的规模和速度来获得见解。然后由人决定如何处理这些见解。
当数据过于多样化且数量太多而人类无法有效处理时，AI就会接手。 AI的核心价值在于其以极高的速度处理大量数据的能力。为AI提供更多信息以进行分析，它可以产生更深入，更准确的了解。如今，暗数据有一天可能会促进更高的AI性能。因此，人工智能的出现和暗数据的价值是齐头并进的。
暗数据提供了AI可以分析的巨大，未开发的信息资源。人工智能驱动的分析工具可以帮助暗数据准备好大规模分析，而这是当前方法无法实现的。人工智能尚处于初期阶段，很难找到每个人都同意的定义。不足为奇的是，在全球范围内，大多数受访者表示他们不太了解它（51％），并且他们判断其他人对它的理解甚至更少。只有41％的人认为他们的组织对AI有更强的控制力，而只有39％的人认为他们的同事和整个行业对AI非常了解。
在全球范围内，这些以数据为中心的IT和业务受访者认为，人工智能通常会增强而不是替代人类。 82％的人说人类一直并将永远是AI的核心，而72％的人说AI只是解决业务问题的工具。超过一半的人认为AI的威胁已被夸大（65％）。但是他们同意，功能也被夸大了（60％）。
尽管我们的受访者表示目前他们的组织中很少使用AI，但大多数组织都看到了潜力。对于一系列使用案例，包括运营效率，战略决策，人力资源和客户体验，有61％到67％的企业看到了AI的价值-但只有10％到15％的企业表示他们的组织正在为这些案例部署AI
虽然目前只有10％到15％的组织在IT，运营和人才管理中使用AI。 但是，将来有60％至70％的受访者认为他们将为此目的使用AI。
Source: Splunk
编辑：朱亚泼
曾志宏，北科大毕业，新加坡国立大学 MBA，服务于GE，Rolls–Royce，JCI，Whirlpool等供应链部门，致力推广供应链智能解决方案，包括货代，仓储，运输，报关领域DocuAI, 小道智能，单证机器人以及智能文件处理方案，帮助贸易，物流和货代企业流程自动化，数字化转型，智慧供应链提升。
