大数据时代：非结构化数据/暗数据如何弃暗投明？
非结构化数据或暗数据大约是数据总量的80％，本文章入门级非结构化数据是什么，如何让暗数据“弃暗投明”，企业如何利用结构化数据加快决策速度。
IDG预测，到2025年，世界上将有175 ZB数据，其中80％是非结构化的。
结构化数据字段以固定的记录并排对齐，并且特定的数据字段出现在记录内的静态位置。非结构化数据不包含固定记录格式-它可以是任何形状或状态。非结构化数据来自文档，社交媒体，数字图片和视频，音频传输，传感器，企业运营的各种单据，报表以及来自网络的非结构化内容。
本篇内容
什么是非结构化数据？
为什么非结构化数据很重要？
非结构化数据会影响谁？
企业何时会使用非结构化数据？
公司如何使用非结构化数据？
技术如何结构化非机构化数据？
什么是非结构化数据？
非结构化数据是指没有以固定格式存储的任何数据，也称暗数据，非结构化数据的示例包括：
会计部门的纸质供应商发票；
与订单相关联的产品照片；
分配给您仓库中物品的条形码；
治疗患者的书面记录，X射线，MRI和其他类型的图像；
警务人员希望调出可能的嫌疑人的照片以及嫌疑人的行车记录；
物流货运代理行业的送货单，签收单，合同，发票，装箱单，报关单，提单
各种传感器发送的采集的IOT数据
实验室检测报告数据
为什么非结构化数据很重要？
由于公司中80％的数据都是非结构化的，但是很大部分非结构化数据都是由业务意义的，领导者需要了解这些非结构化数据的类型，处理和存储此数据以获取业务优势的最佳方法。否则，企业将面临以下风险：无法利用非结构化数据，无法跟上竞争对手的竞争，或投入过多人力资源处理非结构化数据，或者获取错误数据，放弃有效的数据，或者由于数据处理速度或者准确性，产生较差的客户体验。
在大多数情况下，非结构化数据最终与公司的结构化数据记录相关。例如，患者的每张X射线或MRI图像都与医院记录系统中的患者记录相关。记录系统中的患者记录中充斥着与之链接的非结构化数据，医生可以更全面地了解患者。
这就是非结构化数据的价值：它丰富了公司数据，并使领导者可以更聪明地工作。
另外一个例子是客户的签收单，收集客户签收单可以了解客户是否准确完好及时的收到了货物。
非结构化数据会影响谁？
非结构化数据会影响公司的每个人，从新手到首席执行官。
在内部，几乎每个公司部门都以某种形式使用非结构化数据-从带有rastor图纸的工程设计到带有社交媒体参与和照片图像的营销，再到带有扫描文档的财务和办公室运营。
在外部，非结构化数据用于通过传感器监视和报告货物和/或资产的动向，通过安全摄像机监视学校校园，或者与供应商和其他业务伙伴交换视频，照片，图像，音频传输等。
那些擅长使用非结构化数据的组织会评估其业务，并确定最需要非结构化数据的位置。 然后，他们找到将这些数据与记录的交易数据系统融合在一起的方法，从而使员工可以轻松获得更完整的信息。
这些非结构化数据可能具有战略意义，例如将销售和人口统计信息与仓库位置集成在一起的地图，以便公司可以计划其下一个工厂搬迁。
在运营方面，可以将非结构化数据附加到制造返工订单中，以显示零件如何以及在何处发生故障，因此可以预见并消除问题。
货代企业当中，合理化整理使用非结构化数据让企业减少人工，提高运营效率，改善客户体验。
企业何时会使用非结构化数据？
据2016年的报道，经济学人智库采访了全球476位高管，据《福布斯》撰稿人伯纳德·马尔说，该报告得出结论：“大数据分析或挖掘超大型数据集以识别趋势和模式， 迅速成为标准的商业惯例。全球技术基础设施也已经成熟到一定程度，可靠性，速度和安全性通常都足够强大，足以支持海量数据的无缝流动，因此鼓励采用。”
同一份报告指出，美国58％的公司，欧洲56％的公司和亚洲60％的公司正在通过使用数据获得高商业价值。
公司如何使用非结构化数据？
每个企业都有非结构化数据-关键是知道如何使用和处理数据以发挥最明智的业务优势，以及要存储和丢弃哪些非结构化数据。存储和维护非结构化数据非常昂贵，这是因为其大小，所需的处理能力以及并非全部都是有用的。
组织使用许多类型的非结构化数据以面值计，例如照片，文档，音频和视频记录以及Web内容。下一步是弄清楚如何获取数据，以便充分利用其中包含的所有信息。如果是照片，则可以通过GPS技术将照片与空间事件链接起来，该技术将照片链接到特定位置。或者，可以通过链接到上下文和关联数据来丰富照片，例如，照片中的人物，照片的拍摄年份，由于OCR和其他人工智能技术的发展， 使智能识别和录入成为现实，让图片和文档数据结构化成为现实。
技术如何结构化非机构化数据？
随着对大数据分析和工作流自动化的需求不断增长，这都在改变，这两者都需要非结构化数据。越来越多的企业正在利用一种称为光学字符识别（OCR）的技术，该技术使将印刷或手写文本转换成机器编码文本成为可能。 作为一种独立技术，OCR受到一定限制。然而，通过OCR，机器人流程自动化（RPA）和人工智能（AI）的三重奏，企业可以实现更高水平的数据处理和自动化。
国内初创企业趋研信息科技最近推出的DocuAI Cloud正式利用OCR加RPA加其他人工智能技术，利用机器和人工的组合，帮助企业解决各种非结构化数据的难题，以更快的速度，更高的效率，更准确的结果，收集企业的非结构化数据，返回给企业结构化数据，解决企业困扰多年的数据难题。
（完）
（感谢techrepublic）
作者：曾志宏（微信-1638881963），北科大毕业，新加坡国立大学 MBA，服务于GE，Rolls-Royce，JCI，Whirlpool等供应链部门，致力推广供应链智能解决方案，包括货代，仓储，运输，报关领域DocuAI, 小道智能，单证机器人以及智能文件处理方案，帮助贸易，物流和货代企业流程自动化，数字化转型，智慧供应链提升。
