智能文档处理
在文档数据集成的每个阶段，智能文档处理通过诸如计算机视觉，光学字符识别，机器学习和自然语言处理之类的数据科学工具增强了人们对非结构化数据的理解。
智能文档处理（IDP）之所以受到关注，是因为它提供了破坏性的解决方案来自动化以前非常困难（即使不是不可能解决）的数据提取项目。
这是石油和天然气公司的一个很好的例子，该公司使用Grooper IDP平台为其租赁分析师提供了四倍的工作输出。他们不仅提高了效率，而且发现了遗漏的人为错误。
但这不仅仅是技术。光学字符识别（OCR）和数据科学工具已经存在很长时间了。新功能是将这些工具组合为一个平台解决方案，它正在改变我们的工作方式。新的数据源可以创造更好的业务成果，并为人类发起的创新铺平道路。
这是捕获和提取信息的新方法。所有大型技术公司都在构建智能工具，但问题是无法在一个无缝的单一平台上访问它们。如果您需要Azure，AWS或Google的高级工具的功能，则只能通过API使用它们。这些单独的工具非常适合测试和试验，但是现代企业需要统一的方法。
智能文档处理平台是功能强大的软件机器，可使用来自任何基于文本的来源的标记数据为数据供应链提供动力。
关于智能文档处理的六件事
IDP的关键组成部分
IDP如何管理文档数据集成的每个阶段
为什么IDP与文档捕获不同
使用IDP进行创新的示例
如何通过IDP取得成功
IDP –转型的催化剂
智能文档处理平台的关键组件是什么？
智能文档处理平台包括将纸张或数字文档转换为准确标记的数据的所有必要步骤。
IDP平台必须：
与行业无关
灵活地容纳结构化和非结构化数据
规模可每天处理数十亿次提取
与云和本地内容管理系统集成
提供培训和分类的可视界面
智能文档处理平台管理文档数据集成的每个阶段。
文档捕获–该平台与扫描硬件集成，以数字化诸如纸或缩微胶片之类的物理介质。由于并非每个文档都是数字文档，因此需要一种解决方案来加速传统上缓慢的扫描过程。内置集成可从数字出生的内容（例如文本文件，PDF和办公室生产文档）中获取数据。
图像处理–图像处理由计算机视觉算法提供，该算法可为最佳OCR和存档准备文档。 IDP平台将创建两种版本的数字化文档-一种针对机器阅读进行优化，另一种针对内容管理系统中的屏幕查看进行优化。
OCR –准确的OCR对于机器阅读文档中的文本是必需的。 IDP的基础功能之一是使用多个OCR引擎。 “分层”方法通过综合多个引擎的结果直到获得接近100％的精度，从而消除了对更好的OCR的需求。
分类–大多数业务文档是包含不同类型信息的页面组。 IDP分类引擎经过培训，可以通过机器学习和其他基于智能的技术来识别文档。自动文档识别是理解文档中信息的重要步骤。手动输入数据进行分类的日子已经一去不复返了。
提取–成功的数据提取取决于软件对内容的人为理解。由于AI仅像其训练一样聪明，因此该系统必须是可训练的，以查找并标记文档中的所有预期信息。这包括识别自然语言文档的各个部分，并提取特定的数据元素，例如日期，名称，数字等。
数据验证–所有提取的数据都必须经过验证才能得到信任。 IDP平台之所以独特，是因为它们利用外部数据库和预先配置的词典来验证信息。任何不匹配的数据都被标记为人工检查和更正。
集成–数据集成要求极为不同。由于IDP平台是数据供应链中的关键来源，因此它们必须与所有下游应用程序集成。这包括云和本地数据库以及文档存储库。带标签的数据和元数据被附加到数据的人类可读副本上，以实现可移植性。
为什么智能文档处理与文档捕获不同
与传统捕获相比，IDP的最大区别在于创新。十多年前，知名公司停止创新其解决方案。原因有两个。
首先，这些工具是在节约计算很重要的时代创建的。他们的软件体系结构并不是为当今需要大量数据的应用程序所要求的可扩展性而构建的。而且由于许多平台都是通过收购而增长的，因此重建整个平台的软件以满足IDP的要求将太昂贵了。
第二个问题是传统文档捕获公司的客户群很大。他们可以按原样获利，并希望通过进行必要的升级来避免干扰客户的现有工作流程。他们没有创新捕获技术，而是专注于开发其他技术，例如机器人流程自动化，或者更名以具有IDP功能（令人遗憾，但事实如此）。
创新在哪里？
通过智能文档处理进行创新的最佳例子之一是美国核监管委员会承担的一项大型项目。我们喜欢谈论这个用例，因为它包含了过去的宝贵经验。
在进行IDP项目之前，他们经历了使用传统捕获方法的技术供应商的重大失败。尝试整合来自存档数据源的数据用了五年时间，但未提供预期的结果。
在后来证明是最大和最成功的政府记录项目之一中，他们整合了两年内来自5000万页记录的带标签数据。文档中包含的信息被集成到一个中央数据库中，原始文档图像在该数据库中链接到数据。
在另一个示例中，美国最大的医疗保健数据处理公司之一需要一种解决方案来处理数十万患者的账单和理赔信息。后端系统所需的工作量很大。
通过使用智能文档处理平台，他们将千兆字节大小的文本文件转换为每天完成任务关键型工作流所需的数十亿数据提取。
但是，不仅仅是政府或大型企业都能从智能文档处理中受益。 IDP平台用于处理：
发票和财务报表
抵押文件
石油和天然气文件
军事测试报告
合同与租赁
福利说明
复杂形式
电子档案
医疗表格
和更多！
如何通过智能文档处理获得成功
IDP平台成功的关键在于开发文档数据素养。在对软件进行数据集成培训之前，必须花费大量时间来了解什么信息可用以及与该信息相关的业务成果。如果听起来合理，那是因为！但是，（无论是出于市场炒作还是由于期望不匹配）都有跳过这一步的趋势。
为了实现文档数据的读写能力，至关重要的一点是，咨询使用该信息来制作工作的主题专家。他们对业务价值以及与他们一起使用的文档上的信息的理解都有深刻的了解，可确保提取正确的数据，并采取适当的措施。
在系统范围内了解您的数据代表什么以及如何使用它，为通过智能自动化和业务流程重新设计改善工作流铺平了道路。
智能文档处理是转型的催化剂
智能文档处理的核心是变更和中断的概念。就像毛毛虫必须改变以实现飞行一样，现代企业也必须在没有催化剂的情况下才能发展。
在所有组织中，数据在转换中都起着至关重要的作用。通过获取新的数据来源或寻找新的分析方法，他们发现了通过创造新事物来破坏其行业所需的宝贵见解。
数据是“数字化”的最重要元素。有人说，数据将是新的石油，而且时间肯定到了。因为数字化转型的结果是创造了新的价值主张，产品，运营模型和功能，所以很显然，数据和数据本身是破坏性成功的最重要因素。
而且，如果您想知道人们在哪里居住，那么他们正处于破坏的中心。数字灵巧性和数据素养的进步为现代工作者提供了了解变革之路所需的工具。 IDP通过向软件应用程序中提供有价值的信息流，增强了现代劳动力。当我们重新想象工作方式时，新的工作流程将成为变革性的业务推动者。
数据是数字化转型的强大推动力，投资于智能文档处理的组织将始终站在创新和进步的最前沿。
（完）
作者：曾志宏（Wechat-1638881963），北科大毕业，NUS MBA，服务于GE，Rolls-Royce，JCI，Whirlpool等企业供应链部门，致力于推广物流供应链领域智能解决方案，包括尤其货代，仓储，运输，报关软件机器人RPA，人工智能识别方案，系统间数据录入和传输自动化方案，多系统数据接口机器人，帮助货代物流行业流程自动化，数字化转型，智慧供应链，智慧物流提升。
