网站建设平台皆往乐云践新专家,龙华网站建设主要工作,徐州专业网站seo,在线a视频网站一级a做爰在全球信息产业高速发展的背景下#xff0c;IDC预测#xff0c;2018 到 2025 年之间#xff0c;全球产生的数据量将会从 33 ZB 增长到 175 ZB#xff0c; 复合增长率27%#xff0c;其中超过 80%的数据都会是处理难度较大的非结构化数据#xff0c;如文档、文本、图形、图…        在全球信息产业高速发展的背景下IDC预测2018 到 2025 年之间全球产生的数据量将会从 33 ZB 增长到 175 ZB 复合增长率27%其中超过 80%的数据都会是处理难度较大的非结构化数据如文档、文本、图形、图像、音频、视频等。非结构化数据在大数据时代的重要地位已成为共识。近些年伴随着大数据存储、人工智能(AI)等技术的蓬勃发展非结构化数据的价值得到了巨大的发挥。如自然语言处理、图像识别、语音识别等技术已在各行业得到广泛应用并不断的提炼数据中的价值。 非结构化数据的处理与分析目前主要通过两种形式提供一种是将能力封装在应用系统中一体化交付给最终用户如人脸身份验证系统、手持翻译机等一种是以PAAS形式将能力以开发接口的形式暴露给用户比较有代表性的有百度AI智能云、阿里云等。前者通过应用封装最终用户感受不到非结构化数据的处理过程也无需关注。而后者给了使用者更大的发挥空间让用户可以随心所欲的应用这些能力。但前提是用户必须掌握一定的编程能力才能够调用平台提供的接口。这就使得相当一部分拥有数据处理需求而没有开发能力的用户被挡在了门外。他们需要去学习一种编程语言或者额外支付开发费用才能实现对非结构化数据处理的需求。 需要二次开发才能使用非结构化数据处理与分析能力的方式显然不符合近年来热推的“技术平民化”趋势。“技术平民化”即“低代码”技术在数据处理领域其实并不陌生。早在“小”数据时代对于结构化数据处理与分析就有SAS、SPSS Modeler等一众知名的商业工具也有诸如Kettle、RapidMiner等开源工具。这些工具都支持使用者通过可视化交互的方式实现对结构化数据的ETL(抽取、转换、装载)处理及分析建模。进入大数据时代后在数据科学领域这种低代码设计理念得以保留。SAS等公司纷纷转型将其技术架构迁移到以Spark为代表的一众大数据计算框架下。同时该领域也涌入了许多新晋玩家如阿里的DataWorks等。但这些工具基本还是面向结构化数据的只是转换了计算架构使得工具能够支持更大规模的结构化数据处理与分析的需求。而对于规模早已超过数据总量80%的非结构化数据目前却鲜有低代码工具这也使得大数据处理与分析远未进入“平民化”阶段。 一年多前接到一个朋友的项目需求。在这个项目中朋友除了有海量的结构化数据需要处理外还有大量的诸如文档、图片、音频、视频类数据处理的需求。由于数据种类庞杂处理需求多样采用交付定制系统的方式根本无法满足用户不断演进的数据使用需求。因此一个能够让用户参与的可随用户需求演进的“平民化”数据处理平台成为了最佳解决方案。 有别于传统的面向结构化数据的低代码工具非结构化数据其内容更多样处理手段更专业、存储方式的选择也更丰富。如前文所讲非结构化数据包括文档、文本、图片、音频、视频等不同内容对于这些不同类型的内容分别有不同的专业处理需求。对于文本有实体识别、关系识别、文本摘要图片有OCR识别、物体识别音频有语音识别视频有关键帧识别等一众需求。这些需求的专业能力要求很高除了少数大厂有比较全面的能力覆盖外很多公司都只能在其中的一个或几个方向构建其专业能力由于非结构化数据没有模式其拥有了更广泛的存储选择其可以存储在文件系统中也可以存储在数据库中对于其数据的应用场景而言没有本质的差别。 针对非结构化数据的存储及处理特点笔者和团队经过一年多的开发实现了一个能够给予用户更多的存储及处理技术选择的低代码工具平台。该平台很好的支撑了朋友项目的各类非结构化数据处理需求。比如下面的一个简单场景。 朋友项目中有一些档案处理的需求档案格式有word、pdf等。希望能够对这些档案进行自动化处理抽取档案中的文字及头像构建基础档案信息。并意图在后续的处理流程中进一步分析文本获得更有效的内容。(注为展示系统能力本文例子中选取了一个台湾政客的简历该简历采用的是繁体字)。档案原文为一个两页的pdf文件内容如下 (注这里删除了一页违规的图片信息内含个人隐私信息) 我们的第一个任务是抽取文档中的文字。在该任务的实现路径中有一种是直接抽取pdf中文字的解决方案。但经过测试发现效果不好。于是尝试了第二种技术路线就是先将pdf转为图片然后再使用OCR技术识别图片中的文字。由于前文有提到OCR是一个专业的方向要训练一个好的OCR模型是一个非常困难的事尤其该文档是繁体字体就变的更为困难。因此笔者的平台采用了开放的态度集成第三放能力供用户选择使用。在该任务中笔者平台选择了百度的OCR识别能力用它来实现图片中文字的提取。效果如下图 如图所示这是一个从左到右的数据处理流程。文件输入算子负责读入档案文件pdf转换算子负责将pdf转换为图片百度OCR算子负责识别图片中的文字并将结果输出到输出端口。其运行后的效果为 在这里能够看到pdf被转成了2个图片2个图片中的文本也被识别并输出。 我们的第二个任务是从档案中挑出人的头像图片并将其存储到指定的目录中。在这里我们集成了百度的物体与场景识别能力。数据流程的效果图如下 如图所示从左至右的流程文件输入算子负责读入档案文件图片抽取文件抽取文档中的图片复制数据流流的一个分支转交给百度物体与场景识别算子另一分支转交给联结算子。百度物体与场景识别算子输出识别到的图片的各种标签过滤算子过滤掉不是人物头像的标签输出人物头像标签并于另一个分支输出的流在联结算子处联结计算联结算子只输出与人物头像标签对应的图片并经过重新打包转换后将头像写出到文件系统。其运行后的效果如下        通过流程执行输出的数据我们可以看到从pdf文件中共抽出三张图Image1, Image2和Image3只有Image2被识别为人物类型。下面我们再看流程的输入/输出信息。 以上图1展示的是流程读入及写出的相关文件。其中OUTPUT记录项的Image2文件即流程识别出的头像文件。点击查看效果如图2可以看到抽取到的头像与最初档案中的头像一致。本示例给出的读取和写出数据源皆为文件系统使用者可根据实际需要进行调整平台目前支持的部分数据源如下图 笔者团队提供的低代码平台目前已具备将非结构化数据处理“平民化”的能力对于结构化数据有同样友好的支持。可以帮助更多的业务人员、数据研究人员方便的处理及分析数据便捷的使用第三方的技术能力真正进入大数据处理的“平民化”时代。 追逐同款工具猛戳以下链接HuggingFists