2018 东软解决方案论坛 激活数据资产 融合场景赋能

敦煌，是一个传承的梦

博大而精深，浩瀚而深广

2018 东软解决方案论坛（NSF）走进敦煌

作为本次解决方案论坛最受关注的平行论坛之一 ——“数据 智能 驱动新时代”平行论坛座无虚席。

东软平台产品事业本部基础软件事业部咨询总监毛军老师诚挚分享了题为《激活数据资产 融合场景赋能》的数据智能应用实践案例及平台产品在大数据方面的解决方案。

下面，就将本次演讲干货第一时间分享给大家。

01

如果说人类的进步在于不断突破创新，那么下一个创新的推动引擎就是数据。数据已经成为重要资源和战略资产，大数据不仅带来思维上的变更，同时也给人们带来生活上变革。有了大数据支持，政府管理工作会高效、精准、科学，金融行业大数据正在创新经济模式，促进资源有效配置，激活市场活力，企业基于大数据可以改善经营性决策、个性化营销，甚至可以改变企业的商业模式。

这一切看起来很美好，但是数据作为一种资源，在“沉睡”的时候很难创造价值。打个比方，沉眠的数据如同深藏地下的矿藏，没有被发掘时毫无价值，只有被发现，被开采，被提炼，被加工成为成品融入于各生活场景才能真正发挥价值。因而我们可以得出一个结论，大数据的本质并不在于“大”而在于“用”，数据价值的挖掘在于融合具体业务场景，通过场景驱动大数据落地。

无论是来自于 IDC 的大数据调查报告，还是《中国大数据白皮书》及 Gartner 分析，都将重点指向了数据应用。

02

数据应用的场景多种多样，不同的行业有不同的应用场景。这样看来，要想推动落地、发挥价值还有不小的难度。而东软对各行业的业务有多年的积累，我们能归纳出通用的应用范式和应用场景，这样就极大的简化了这个问题域。

这些范式主要包括数据集成共享、敏捷 BI 分析、数据超级检索、多维动态分析。

1.数据集成共享：信息流动和分享的范围越大，创造的价值就越高，数据集成共享解决的即是数据开放共享的问题，加速数据流转。

2.敏捷BI分析：可视化是对于大数据应用效果直观展示，它降低了数据分析门槛，不懂复杂的数学公式也可以快速发现问题。

3.数据超级检索：搜索已经成为人们获取新知，探索未知的重要手段，同样在大数据海洋中，提供灵活、即席的查询检索是必然。

4.多维动态分析：在大数据应用中，多维分析是大数据体现智能、展现魅力所在，挖掘数据，提炼真知，形成决策。

03

数据的应用离不开技术的支撑，通过对以上的通用范式提供技术保障，我们可以把这些范式应用在不同的数据场景中，带来源源不断的不可穷尽的价值。

所以我们可以归纳为，要应用好数据，就需要“数据+技术+场景”，怎么理解？数据是原材料，是基础，技术是加工工具，负责提炼、加工，最终融合到各类应用场景赋予数据生命和智慧。

下面来看看几个行业的大数据应用场景。

04

对于 金融行业 来说，一个典型的业务场景是用户通过移动端进行支付，其背后数据流转的过程需要经过银行的前置系统，渠道系统，与第三方系统结算，最后与银行记账核心交互。可以看出一个交易过程在背后涉及多个系统，一旦中间有差错需要通过日志排查多个系统。然而对某金融机构来说，原有的日志处理系统不能胜任自动化基于日志定位排错，原因在于每个系统日志单独存储，格式不统一，无法关联，造成出错时人工排查为主，并附以额外的监控手段，成本及人工均耗费较大。

因此，建立全新统一的日志数据分析平台提上日程，新系统定位目标是实现一分钟发现问题、五分钟定位问题、十分钟解决问题。一分钟发现问题，主要涉及交易监控，应用监控，任务监控，健康检查；五分钟定位问题，主要涉及交易查找，报错定位，业务流排错；十分钟解决问题，主要涉及构建专家知识库，做到故障自愈，智能回答。

针对上述提到问题症状，我们详细论证，提供对症方案：

1.改—针对现有日志格式不统一，风格各异的现象，制定统一日志规范。

2.替—采用大数据存储，提供集中、海量存储能力。

3.聚—通过23个采集节点高速采集日志，实现每天日增量1TB日志数据的采集，每秒吞吐量最高可达17万条。

4.智—基于大数据智能分析日志数据，自动关联排查故障。

政府大数据 也是当前建设热点，政府由于职能需求，保有大量的各行业数据。国家对于如何利用这些数据，发挥政府主体数据价值，从2015年相继提出“大数据发展行动纲要”，“政府数据开放”，“互联网+政务”等政策文件，大力推动政府大数据发展。

不仅是政策在驱动，一股内部自我改进的驱动力也呼唤大数据技术。各类问题困扰着政府大数据的实施，主要有:

1.首先是当前在各级政府机构内及机构间，存在着“部门墙”问题，数据由于“安全”，“只能远观”等理由，不能有效共享与交换；

2.其次有些机构有一定的数据共享基础，但共享开放多为静态文本，更新不及时

3.最后数据质量堪忧，缺少统一管理，以政务服务为例，同样的服务在不同的机构中，名称、内容格式都不尽相同，导致在协同服务，办件数据交换困难。

对此，按照“互联网+政务”建设的要求，在 2018 年底各省级要建成省级政务资源共享交换平台，同时构建政务信息资源目录。以某省为例，构建升级数据共享交换平台连接各政府机构，提供数据交换通道；同时基于政务信息资源目录系统梳理信息资源目录，开放政府数据，对外共享。目前接入系统部门数量 90 余个，梳理数据资源目录 2.2 万个，开放提供目录信息项达 30 万余个，日均服务调用 500 余次，惠及 7000余万群众与企业。

公安行业 中，由于信息化、互联网化不断发展，新的犯罪形式如网络犯罪、电信诈骗等，对于治安防控提出了严重的挑战。如何根据举报线索，快速的在十亿级数据中查出嫌疑人的身份、住址、从业、背景、轨迹、违法犯罪等信息？如何从交通视频信息、通话等碎片化无序的信息中抓住蛛丝马迹，分析出嫌疑人的行为轨迹？

大数据平台可解答上述疑问，平台全面采集和整合海量数据，对数据进行处理、分析、深度挖掘，发现数据的内在规律，为预防、打击犯罪提供强有力的支撑。

以某地市的智慧公安项目为例，既有的基础信息不能适应新的治安防控需要；党政机关、重点部位、主要路口、公共复杂场所等视频监控资源，与各部门、各警种业务资源数据无法结合；警员不能实时、直观地了解和掌握监控区域的治安动态，难以及时发现、处理各类突发事件、群体事件，无法有效支撑公安“大情报”战略。对此大数据平台建设重点围绕信息集成整合，信息实战运用。数据整合层面采集2区5县18个委办局数据，范围包括视频数据、社会面数据、互联网数据、警务系统数据，统一标准，严控质量，形成专项主题库，如类案库、舆情库等等，为进一步数据运用提供唯一标准数据来源。上层应用数据分析平台提供超级档案，超级检索能力，可秒级在亿条数据中自动聚合人员、案件相关数据，形成案情、嫌疑人全面画像；可根据人员视频、运营商手机信令等，抽取位置信息，根据时间先后，勾勒重点人员轨迹。

在 教育行业，教育部推动“三通两平台”建设多年，各级教育机构、教育行政部门已有相关教育资源平台和教育管理平台，但当前系统数据无法有效互通互融，造成一定的信息孤岛的现象，很多统计信息需要人工采集、逐级上报，如统计留守儿童信息、统计人才流失和人才引进效果、可以支持的贫困补助等。

除了解决数据连通共享问题，某省教育厅进一步提出了整合教育教学资源和公共服务，面向全省提供统一服务能力平台。通过构建教育能力开放平台，整合 7 个国家系统和 16 个省级自建系统数据和能力，连通省市两级教育能力，打造集能力抽取、能力整合、能力拓展、能力开放、能力调用、能力运营为一体的开放性平台，进行能力全生命周期管理，实现省厅和各地市教育机构能力聚合，全方位提供能力支撑与运营。平台以“数据”为核心，把数据封装成能力，实现数据共享、资源整合和资源的最大化利用，把大量繁琐耗时的人工查询转向实时自助的查询方式，提高工作人员工作效率。

智能制造 是落实“中国制造2025”规划纲要的一个重要抓手，而工业大数据是实现智能制造的基础与必要条件；没有工业大数据，智能化就只能是纸上谈兵。在制造领域有大量的设备，现代化工业制造生产线安装有数以千计的小型传感器，来探测温度、压力、热能、振动和噪声，每隔几秒就收集一次数据，利用这些数据可以实现很多形式的分析，包括设备诊断、用电量分析、能耗分析、质量事故分析（包括违反生产规定、零部件故障）等。

以某设备制造厂商为例，生产的关键设备广泛用于军事、民用设施。当前面临的问题是在设备销售维保期间，如果设备发生较难处理故障，由于引进国外技术因而需要协调海外专家，成本较高，而且此成本在维保期内由企业承担，每年此项花费近百万。为改变现状，计划构建物联网大数据平台，采集设备的运行状态，包括电压、电流、油压、水温、转速等参数，实时监控状态，感知波动异常，提前预警；除了监控，对于设备健康、设备寿命预测是减少维保期费用重要手段，根据使用负载度、投产时间、故障频次综合评估其可靠性；根据能耗和做功比评估性能，进而提前识别做功不足，故障空转等现象，做到大病早防，小病早治。通过大数据平台，企业产出的设备维保期大故障率降低40%，维修费用节省过半。

对于 医疗行业 来说，精细化运营，全局工作评估基于大数据分析方式来做。

一个大中型医院担负着繁重的医疗、科研任务，以及繁杂的事务性工作，院长必须时刻与各科室保持密切的联系。随着医院信息化建设逐步深化医院积累了大量数据，挖掘这些数据并通过可视化技术展现，有助于医院决策层及时发现并解决问题。

作为医院的决策中心，其工作效率、工作质量关系到医院的社会效益和经济效益。在以往多部门系统分立的情况下，难免有因数据量大，界面杂乱分化，以至于出现不能全面及时理解全院情况，不能高效指导医院各部门协调工作的情况。

通过医院院长查询系统，对各部门的资料信息统一管理、统计。分析查询各个科室病人数、医生工作量、护士工作量及特种科室人员工作量等情况，以及在院、出院或住院未结病人情况，医院的财务收支状况，药品价格、报销、报缺等情况。提高院长掌握信息的及时度和准确度，帮助院长对医疗、财务、人事各部门的信息提供动态的查询并提供辅助决策支持。

房地产 正从黄金时期进入到白银时期，房地产商从过去的粗放经营转向精细化经营，大数据分析正在帮助地产行业在土地开发、小区规划、商铺规划发挥巨大作用。

另一方面，国家对于房产调控、规范愈加严格，大量房产市场消费者由于高房价转而选择租赁房屋。但是当前的房屋租赁市场缺乏行业统一规范，房源信息数据缺乏管理，信息不准确，租金不透明，住房租赁企业良莠不齐，亟需统一管理平台整合资源，加强管理，统一服务。对此某省规划构建住房租赁服务平台，围绕住房租赁数据打造“一网一中心一平台”的格局：

一张数据交换网覆盖各住房租赁企业，实现房源信息的汇集；

一个基础数据中心，编订全省房地产业务基础数据标准，省、市、县三级按职责分别采集、存储和管理房地产数据；

一个服务平台，实现房屋租赁备案监管，统计分析及辅助决策；同时也为公安、房产提供入住人口信息及房产信息，便于社会治安防控及房产管理。

05

以上各行的大数据智能应用案例，能够快速落地，就需要成型的产品作为支撑。这些案例均是基于SaCa Data Integration,SaCa DataInsight,SaCa DataViz，SaCa API Management 大数据平台套件有机配合完成。

从数据到应用，从懵懂到智能，大数据平台套件针对性的提供了端到端的能力支撑。

在万物互联的时代，数据来源多种多样，数据格式各异，数据平台可采集来自于数据库的、文本的、存在于页面的、应用 API 的等多种来源数据。

采集到数据的还不能立刻用于分析，还有很多的噪声数据，错误数据，数据平台提供清洗、过滤、转换、治理，保障数据标准和高质量，奠定大数据分析准确的基石。

面向海量数据提供数据湖存储方案能力，根据实际业务综合搭配关系型存储、列式存储、键值存储，可应对日增量 TB 级数据。

基于全集合分布式检索技术，提供海量数据秒级检索，并可基于函数命令灵活组合检索条件；可实时监控数据，实现历史数据关联分析和数据挖掘。

最终数据应用分析的结果，通过可视化手段展现，业务人员可以实现与数据直接对话，既可以宏观鸟瞰，也可查看剖面某一维度数据，繁简由人。

东软大数据产品在经过多年在领域的深耕，积累了大量的实战经验、技术能力，取得了国家、省级多个重要赛会的奖项，同时沉淀大量的专利资产，成为客户的放心选择。

总结来看我们认为大数据最重要的是应用，数据智能是数据结合技术在具体场景的运用，而东软在二十多年服务于各行业客户过程，积累大量的业务场景，可以帮助企业准确找到大数据落地点，并提供配套解决方案，帮助大数据真正落地扬尘。