电话咨询

0571-89852485

工作日 9:30-18:00

在线咨询

架构师咨询

把脉大数据应用:必须融合业务场景,全链路方案破局

2019-08-29    作者:网易大数据
本篇文章仅限本站分享,如需转载,请联系网易获取授权
欢迎技术交流和讨论:bigdata@service.netease.com

7月26日,2019网易云创峰会在杭州拉开帷幕,大会全面解读了大数据、微服务、物联网以及中台的未来发展趋势及行业应用进展。在下午的"网易大数据专场"之中,数据科学领域的顶级学者、一线实战专家齐聚一堂,从目标、挑战、方法、技术、工具及机制等层面,全面、深入地探讨了大数据如何驱动企业智能升级。

目标:创造价值、增长与降本增效

在开场致辞中,网易云副总经理岳峥辉回顾了数字技术在网易22年发展中的作用。和其他的平台型互联网公司不一样,网易22年来探索并深刻影响了电商、教育、文娱、音乐等领域,都是以产品致胜。网易匠心打磨产品的背后,是数字技术的支撑,包括当初业界费解的养猪,也使用了大数据和人工智能的技术。
对于数字化转型中的传统行业来说,大数据同样不可或缺。温氏股份大数据技术专家陈家权表示,传统企业应用大数据的关键目标,是从海量数据中高效筛选出有价值的结果信息或者客观规律,应用到企业的经营管理过程中,实现降低成本和提升效益。
网易大数据资深架构师沈少仪援引一份Gartner在2018年针对3000位CIO的调研报告说明,大多数CIO投资的一个重要领域是商业智能,因这可以去帮助企业发现他们沉淀出来的数据的价值,将一切数据业务化,将一切业务数据化,通过数据来引导企业的发展。

挑战:人才,人才,人才!

尽管Hadoop的发展已经超过10年,人才短缺仍然是企业应用大数据的最大困扰。陈家权的体会,大数据应用产生价值的三大关键,在于数据、人和业务价值。对于并非天然在线的传统企业而言,业务流程信息化产生大量的数据是基础,业务价值的体现是保证。但数据治理——包括元数据管理、数据指标标准化、数据质量管控等方面的人才非常紧张。更为重要的是,既懂业务又懂分析技术的关键人才,更是可遇不可求。
网易商业数据中台首席架构师李虎啸也指出了人才的瓶颈——很多企业把数据中台和数据展现的能力都初步建设起来了,但依然没用真正为业务所用。他表示,企业只有更深入地去探究数据的异常、波动背后代表的业务原因,才能降低数据的使用门槛,但不能局限于数据分析师,因为数据分析师人才稀少,且需要很深的技术背景,这是中台对接、驱动业务发展需要破除的一个瓶颈。
E-Bizcamp创始人顾青形象地形容了数据分析过程中的烦恼。他专注于帮助企业解决如何通过预测来决策的问题,然而这项事业是一体两面的。“高大上叫预测,很苦逼的说法就是从非常非常痛苦的数据清洗来做这件事情”,顾青说。

方法:人工智能利器

王万良教授认为,人工智能是大数据分析的利器,是支撑产业发展的一项重要技术。大数据用之前的软件、算法无法高效处理,无法在有限时间内得到有用的信息,所以要借助于人工智能的方法,而人工智能也需要借助大数据驱动来实现实用化(当然知识驱动的AI也需要发展)。

技术:必须融合业务场景

并非所有的智能都值得企业耗费精力。陈家权强调,技术不能脱离业务价值,例如,再精准的猪脸识别技术,对于温氏股份也没有价值——猪脸在不同的生长周期变化非常大,每年2000多万头猪都要识别一遍,时间成本和技术成本太高,如果是为了识别每只猪的ID,只需给猪上一个耳标。“如果不产生业务价值或者是业务价值不明显,我们认为这就不是一个好技术。”陈家权说。
启路科技解决方案专家孙昉初对此亦有体会。他提出了“场景化创造新世界”的观点,“大数据的东西没有任何的场景化,其实没有任何价值,”孙昉初说,精准营销或者客户画像,其实都是场景化的东西。

工具:全链路数据中台破局

大数据工具的重要性不言而喻。陈家权举了缓解数据治理压力的例子,网易数据中台提供数据质量稽核的工具非常好。基于与网易大数据的战略合作,温氏股份一是建立了一个慧眼大数据平台,建立一个大数据仓库,把各层级用户获得信息数据的时效缩到最短;二是做了养殖业的行业信息地图辅助把握市场动态,覆盖外部市场数据,包括每个地区、每个屠宰场;三是做到产品的需求与价格预测,包括宏观预测以及细化的预测,细化到每个地区每个季节肉猪价格,增长多少还是下降多少,以便合理的安排上市计划,增加效益。
支撑企业数据中台建设的,是网易在本次大会上发布的全链路数据产品猛犸6.0。岳峥辉认为,数据中台可以为企业解决两大问题,包括企业对外部市场的应变速度,以及数据孤岛、部门墙等历史遗留的矛盾。猛犸6.0在全链路中整合了数据导入、数据加工、数据治理、数据模型、数据服务、数据分析等节点,能够帮助企业打通部门墙,打通IT和业务的墙。

机制:建立业务价值认同

仍以数据治理为例,陈家权表示,数据质量稽核工具虽好,也需要结合企业的数据质量管理体系以及制度才真正有保障。他建议,数据质量要作为产生数据的业务部门的考核指标,这涉及业务流程的改变。
由于业务与技术天然存在壁垒,为确保大数据应用的成果,陈家权认为,企业一定要去建立一个大数据应用成果的业务价值认同机制。也就是说,需要业务部门确认,大数据的应用为他们降低了多大的成本,产生了多大的经济效益,“这是对整个大数据应用生命周期非常大的价值。”陈家权说。

更多大咖干货PPT下载,请点击链接:https://share.weiyun.com/57x2mll