【掌数科技内外联合培训第一期】掌数结缘数据科学 与Pivotal共探行业未来
新意科技成员企业掌数科技是Pivotal 在中国大陆地区证券和基金行业的战略合作伙伴和综合解决方案提供商。随着两家企业的合作逐步深入、技术体系的融合愈加紧密，7月26日特别邀请了Pivotal亚太区数据科学家总监Woo J.Jung以嘉宾和导师的双重身份莅临掌数为企业高管、骨干及核心技术人员举办了一场别开生面的技术交流座谈会，此会议也兼具掌数科技的内部培训性质。当天与Woo一同出席会议的还有Pivotal高级技术顾问Jimmy Chiu。
本次交流座谈会以掌数科技总经理刘建简述公司发展历程作为开场，Woo在了解公司产品及业务的前提下，兼顾技术性和实用性两方面深入浅出地为相关人员进行了技术与案例分享，双方在会议现场碰撞出精彩的思维火花，跳脱固有的模式拓展了新的思路，丰富了参会人员特别是技术人员的知识结构。
Pivotal数据科学家团队介绍
数据科学团队在2010年成立，和200多家公司合作，涉及各行各业，包括金融、物流、汽车、电信等，Pivotal数据科学团队在很多行业采用数据科学敏捷方法实施了多个成功案例。
Pivotal的数据科学方法论
Woo结合实际案例和我们分享了Pivotal在数据科学方面的方法论。在项目开始时，Pivotal数据科学团队会采用“参与模型”，要求客户参与其中；设立一个关于行动计划的专题讨论，和客户讨论结束后，将客户需求全部写下来并做一个排名，再和客户一一核对优先级是否符合？基于这样的目标，再进行可行性分析，并具体展开。希望通过大家一起参与的讨论方式，在较短时间内能够快速够获利的想法转换成一个雏形，让客户先看到效果！而不是直接去做花了大量的时间却不是客户想要的。
在确定项目的可行性时，通过限定可行性范围，能帮助我们更好地去确认该项目是不是合格的，力保能够落地。
而在整个项目过程中，团队的沟通是很重要的，IT不仅是产品还有其他业务人员参与的成分在。Pivotal数据科学团队有一个每天5-10min的站会，由于时间短，成员之间会高效沟通。
MADlib的功能介绍
MADlib是Pivotal公司与伯克利大学合作开发的一个开源机器学习库，提供了多种数据转换、数据探索、统计、数据挖掘和机器学习方法，使用它能够简易地对结构化数据进行分析和挖掘。用户可以非常方便地将MADlib加载到数据库中，扩展数据库的分析功能。以下是MADlib的硬件、软件条件、能处理的数据类型和主要方法的概述。
MADlib集合了用户常用的并行算法，也结合了其他语言库开源的演算法例如R语言的PCA算法，另一方面Pivotal可根据客户的需要，协助客户加入或优化演算法。
MADlib的使用案例分享
随着业务的积累，各行各业存在着许多孤立的数据得不到有效的分析，而大部分的数据也无法得到充分利用，以及对这些来源不同的数据难以建立一个有效的模型去分析。
面对上述问题，Pivotal数据科学团队有自己的一套数据分析工作流，针对不同的客户场景，收集来自不同数据源的大量数据进行整合，归类出相关的特征，再用MADlib去建立网络分类模型，进行下一步的计算，在GemFire和Greenplum上进行分析计算，高效的将计算结果反馈给前台。例如一个新的消费者进来就会对他的历史记录进行分析对即将购买的商品和服务进行打分，之后将最终的结果推送到前台。
Woo还向我们分享了许多应用了MADlib的具有实际意义的案例。
案例1：价格走势预测
通过文本回归算法和建立情绪分析模型，对社交应用（如推特）的关键字和市场的基本面数据进行综合分析，预测农产品未来价格走势，从而帮助农民更好的去种植农产品，准确率高达70%。有趣的是，该套模型还被华尔街的大型投行采用，用于增强他们的行业投研报告！
案例2：客户防流失
通过客户在APP界面的操控行为去预测客户的流失率，从而帮助公司提前采取策略去挽留客户。该数据来自两个零售商分别提供的两种信用卡的1-2年的数据，数据量约有6TB。还可通过建立“下一步购买可能性”模型，更好的向消费者推荐商品和服务。此项目向客户展示了Pivotal数据科学团队的大数据套件的能力，大幅提高了客户对多种数据的利用率。
案例3：反欺诈
面对虚假信用卡身份，信用卡被盗刷问题，通过收集客户静态的账户数据、动态的行为数据等加入Python的演算法去分析，给虚假身份可能性打分。
案例4：防泄密
面对黑客入侵内部人员账号盗取公司信息的问题，根据用户过去的历史行为加上特定用户有特定权限的限制等，去检测目前异常的行为，并以可视化的形式展示出来，一旦行为发生能很快监测定位，并触发针对该账号的终止访问指令。
最后二位嘉宾导师与掌数科技约定，今后多多交流、互通有无，将Pivotal的技术与案例分享给掌数科技，开阔技术人员的技术眼界，为双方更好的服务客户打下扎实的基础。
掌数科技希望以此次会议与培训为契机定期举办主题座谈会，在此呼吁更多的伙伴加入我们的内外联合培训，怀抱着共享、共进、共赢的理念，共同成长！
