西太平洋银行应对海量数据之道

IDC 观点

有远见的银行都清楚地认识到，金融服务机构不仅应销售产品和服务，而且还应成为在管理其客户数据以及通过不同渠道为其客户服务方面的真正以客户为中心的组织（即提供完美的多渠道体验）。随着大数据的大量涌现，尤其是在社交媒体网络的背景下，渠道战略不应仅限于传统的银行渠道，而且还应整合新的客户接触点（即社交媒体网站），这种趋势已经变得日益清晰。虽然完成此项工作不是一件容易的事，但组织应通过设计信息管理战略启动该流程，这样有助于他们应对大数据的挑战。

新西兰西太平洋银行是已经清楚地认识到深入了解自身数据资产的必要性的银行之一，正如 Torrance Mayberry 所说 — 商业智能 (BI)、数据仓库 (DW) 和先进分析的高级系统经理 —对于帮助银行打破壁垒，以及营造共享整个组织的创新和知识的氛围来说，Informatica 的解决方案是一种至关重要的方法。尽管以客户为中心仍处于初期阶段，但西太平洋银行目前正在探索大数据所带来的机遇，尤其是在社交媒体网络的背景下，这样可以进一步增强银行的需求以便获得对客户的深入了解。在此方面，尽管西太平洋银行已经非常清楚地认识到社交媒体数据仅仅是当今多种数据来源之一，但银行目前侧重于将情感分析作为其大数据分析挑战的一部分。

形势概述

组织概览

西太平洋银行是新西兰全国最大的提供全面服务的银行之一，服务的客户超过 120 万。西太平洋银行为个人、企业和农业客户提供全方位的银行和金融服务。

西太平洋银行在新西兰全国拥有 200 家分行、500 台自动取款机、90 万注册的网上银行客户以及 5,000 名员工。

挑战和解决方案

开端：管理交易数据

2001 年，西太平洋银行通过建立数据仓库来应对其大数据挑战。营销部门通过建立数据仓库，为客户管理计划提供客户分析。2007 年，西太平洋银行意识到当时对其客户和产品没有完整的单一视图。大约在同一时间，数据治理由于其具有合规性、风险缓解性以及可以帮助提高运营效率，也已经获得西太平洋银行高层管理人员的青睐。与其他大型组织的数据密集型操作类似，西太平洋银行拥有众多不是专为彼此分享数据而设计的彼此独立运行的应用程序。当时，也没有任何数据战略。所有这些因素都使西太平洋银行面临下列挑战：

y 当出现下面情况时，无法获得西太平洋银行的完整和单一版本的客户和产品信息：

q 在信息孤岛中收集和存储关键信息时；

q 异构数据定义和信息使用都很正常时。

y 当从已经手动清理、对帐和手工编码的不同应用程序中生成数据时，生成报告或特定要求的响应时间通常都很慢。此外，由于工作和数据重复而导致效率也非常低下。

y 数据集成采用了不一致的技术（如手工编码，将数据推入平面文件）。此外，这些都不是面向未来的技术，因为没有针对数据服务，面向服务架构 (SOA) 或为解决新的海量数据机会形成任何概念或技术。

y 错误执行了数据处理和数据安全性分类，造成不必要的风险和潜在的复杂情况。

建立数据仓库是西太平洋银行实现其主要目标（获得单一版本的事实以更好地利用其数据资产的）的第一步，从而使多个业务部门做出基于事实的和一致的决策。在 2001 年 11 月至 2002 年 2 月期间，西太平洋银行还评估了多个抽取、转换和装载 (ETL) 工具，为西太平洋银行集团确定标准和首选的供应商。

评估的 ETL 厂商是：

q Ascential — Datastage（现在是 IBM 的分公司）

q CA — Decisionbase

q  Datajunction（现在是 Pervasive Software 的分公司）

q Hummingbird — Genio RTI（现在是 Opentext 的分公司）

q Informatica

最终，西太平洋银行决定在 Informatica 平台中进行标准化。2007 年，西太洋银行意识到作为其数据战略的推动者，需要将它从传统的 ETL 发展成企业数据集成。Informatica 平台能确保西太平洋银行可对数据集成进行整体分析并解决各种数据传输机会。以下是西太平洋银行选择 Informatica 的原因：

y 简单。Informatica 的定价方法很容易理解。这是影响决策过程的一个主要因素。例如，可以很容易地将其值关联回到数据战略。该因素很重要，因为根据银行分析，它有助于促进 IT 部门与关键企业利益相关者就从平台实现的潜在价值进行协作讨论。

y 该解决方案集成可重复使用的数据质量规则。Informatica 的产品组件可以很好地集成涉及其数据集成、数据质量和 MDM 产品的常见的、可重复使用的数据质量规则。

y 良好的体系结构和支持。西太平洋银行已评估 Informatica 的体系结构，并认为它最适合于开放式知识库和服务器引擎操作。此外，已经在 2009 年第四季度推出的 Informatica 9，提供了基于 SOA 的数据服务增强功能。Informatica 还提供可靠的技术援助，这是自西太平洋银行拟与其中一家供应商进行规范化，以及扩展其数据集成要求以来所考虑的一个关键领域。

y 审计跟踪的可用性。Informatica 的元数据管理器可为所有用户自定义的元数据提供审计跟踪功能，作为 PowerCenter 和 PowerExchange 高级版本的一部分，其中包括元数据管理器，并提供查看业务术语表类别、业务术语和自定义对象的更改历史记录的可用性。

  y 供应商的独立性。根据银行分析，Informatica 的独立第三方观点是其主要优势之一，并且它确保西太平洋银行能够及时地适应新兴技术的发展。

实施数据仓库解决方案

y IBM 银行数据仓库 (BDW)。在 Oracle RDBMS 中实施银行数据仓库模型的自定义的混合版。通过自定义西太平洋银行从 IBM 购买的银行数据仓库，可将行业最佳实践整合至其数据仓库。将 IBM 的银行数据仓库定位为完全规范化和完整的金融服务行业数据需求的代表。

y Informatica。以上所列就是为数据集成和数据访问选择 Informatica 平台的理由。实施的 Informatica 产品包含 PowerCenter 和 PowerExchange，其中包括 Informatica 元数据管理器。西太平洋银行目前运行的是 8.6.1 版 Informatica 平台，正在将该平台的版本升级至 9.1 版。

y 通过 PLSQL、COBOL 和 BASE SAS 组合进行手工编码。

y 使用的硬件。IBM p570 AIX 5.3 双核 64 位处理器 2.2GHz（4 个 CPU）。

目前，西太平洋银行的数据仓库大小约为 6TB；IDC 的 《2011 年亚太地区软件调查》表明，此地区 25.18% 的金融机构拥有的数据仓库均小于 10TB。尽管西太平洋银行目前的数据仓库小于所调查金融机构的平均数据仓库大小，但该行预计其数据仓库大小在一年时间里增长了 25%。此外，值得一提的是某些监管要求同样也有利于西太平洋银行的数据仓库增长预期。虽然这使得新西兰西太平洋银行与澳大利亚西太平洋银行（澳新地区最典型的金融机构）非常接近，但新西兰储蓄银行要求该国/地区的所有银行通过在新西兰物理定位其数据保持主权。这样可确保该国/地区的业务连续性不会受到澳大利亚经济不景气的影响。最后，就存储的数据源/数据类型而言，西太平洋银行的数据仓库也在不断地随着时间的推移而扩大 — 该行预计需要逐步地将更多数据源补充到数据仓库，以此再次推动数据量的不断增长。

主要的数据仓库体系结构方法基于作为核心枢纽的集中的企业级数据仓库，即某些相关的数据集市的服务数据。建立这些数据集市作为交付分析应用程序的一部分，以启用和优化定价、市场营销和经济利润。例如，在数据仓库中存储和管理金融产品定价的历史记录，并输入数据集市以满足定价优化解决方案分析要求。其他类似用法包括 Informatica 平台数据来源的银行事前风险管理 (PRM) 系统，该系统允许使用银行风险实践快速更新有关欺诈的知识并减少个人风险。为各种决策目的使用从数据仓库生成的可信任信息已经明显增加，随着西太平洋银行组织内业务部门数量的不断增加，正在形成的业务联系也日益增多。

结果

汲取的经验教训（截止目前为止）

y 请谨记，早见成效是关键。西太平洋银行的数据仓库团队（新西兰数据仓库团队）通过在其记录时间和预算的操作型数据存储 (ODS) 区中建立完整和准确的新西兰 MDS/MIDAS 产品和交易视图，已经取得了显著的内部成功。然后，该团队能够使用此成就吸引关键利益相关者并扩展业务线 (LOB)，从而为其数据战略创造意识和支持。

根据西太平洋银行的分析，Informatica 的数据集成解决方案在此项目取得成功的过程中起着重要作用，这正是新西兰西太平洋银行为其数据集成采用 Informatica 平台的原因所在。

y 为赢得高层管理人员的支持提供可衡量的目标和结果。西太平洋银行非常正确地看到，以量化数据为中心的项目的目标和结果，在生产力和利润方面增大了确保双方董事会批准并为此类项目提供资金的可能性 — 尤其是在全球金融危机之后，依据 Mayberry 所说，“…将生产力/利润提高 4% 至 6% 可能对董事会产生巨大影响。”

y 通过在竞争中获得优势赢得关键业务利益相关者购买。目前，一些业务线能够利用从西太平洋银行数据仓库获取的报告或信息。这包括澳大利亚和新西兰的金融部门、市场营销解析团队、风险分析、保险、商业和零售银行业务单位、以及技术服务部门。根据西太平洋银行分析，其关键业务利益相关者现在已经认识到银行数据资产的战略重要性，并大力支持近年来西太平洋银行数据仓库的快速发展。

y 重点改善 IT 部门与商业用户之间的协作。IT 部门知道数据是什么以及如何对其进行管理，商业用户知道如何在现实生活的形势背景下准确地解释数据。事实已经证明：IT 部门与商业用户之间的良好协作，可以最大限度地减少出现“译不达意”的情况。展望未来，西太平洋银行还希望通过利用其即将进行的 Informatica 平台升级所提供的协作功能进一步加强这种协作。

y 采用整体数据战略。西太平洋银行凭借对通过提供准确、相关、全面和及时的管理信息告知做出业务决策的洞察力，已经加大了对整体数据战略的投资。西太平洋银行围绕四个主题创建数据仓库：

   q 信息完整性：启用来自产品、渠道和客户信息的单一来源的分析和见解。

q 企业绩效管理：启用测量、报告、规划、激励设置和区域记分卡。

q 客户亲密度：启用新的接触战略、有针对性的营销、客户细分和客户体验分析。q 可持续的体系结构：启用更广泛的使用、更高的频率、更快的响应时间、减少停机并提高员工的工作效率。

西太平洋银行面临社会分析挑战

当数据的爆炸式增长对每个组织和所有行业都变得非常明显时，实时分析将成为一种必然。如今，由社交媒体（如博客、维基、社交网络）、跟踪系统（如移动设备、点击流）和交易数据（如企业资源规划 [ERP]、CRM)）所产生的信息日益俱增，这使得数据第二次大幅增长。事实上，IDC 最近估计，作为年度《数字宇宙研究报告》的一部分，2011 年创建和复制的信息量将超过 1.8 ZB（1.8 千万亿兆字节）— 在短短五年间增长了九倍。考虑到这一点，并鉴于“信息社会”信息就是金钱，组织意识到可以挖掘、分析和利用此数据获得对客户的深入了解并改善决策。但是，主要是通过广泛使用为组织的诸多挑战而引进的协作技术推动，以妥善应对内部和外部的非结构化和半结构化数据来源。此外，并不是由用户生成的所有数据都关联，且组织越来越意识到了解他们应分析什么样的数据，以及对从外部和内部大数据来源获得真正的客户洞察力以支持做出有效决策的重要性。

而对于超级连通的企业，内部和外部数据的定义越来越模糊，在某些银行冒险分析外部非结构化大数据之前，他们更愿意通过检查其内部结构化数据来源（如呼叫中心数据记录、关系管理数据等）开始分析大数据。另一方面，很多时候，大数据分析使用涉及同时从多个来源查询各种数据的案例。此数据通常是内部提供的数据（企业内部）和获得的外部数据（通常从社交媒体网站）的组合。

西太平洋银行从目前提供的某些外部数据来源开始其第一次冒险分析半结构化和非结构数据：主要社交媒体网络的社交媒体数据。该行如同此地区的大多数银行一样开始其社交媒体活动：推出 Facebook 页面、创建 Twitter 帐户以及其 LinkedIn 个人资料。但是，该行很快意识到社交媒体不仅关乎存在，而且关乎获取客户。过去，西太平洋银行曾使用 Facebook 来运营和推动许多营销活动，但并没有创建其自己的 Facebook 页面。显然，在这个阶段，该行仅将社交媒体用作单向的营销渠道 — 以通常如何使用传统的营销渠道的类似方式。但是，西太平洋银行已经认识到社交媒体为该组织带来了巨大机遇，因为有成千上万的对话不断发生，并且有些对话是关于其银行。

在基督城地震的不幸时候，西太平洋银行意识到社交媒体是一种用来衡量客户和前景展望，以及对金融机构所采取措施做出响应的很好方法。与此同时，该行意识到从社交媒体收集的客户数据是另一种可能需要手动对账回到数据分析运营场所的信息孤岛风险。

因此，为保持真实的企业数据战略并抑制这种情况发生，银行再利用以前曾使用过的现有 Informatica 资产。

此时，依据 Mayberry 所说，Informatica 的资产至关重要，因为它们能够借助其新的社交媒体数据治理帮助银行。此外，银行评估了可用于分析非结构化和半结构化数据的多种工具。专家系统（意大利文本分析软件供应商）最终选定其现有的银行参考资料及其丰富的产品功能，帮助把握内容的“意义”— 归功于基于深度语言分析（语义引擎）的搜索方法。另外，西太平洋银行使用 Google Maps 提供地理空间数据，并在 iPad 上使用 Microstrategy 提供移动智能，以及自动分析情感、感情、情绪和意见（请参阅图 2）。此外，西太平洋银行正在试验使用开源分布式 Hadoop。根据银行分析，面临的主要挑战在于以最好的方法进行描述，从而充分发挥大数据的作用，因此这非常值得关注。除以上所述之外，创意也非常重要，因为要使内容更加丰富可能会涉及对内容进行相互衔接，以及重新回到其它数据源进行验证，这也需要对全局保持敏锐的眼光。同样，西太平洋银行认识到使用 Hadoop 的主要好处在于能够启用灵活的数据分析。其近实时数据能使测试若干数据集、假设和算法的计算速度更快。

图：西太平洋银行：社会分析试点项目 — iPad 视图

（来源：西太平洋银行，IDC，2011 年 ）

整个项目都具有挑战性，从应用复杂的机器学习技术流程作为数据集成流程的一部分到处理大型数据集合。今天，很显然问题不是找到数据，而是了解什么样的数据与组织相关并搞清楚用它来做什么。此外，需要将数据转换为易于处理的格式，因此可以将它提交给业务主管而不是作为数据集的集合，但是只能以描述方式进行提交，所以能够从其中派生出可操作的见解以便更快做出决策。

Mayberry 已将路线图与里程碑和指标进行组合，因此可以很容易地评估项目的持续进展。尽管最初这并不是一件很容易的事，因为社会分析相对来说仍然是一个新的领域，而且并不是组织中的每个人都知道它的好处，况且大部分的成功案例都是由加强 IT 部门与业务主管之间的协作而促成。事实上，似乎是社交媒体计划已经凝集了整个组织的关注，从而能够围绕与所有数据相关的问题创造新的好处。通过采取整个社交网络的宏观角度来开始该流程，以获得对客户和潜在客户的简明了解。西太平洋银行已经认识到，客户形象远比仅从主要社交网络（如 Facebook、Twitter、Google+、Foursquare、YouTube 等）获得的数据重要。这为银行提供了接触不同类型的客户，以及适应与微观层面上的客户利益相符的内部消息和行为的机会，以便通过每个渠道提供独特的体验。另外，该方法可确保银行能够主动学习与客户或潜在客户进行互动的最好机会，这应是一种新出现的社会创新。

尽管试点项目初期仅限于新西兰，但作为银行在其社交媒体项目的进展，应很快就会认识到通过利用整个品牌的社会数据能够更好地进行定位，以便进一步发现未来的威胁和机遇。事实上，组织可以开始实时聆听客户对话，这也可以成为位于澳新地区的组织清楚表达某些事情需要引起关注的仪表板和图表。因此，考虑到西太平洋银行是一个活动不仅限于某个国家/地区的全球性品牌，也已经将该项目扩展至澳大利亚。通过这样做，业务主管现在可以实时了解银行的品牌运营状况及其不同地域的产品性能，以及与客户社会数据相关的特定品牌性能。

挑战终止

组织面临大数据的挑战永远不会结束；相反，在一个“唯一不变的事情就是变化”的世界里，需要通过随着时间的推移而不断地深入实时了解大型数据集的集合来改善决策。Mayberry 说，该行仍处于早期阶段，并且他们现在正在通过可从大数据分析获得的未来机会从实验阶段向实际工作阶段过渡。西太平洋银行预计，此次挑战将有助于该行深入了解客户之所需，客户之所求，或者他们所面临的挑战。在此过程中，这将能使该行建立、销售和营销更好的产品、方案和服务。

西太平洋银行非常清楚地知道，其社交媒体挑战之旅才刚刚开始，并且这将在其企业级大数据的情况下开始。随着时间的推移，很显然西太平洋银行将会发现无数的挑战，但机会也更多。例如，该行目前正在经历不同团体和国家/地区之间，以及正在共同制订蓝图的 IT 部门和业务主管之间的协作水平不断提高，从而使项目顺利地进展到下一阶段。

尽管目前正在制订最终的路线图，但它对于业务主管和 IT 部门已经变得越来越清晰，如同只能通过两个小组之间的有效协作才能获得成功的结果。另外，西太平洋银行已经确定，实验的下一个重点侧重于将最初的原型扩展至情感交易和 MDM 领域。这将通过利用最新发布的 Informatica 9.1 的功能来实现。

另一方面，主要目标会将社交媒体用作销售工具。如同该地区的其他组织一样，很明显西太平洋银行正在通过从基本情绪分析过渡到客户互动来寻求将其社交媒体体验货币化。在不断变化的时代，企业成功并不仅仅取决于对竞争对手的举动或对客户要求做出反应，而且还取决于预测趋势和客户行为。在这一方面，我们认为社交媒体分析应超越基本情感分析，并逐步过渡至与客户进行积极互动。虽然大多数组织通过社交媒体网络发起与客户的对话，以及积极推动处于被动反应方式状态的产品来实现此目的 — 作为对其需求的反应 — IDC 认为，最健全的组织开始会将预测分析用作社会商业战略的一部分。这将能使组织积极地与客户进行互动，并根据社交网络提供的丰富数据预测他们的需求。