中石化bw数据库_中石化财务共享门户
本文作者挑选中石化bw数据库了市面上6款比较常见的BI产品,分别从产品的定位、性能、功能等方面展开了使用测评并进行了总结,与大家分享。
伴随着ERP、CRM、OA、支付、会员等信息系统的普及落地,国内企业的信息化已经步入快速发展阶段,同时,企业对于商业智能(BI)的需求大量释放。然而,如何选择一款适合自己的BI产品一直是困扰很多企业的难题。
中石化bw数据库我们先来了解一下什么是BI。中石化bw数据库我们可将其定义为中石化bw数据库:将存储于各种商业信息系统中的数据转换成有用信息的技术。BI的实现包含了“数据→信息→知识→行动→智慧”这一过程所运用的技术和 *** 。
BI最早来源国外,国内技术起步较晚,所以国内BI市场最初也被国外的产品所霸占。而随着近几年本土BI产品的崛起,国内企业的选择变得更加丰富。很多企业从国外产品试到国内产品,从明星产品试到小众产品,花费了大量时间和精力才找到适合自己公司当前发展趋势的BI服务商。今天,小编挑选了市面上6款比较常见的BI产品,将分别从产品的定位、性能、功能等方面为大家进行使用测评,希望可以帮助有需要的朋友选择到合适的BI产品。
测评产品本次,我们选择了三款老牌的国外BI产品(Tableau、PowerBI、Qlik)和三款在国内认知度较高的BI产品(帆软、观远数据、永洪)。首先我们从产品定位、聚焦行业以及服务模式对比下这几款产品的差异之处。
总结来说,因为都是工具型产品,国外老牌的3款BI产品适用的行业会更加广泛。但同时也存在一个问题,都需要依赖第三方公司来落地实施,然而第三方公司的实施水平是参差不齐的,实施的质量和售后服务无法保障。
再者,本土的帆软、观远数据、永洪,从覆盖行业来说都有自己的侧重点。帆软因为是从报表起家,所以在模式上类似于国外的Tableau和PowerBI,偏向工具层面,覆盖行业也较为全面。观远服务领域相对聚焦,深耕零售消费领域,除了敏捷BI,另外加入了AI的元素,也是中国BI市场融入AI的一个代表。永洪主推是敏捷BI,覆盖行业也较为全面, *** 类也是主打的行业之一。
在产品功能层面,使用者可以从以下几个层面去对比这几款产品的差异。
01 产品架构从国外的产品来说,Tableau和PowerBI在C/S端开发,开发完成后发布至服务器,可在B/S端查看,对于用户来说,灵活性相对较差。
QlikSense的C/S端和B/S端皆可用于数据分析和看板开发,例如Enterprise Server版本可在浏览器端开发,Desktop版开发者需安装独立客户端,使用本地计算机资源。当开发人员开发同一个项目时,协同性较差,使用产品对源数据进行数据处理后,较难将中间数据集分享进行同步开发。QlikView是通过Qlik Desktop开发,开发后发布至服务器,可在B/S端查看。
再看国内的产品,FineReport的设计器设计开发报表模板在C/S端进行,需要专门的客户端安装,相对来说兼容性比较差,开发和维护成本较高。FineBI、观远是纯 B/S 端架构,数据分析与可视化构建均在浏览器端完成,维护升级成本降低。永洪也是B/S架构,平台基于MPP(大规模并行处理)架构,但没有数仓作为可承载的容器。
02 产品性能Tableau 的性能一直饱受诟病。2018年发布的 Hyper(收购改造后)一定程度解决了此问题,但面临国内的大数据体量规模依然无法有效承载。
再看PowerBI,根据Gartner报告,通过受访者访问收集到,PowerBI的数据连接功能常有不稳定的情况。使用者需要将数据导入到PowerBI中,但PowerBI计算性能较差。
Qlikview的内存计算方式导致了当数据量大的时候,对机器内存的消耗是异常巨大的。Qlikview Community中部分用户举例,当处理上亿行数据时,哪怕使用了256G的内存,依然需要耗费几十分钟去打开。Qlikview虽然有集群,但是本身并不支持任务的水平扩展,且这种高配置机器的投入成本是巨大的。
FineBI的话,性能在千万级,亿级的数据量下,性能体验是比较慢的。帆软官网给出的速度提升方式是通过建立FineIndex,将数据抽取到硬盘上,但数据会加倍存储,例如原先1G的数据FineIndex需要1.5G~3G的存储空间。
观远最新的架构是采取Spark + delta lake的架构,Spark 为计算引擎,delta lake为分布式数据库。Spark 是专为大规模数据处理而设计的计算引擎,已形成一个高速发展应用广泛的生态系统。Delta lake是数据湖的概念,作为一个存储层,减少垃圾数据,增加处理性能。最新的产品功能“极速分析引擎”,能够实现1亿明细数据2~3秒返回计算结果,做到亿级数据秒级响应。
永洪能够支持大数据量下的分组性能优化,避免出现内存占用过高的情况,目前支持千万级数据秒级响应。产品层面也带有“检测性能”的功能,可以提醒用户哪些操作导致性能过慢。
03 系统集成Tableau的话,旧版本Tableau集成能力不开放。系统集成需要美国原厂开发人员支持,尤其对于国内客户来说交付时间长。新版本提供开发人员工具和API,可对 Tableau 进行集成、自定义、自动化和扩展。
PowerBI仅支持Azure服务器部署,极大限制了IT选购灵活性,基于国内大部分企业现状,部分数据放在本地服务器,数据的连通性将会是较大的桎梏。
Qlik view支持SSO集成,但值得吐槽的一点是官方文档也存在不准确的情况。Qlik管理控制台(QMC)提供了面向Qlik Sense中全部区域的中央管理与监控点,包括多地理部署。Qlik Sense也可以和Qlik view进行集成,但得先处理好Qlik view报表的权限管控,不是所有的用户都能进行访问。
总结来说,国外的产品都会存在本地化支持差,例如不支持钉钉、企业微信的集成、以及国内代理商无法针对客户需求进行需求管理和版本迭代更新这样的现状。
国内的几款产品基本上都可以做到和钉钉、企业微信集成和API接口嵌入支持。
04 数据接入Tableau提供通用的文件数据导入与国际主流的数据库接入,整体来说接入的数据源种类还是比较全的,一些细节上,例如对SAP BW无法进行接入。
PowerBI提供通用的文件导入与国际主流数据库接入,一般需要通过ODBC连接来接入,不支持方言解析,更无性能调优。例如,Power BI Desktop中的大多数数据连接都需要Internet Explorer 10(或更高版本)进行身份验证。链接的数据源种类多,但常常会有一些验证和限制。
Qlik提供通用的文件导入与国际主流数据库接入,对本土数据库产品支持能力差。Qlik Sense不支持直连模式的数据接入,类似功能需要使用On-Demand App构建“大数据”的子集加载到服务器内存后才能开始后续计算,构建方式比较复杂,且无法实现计算逻辑下推。在某些动态分析场景下无法预先构建数据子集时,没有可行的方案。QlickView通过单独安装OLE DB和ODBC连接外部数据源,多用户关系型数据库,可能需要安装更多允许客户端电脑访问服务器上数据库的 DBMS软件。
和tableau一样Power BI和Qlik可对接部分国外主流SaaS数据源,但对国内SaaS数据源无原生支持,定制开发成本非常高。总结来说,国外产品对本土数据库产品支持较差。
(Tableau截图)
帆软能够接入来自大数据平台、多维数据库、关系型数据库、No SQL数据库和文件数据源。但无法直连数据库进行跨数据源的连接,在业务包里进行ETL操作后,需要更新FineIndex后才能看到结果。管理员能够进行BI数据连接以及分级权限,支持连接国际主流数据库。
(帆软截图)
观远能够接入文件类的excel、csv,支持国际主流数据库的和国产主流数据库的通用接入与定制接入(例如TiDB,MaxCompute, AnalyticDB, Doris等)、以及各种国产HR系统、ERP、POS、CRM等SaaS云平台数据接入。云平台的数据接入在当今的业务发展需求下实际意义更为明显。
(观远截图)
永洪也支持接入主流数据库,其中石化bw数据库他数据库也可以通过 GENERIC 进行连接。
(永洪截图)
05 数据预处理(ETL)Tableau前不久刚推出了Tableau Prep, 分为两个部分,负责创建数据流的Tableau Prep Builder 和管理调度的Tableau Prep Conductor,在Tableau Server和Tableau Online基础上单独收费,不支持Tableau Desktop,在使用时需要还需单独安装。功能上来说,支持筛选、添加、重命名、拆分、分组或移除字段等清理操作。 Tableau Prep Builder 会将数据传递到 R 的 Rserve 或 Python 的 Tableau Python 服务器 (TabPy),并将生成的数据以表形式返回到流程,可以在此基础上继续清洗与分析输出。
Qlikview具有ETL功能,能够实现数据的抽取,转换和加载,优于大部分传统BI。Qlikview的ETL结果存储于Qlik文件中,当加载相应文件时运行,导致了ETL的复用性比较差,且不具备单独的ETL调度的能力。所以Qlikview的ETL仅能支持简单的关联和聚合,对于复杂指标的计算、数仓的构建,还是需要依赖传统的ETL工具来完成。
FineBI的ETL主要通过JEP(Java Expression Parser)实现,也可以通过SQL语句实现,但两者不能交互使用。细节上来说,对于多表处理仅支持左右合并,整体用起来逻辑会有点混乱。
观远有内置智能数据处理模块(SmartETL),支持对多数据源进行数据处理操作与数据融合;并且是拖拽的可视化方式,使用门槛低,对于没有SQL基础的业务人员比较友好。
永洪和Tableau类似,没有ETL,多数据源的融合相当于做了一张视图数据集,是逻辑上的融合非物理上的数据融合。再者,比较致命的一点是没有数仓建模,数据只是直接抽取到MPP进行列式存储。
06 分析仪表板Tableau作为主流的一款数据可视化工具,有自己的VizQL(数据图形语言),不过使用起来对终端使用者有一定的IT背景要求,一些可视化图表的 *** 需要多种模块的组合形成。在做自主分析的推广时会因为产品对使用者的要求遇到较大阻力。
(Tableau截图)
PowerBI是企业级BI工具,通常由IT或者数据团队进行报表开发,发布后,只读用户可通过web端访问,但修改和编辑需要desktop版本才能进行,灵活性有一定的限制。如果要推广至业务人员随时可开展数据分析工作,desktop版本的推广成本较高。另外,PowerBI处理数据需要学习DAX函数,功能强大,但学习成本较高。
(PowerBI截图)
Qlikview能够实现页面上数据的自动关联,快速构建多维分析看板。但是本身的模型类似维度模型,对于原始数据的结构性要求较高,通常需要企业具备较好的基于维度模型的数仓架构。这也就导致了Qlikview虽然可以做灵活的筛选和下钻,但是很大程度上限制于数仓结构内,对于灵活的数据维度探索是不如市场主流的自助分析型BI工具的。
(Qlik 截图)
FineBI的操作逻辑比较分散,横轴纵轴是放置对应的维度和数值,文本放置的位置是另设的。在函数应用上需要特别注意聚合函数和非聚合函数的使用差别,函数用途比较有限。不过,也提供了一系列的组件协助进行分析,例如dashboard组件、过滤组件等进行辅助分析。
(帆软截图)
观远通过拖拽式可生成可视化分析图表,降低了开发成本,比较来说能更好的赋能终端业务人员的即席分析需求。单个卡片上也能支持新建字段,和数据清洗的操作一样,操作统一性比较高。
(观远截图)
永洪可以设置仪表板的主题和布局方式,布局组件的使用能快速协助新手落地一个仪表板页面。流程上,支持审批(图表 *** 与发布),可视化上除了常规的平台效果还有3D效果,这一块实际上从数据分析的角度来说不是必要的,3D效果有时反而会产生一些分析干扰。
07 数据实时处理Qlik Sense Enterprise Server版本虽然使用内存技术,优化了前端加载和显示速度。但需要先publish cube,Qlik Sense cube采用了集中式计算,对于同一个计算任务,只能在一个节点上进行处理,当任务量增多时,不仅需要扩节点,而且对于单个节点的配置也有较高的要求,以免某个大任务将单一节点击溃。
帆软,支持直连和抽取两种模。FineBI的“实时数据”实质是数据库直连,和观远、永洪的直连模式一致,此时,数据计算压力都在外部数据库,对于分钟级别的准实时,一般企业的数据库服务器资源很难承受。直连模式也无法灵活的进行多数据源融合。
观远除了直连和抽取外,还提供基于Lambda架构的实时数据引擎,能够将历史数据与实时数据分开处理,既能够实现多源数据的融合,又可以支持增量更新且占用较少的计算资源。
08 权限管控数据权限管控方面,Tableau支持将做好的内容打包发布为工作簿和数据源并且进行指定用户组分配查看权限。同时,由管理员可通过筛选器进行用户组的行级别权限分配,但是无法控制用户查看的列级别的权限粒度。无法支持企业对数据列权限的控制需求,例如商品表中销售人员无法获取成本信息等具体场景。
PowerBI目前仅支持行级权限,不支持列权限,无法满足同一数据表满足多种权限配置的使用。限制了企业级的使用,例如,同一逻辑,但不同权限需要多张数据表的处理才能支持实现,逻辑重复处理且出现冗余的数据表。
FineBI权限管理使用户可以访问而且只能访问自己被授权的资源,从权限项和权限受体两方面进行管控。实现权限分配、用户权限查看、分级权限管理和权限复用、模板导出权限等,权限管理相对细致。
观远支持行和列的权限,权限细致到每个单元格,通过开发一张报表,实现不同角色的用户登录之后看到不同的信息。
永洪支持数据集上一个个去设置模板,但目前不支持权限的模板化。
09 移动端Tableau的移动端对于系统版本有要求,iOS 12+、Android 7+Tableau Online或Tableau Server 10.5+的帐户。可以将 VPN 用作独立解决方案,或者集成到像Workspace ONE、MobileIron、XenMobile 或 InTune这样的MDM工具中。
Power BI对移动端支持有限,需要使用APP,需要推广用户进行下载;企业微信、钉钉的打通需要通过SDK对接。
帆软的移动平台是对移动端进行设置的地方,支持APP集成和H5插件,可以自定义移动端App启动画面、可进行设备绑定,还可以进行二维码配置。不过,FineMobile需要额外进行购买。
观远的移动端通过H5实现,支持移动端布局独立设置、移动端页面个别图表的隐藏功能,能够一键置换PC端和移动端。最近还推出了“移动轻应用”模块,也是基于H5,支持页面的顶部和底部导航配置,效果上更类似原生APP的功能。
永洪的移动端通过APP实现,支持集成到钉钉、企业微信,可以通过手机号进行密码找回。
10 售后服务Tableau 国内团队人员少于50人,且,原厂人员主要负责销售和产品层面的服务。如需实施,需由代理商的人员完成,原厂服务主要处理bug、功能反馈,功能咨询。国内无产品研发。产品服务因时差原因,反馈周期极长,这也是其他国外产品的一个通病。其他例如社区的详细内容还是英文版,对国内用户不是特别友好。
帆软是提供1年的免费售后服务,分总部运营中心和区域运营中心,总体来说覆盖面更广。提供了学习和认证以及售后社区的使用支持。
观远这边能够提供类似产品培训等的基础服务和原厂实施服务,也会定制化的进行企业内部的推广协助,成立了观远学院,售后社区等。
永洪的文档还是比较全的,但因为实施进行外包,整体售后的服务质量不敢保证。
总结来说,国外产品的一些通病是无法提供原厂服务,在售后支持上、本地化客户的需求响应上无法做到及时。如果找相关资料也建议直接查看官网的英文版内容,中文版文档的更新会有所滞缓。国内的产品来说,帆软的学习成本比较高,3~6个月入门,1~2年能够掌握其精髓,如果是连锁零售和泛互联的新锐公司可以看看观远的产品,行业契合度比较高,产品上手时间会快很多。
当然,大家也需要结合自己的实际情况来进行判断,例如之前选择Qlik的公司可能会优先考虑升级成Qlik Sense,但如果业务人员想进行自主分析,恐怕升级成Qlik Sense也无法满足。是结合产品定位进行重新选型还是先同款产品内部升级,都是需要慎重考虑的事情。
还有一些细节点,例如PowerBI,基于微软云的版本功能非常强大,但私有化版本功能是落后于云上版本。也需要结合公司和集团的整体使用状况来综合判断。
本文由 @是个数据人 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于CC0协议