遥不可及|DataForce组件技术及功能：数据批量和实时同步( 三 ) DataForce是慧都自主研发、应用最灵活

通过轮询的方式实现增量，只能做到准实时，而且轮询间隔越短，对源库的影响越大。

DataForce数据实时同步工具的功能

监控日志信息，把采集到的日志信息保存到分布式存储环境或者存入数据库或者数据仓库。可以把目标端配置为分布式消息系统，结合使用消息中间件做缓冲，再通过流处理框架处理，写入到分布式文件系统或者是数据仓库或者是关系数据库等。
通过JDBC连接关系数据库，通过轮询的机制实现对数据库新增数据的实时监控，把监控到的数据可以发送到多种、目标端，包括分布式文件系统，关系数据库和分布式数据库，消息系统等。实时数据采集工具默认提供了一些常用的连接不同类型目标端的接口，也可以根据业务需求自定义扩展。
可以结合分布式消息系统，把实时采集的数据发送到分布式消息系统中，再让的流处理框架对数据进行处理分析。

【遥不可及|DataForce组件技术及功能：数据批量和实时同步】DataForce数据实时同步工具的应用场景

海量日志、监控数据实时采集，把采集的海量信息存储到分布式文件系统或者数据仓库中。
关系数据库新增数据实时采集，可以实时监控关系数据库的数据新增情况。然后写入到channel中，根据sink配置情况，可以写入另一个关系数据库，也可以直接存到分布式文件系统和数据仓库中。
监控某端口的实时数据信息，即只要应用程序向这个端口里面写数据，这个source组件就可以获取到信息。然后通过配置的sink ，把信息送到目标端
监控消息系统或者消息队列的实时数据。
监听一个指定的目录，即只要应用程序向这个指定的目录中添加新的文件， source组件就可以获取到该信息，并解析该文件的内容，然后写入到channel 。
接收json格式数据。
监听http服务数据。

慧都工业大数据分析方案即将精益生产理论体系进行了完美的融合和应用，并对大数据总体架构进行了更细致明确的解读，提供自主研发的大数据平台，实现ETL、数据管理及存储、数据建模。如下图所示：

关于慧都大数据分析平台
慧都大数据分析平台「GetInsight?」升级发布，将基于企业管理驾驶舱、产品质量分析及预测、设备分析及预测等大数据模型的构建，助力企业由传统运营模式向数字化、智能化的新模式转型升级，抓住数据经济的发展势头，提供管理效能，精准布局未来。了解更多，请联系在线客服。
慧都大数据专业团队为企业提供商业智能大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。
欢迎拨打慧都热线023-68661681或咨询慧都在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！