网站首页 > 数据库> 文章内容

【拓维大数据平台】数据同步采集子系统TBP-Sync

※发布时间:2018-1-21 20:35:22   ※发布作者:habao   ※出自何处: 

  TBP-Sync是一个在异构的数据库、文件系统、Hadoop之间进行高速交换“数据”、“文件”的工具,实现在任意的数据处理系统(RDBMS/HDFS/LocalFileSystem/HBase/Hive/Phoenix)之间的离线数据同步功能,同时也可以将数据从关系型数据库或者文件服务器导入到拓维大数据平台(简称:TBP)的HDFS/HBase中,或者反过来从Hadoop HDFS/HBase导出到关系型数据库或者文件服务器中。

  通过MapReduce作业实现并行的导入或导出作业,不同类型的导入导出作业可能只包含Map阶段或同时Map和Reduce阶段。

  1、MapReduce作业的Map阶段中从外部数据源抽取数据,并将数据输出到HDFS临时目录下。

  1、MapReduce作业的Map阶段,从HDFS或者HBase中抽取数据,然后将数据通过JDBC接口插入到临时表中。

  1、MapReduce作业的Map阶段,从HDFS或者HBase中抽取数据,然后将数据写入到文件服务器临时目录中。

  1、简单易用——采用完全的B/S图形界面配置,操作简单;支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;

  2、安全可控——支持实时作业进度、运行状态等信息;作业失败时支持邮件报警;支持实时查看作业的完整执行日志。

  3、高并发数据迁移——支持分布式集群上作业运行;支持按字段拆分并行导入;支持数据传输过程全内存操作,不读写磁盘,也没有IPC。

  4、多种数据源支持——支持多种输入、输出数据源类型(包括关系型数据库、MPP数据库、大数据存储、非结构化存储、NoSql数据库等);

  5、功能丰富——支持表级、字段级数据过滤Filter,自定义作业参数,增量同步数据,按前台配置自动建表,自动识别来源数据与目标的映射关系,目标表的数据清理,来源的数据加工转换。返回搜狐,查看更多

  

相关阅读
重庆学习网zslpsh,0755深圳房产人才招聘网,拾年网90后,anedc股票,最新电影下载淘娱淘乐,重庆中学生网高考,重庆中学生网高考,学习重庆方言网,重庆中学生学习方法,重庆俗语网,中学生网zslpsh,0755深圳交友网,重庆初中生,贵州重庆方言网,025新闻网,西南重庆方言歌曲,025南京交友网,重庆农家乐美女,观赏蟹种类zadull,云南重庆方言网,重庆中学学习网,028成都交友网,推广taoyutaol,西南四川方言网,观赏龟论坛zadull,四川重庆方言网,022天津交友网,重庆中学生网家长,鹦鹉鱼zadull,重庆俗语,电影淘娱淘乐,taoyutaole娱乐,华夏视讯网,0755深圳旅游招聘,昆明重庆方言网,淘娱淘乐影视,www.00game.net,观赏鱼zadul,重庆高考zslpsh,重庆中学生网高考,027房产招聘网,坝坝舞wagcw,西南重庆方言网,贵州重庆方言网,重庆言子儿网,热带鱼zadull,重庆高考zslpsh,0755深圳旅游招聘网,淘娱淘乐影视网,0571.361.cm,重庆方言学习网,028成都新闻,异形观赏鱼种类,影视网淘娱淘乐,最新电影下载淘娱淘乐,0773桂林论坛,拾年网80后动画片,观赏蟹论坛zadull,观赏龟繁殖教程,重庆一中zslpsh,重庆俗语网,广场舞wagcw,观赏虾的种类zadull,观赏鱼观赏虾观赏龟,西南方言网,观赏鱼之家论坛zadull,战争前线辅助00game,西南重庆方言小说,重庆中小学zslpsh,推广taoyutaol,战争前线论坛00game,0871交友网,025南京新闻网,重庆言子儿网站,娱乐taoyutaole,022天津交友网,025新闻网,重庆中学生网学习,022天津交友网,重庆方言歌网,www.120.cm健康网,anedc股票,重庆初中生