Hbase--源代码，非关系型，分布式数据库，采用Google的BigTable建模，用Java编写，并在HDFS上运行。
operation SQL：通常是单点查询，延时要求小于 1 秒，该类系统主要是HBase。
Hadoop用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理,
对于最常见的 3 个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。
Sqoop(发音：skup)是一款开源的工具，一个用来将Hadoop和关系型数据库中的数据相互转移的工具，
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，
已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，
Elasticsearch是用Java开发的，并作为Apache许可条款下的源码发布，是当前流行的企业级搜索引擎。
因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。
一、什么是大数据 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据需要特殊...博文来自：Troy1214的博客
最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在......博文来自：Java团长
大数据的发展历程总体上可以划分为三个重要阶段，萌芽期、成熟期和大规模应用期，20世纪90年至21世纪初，为萌芽期，随着，一批商业智能工具和知识管理技术的开始和应用，度过了数据萌芽。推荐一个大数据学习群...博文来自：weixin_41780944的博客
一、大数据的基本概念大数据，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。简单说就是将大量的数据通过类比和分类，分为众多较小型数据，将各个小型数据集合并后进行分析便可得出许多额外的...博文来自：Hacker_Wind的博客
大数据的特点具体来说，大数据具有4个基本特征：一是数据体量巨大。百度资料表明，其新首页每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张纹身的忌讳和讲究A4纸。有...博文
一、项目背景由于以前系统设计数据库的时候没花多少心思，随着业务越来越复杂，做数据分析的时候经常卡在数据质量。，最近部门总监交下来一项任务，做一套数据质量的规范出来，想想有零星想法但...博文来自：xiaxianba的博客
大数据定义：短时间快速大量产生多种多样的有价值的信息（个人理解）大数据5V特性大量（volume）高速（velocity）多样（variety）低价值密度（value）真实性(veracity)为了解...博文来自：YJYjhd的博客
一、大数据分析的五个基本方面1、可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同...博文来自：似水流年
为了效率和质量，每篇文章发布6个知识点，由简单及难，我们继续HIVE：1）hive支持notin吗？不支持，可以用left join 实现此功能。2）Hive有哪些方式保存元数据，各有哪些优缺点？...博文来自：静待花开
HDFS：类似Google GFS的分布式文件系统 MapRedce：并行计算架构，将计算任务拆分成大量可以运行的子任务，接着并行运算，另外会有一个系统调度的架构负责收集和汇总每个子任务的分析结果下载
因为大数据前景好，薪资高，很多人想通过参加学习大数据，然后进入大数据行业发展。但是因为大数据的门槛较高，对于学习人员有一定的要求，那么学习大数据需要什么基础知识呢？首先我们了解下对于大数据学习者本身的...博文来自：的博客
Kafka是一种高吞吐量的分布式发布订阅消息系统，，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使常普通的硬件...博文来自：wyc2410的专栏
一.Hadoop的起源 谈到大数据，就不得不提Google的三驾马车：GoogleFS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设...博文来自：tp的博客
导读 企业想要将用工风险降至最低，从雇前招聘到雇中在职管理再到雇后离职，要步步把关，层层把控。云考拉在职大数据审计可以为企业提供在职员工身份真实度、忠诚度、违、信用度、滋事度等度审计服务。近几...博文来自：cqacry2798的博客
1.c语言函数为何没有默认参数?2.c++是如何实现继承的?对于c++的左值右值理解多少？内存使用机制呢?3.渲染方程. a.TransformFeedback(例如这篇文章的介绍:点击打开链...博文来自：vily_lei的专栏
不积跬步无以至千里，这里会不断收集和更新Java基础相关的面试题，目前已收集100题。1.什么是B/S架构？什么是C/S架构B/S(Browser/Server)，浏览器/服务器程序C/S(Clien...博文来自：weixin_34008805的博客
1、大家通常都讲大数据是4V：Volume体量大、Velocity增速快、Variety类型繁多、Value价值密度低； 2、但是大数据到底是什么样子的，没有看到严格的理论定义或描述； 3、有人说...博文来自：可可西里的专栏
Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数...博文来自：疾风知劲草，智者必怀仁
计算机软件计算机软件是使用计算机过程中必不可少的东西，计算机软件可以使计算机按照事先预定好的顺序完成特定的功能。计算机软件按照其功能划分为系统软件与应用软件：系统软件DOS(DiskOperating...博文来自：李阿昀的博客
作为一名Android开发人员，面试的时候也会经常被问到一些java基础方面的。这就前段时间面试中遇到的一些java方面的，可能不全，只是我面试中遇到的。写这篇博客只是为了自己在以后的面试中(虽然现在...博文来自：帅气大果果
1、导入虚拟机 =》解压=》英文目录下=》导入VMware中【已移动】=》超级管理员用户root/1234562、为了我们所有人虚拟机保持一致：修改VMwareVmnt8的适配器网段地址192.1...博文来自：wyz0516071128的博客
写在前面本文主要面向的读者是在校计算机/软件相关专业想踏足大数据领域寻找相关实习机会的学生，以及刚工作1-2年想转大数据方向的同学。读完本文，你将收获大数据技术学习的基本方向，以及在面试前需要准备和复...博文来自：cqacrh2798的博客
一、大数据 1、什么是大数据？ 大数据（Bigdata或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理...博文来自：m0_37597006的博客
大数据基础知识点：javaList特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。数据库的三大范式：原子性、一致性、唯一性对象和引用对象：对象就是好没有初始化的对象，引用对...博文来自：m0_37758017的博客
你所知道的设计模式有哪些Java中一般认为有23种设计模式，我们不需要所有的都会，但是其中常用的几种设计模式应该去掌握。下面列出了所有的设计模式。需要掌握的设计模式我单独列出来了，当然能掌握的越多越好...博文来自：LiuHai2014csd的博客
刚刚过去的金九银十换工大潮，小编在公司作为底层中坚，目前已经面试了将近100个求职者,作为一名技术深度不怎么样的程序员.我还是被雷了个外焦里嫩...简单介绍后，面试一般丛基础开始，基础部分的顺序...博文来自：weixin_43774559的博客
大数据本质上是人类社会数据积累从量变到质变的必然产物，是在信息高速公基础上的进一步升级和深化，提升人工系统智能水平的重要途径，对人类社会的发展具有极其重大的影响和意义。 ...博文来自：多智时代的博客
最近要参与大数据治理项目，但大数据相关知识是零，因此从头开始了解学习。本人学习目的是用于测试，因此jindui看了一些材料，整理链接到这里，方便大家了解，也作为一个学习经历，便于以后查阅。Hadoop...博文来自：杯酒难醉的博客
CentOS常用命令文件目录类建立目录：mkdir目录名删除空目录：rmdir目录名无条件删除子目录：rm-rf目录名改变当前目录：cd目录名(进入用户home目录：cd~;进入上一级目录：cd-)查...博文来自：疾风知劲草，智者必怀仁
原标题：关于Linux网络，你必须知道这些一、网络模型1.国际标准化组织定义了一个七层的OSI网络模型，但是这个模型过于复杂。2.实际工作中的事实标准，是更为实用的TCP/IP模型TCP/IP模型，把...博文
错误示例：运维这工作，没出事，谁都想不到有你这号人，啥好事和你都没有关系；一旦出了状况，全公司上上下下都在找你，你到底成天在搞什么东西，这话，不好干啊。我被录用后，就好好的工作呗，不调戏前台妹子，...博文来自：广志大兄弟的博客
1、什么是“云计算”及举例说明 云计算(cloudcomputing)是商业化的超大规模分布式计算技术。即：用户可以通过已有的网络将所需要的庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多...博文来自：花花
大数据已经成为时代发展的趋势，很多人纷纷选择学习大数据，想要进入大数据行业。大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识?1、学习大数据首...博文来自：数智集的博客
1. 对于海量小文件，采用MapReduce方式分布式框架计算，例如可以分布式统计日志。MapReduce：是Google的分布式计算框架，主要是使用让数据和任务进行分解。Map：让不同...博文来自：堵车王的专栏