13518219792
给你推荐一份资料，叫《深入浅出MongoDB应用实战开发(基础、开发指南、系统管理、集群及系统架构）》有22课时，侧重于讲解MongoDB的常用特性及高级特性，从实际开发的角度出发对MongoDB进行全方位深入剖析。具体内容如下：可以联系我 1511065175
为鄂伦春等地区用户提供了全套网页设计制作服务，及鄂伦春网站建设行业解决方案。主营业务为网站建设、做网站、鄂伦春网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
MongoDB基础:
第一讲：nosql与MongoDB(nosql兴起的背景、各种nosql数据库介绍，MongoDB的特点)
第二节：MongoDB安装配置 (MongoDB安装使用，基本系统管理的技巧，web控制台使用)
第三讲：MongoDB shell详解 (介绍MongoDB shell使用及命令，备份恢复、数据导入导出)
第四讲：MongoDB文档、集合、数据库的概念(介绍文档、集合、数据库等基本概念，库文件存储方式，命令规则)
第五讲：Mongodb 数据类型介绍 (详细介绍MongoDB支持数据类型)
MongoDB开发指南:
第六讲：MongoDB增、删、改文档(讲解MongoDB中增加、删除、修改文档的命令，插入原理、批量修改、修改器使用)
第七讲：MongoDB查询语法一 (详细讲解MongoDB强大的查询功能,$in、$or、$ne、$lt、$gt等操作符组合查询)
第八讲：MongoDB查询语法二(详细讲解MongoDB强大的查询功能，正则表达式查询、数组查询、内嵌文档查询)
第九讲：MongoDB查询语法三(详细讲解MongoDB where查询，游标操作、分页查询及代码示例、游标内幕)
第十讲：MongoDB索引(详细讲解MongoDB的索引原理、管理、索引查询分析工具、强制索引使用等)
第十一讲：MongoDB聚合统计(讲解MongoDB聚合统计功能)
第十二讲：MongoDB高级指南-命令工作原理(介绍数据库命令的工作原理)
第十三讲：MongoDB高级指南-固定集合、GridFS(介绍固定集合、GridFS原理及应用)
第十四讲：MongoDB高级指南-服务端脚本(介绍服务端脚本dbeval、javascript存储)
MongoDB系统管理：
第十五讲：MongoDB系统管理高级技巧1(系统监控)
第十六讲：MongoDB系统管理高级技巧2(数据库安全、备份恢复、数据修复)
MongoDB集群及系统架构：
第十七讲：MongoDB复制功能(详细讲解MongoDB主从复制建立、管理、维护)
第十八讲：MongoDB副本集功能(详细讲解MongoDB副本集建立、管理、维护)
第十九讲：MongoDB分片功能(详细讲解MongoDB分片建立、管理、维护)
第二十讲：MongoDB内幕( 深入剖析MongoDB系统架构、数据文件结构原理)
MongoDB应用案例：
第二十一讲：基于MongoDB通用帐号管理系统开发1
第二十二讲：基于MongoDB通用帐号管理系统开发2
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。
4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。
HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
1. 简介
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
2. HBase的表结构
HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。
Row Key column-family1 column-family2 column-family3
column1 column2 column1 column2 column3 column1
key1
key2
key3
如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。
这些名词的具体含义如下：
(1) Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：
(1.1) 通过单个row key访问
(1.2) 通过row key的range
(1.3) 全表扫描
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)
注意：
字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。
(2) 列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。
(3) 单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =family + label), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。
(4) 时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。
3. HBase shell的基本用法
hbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。通过执行 help可以看到命令的帮助信息。
以网上的一个学生成绩表的例子来演示hbase的用法。
name grad course
math art
Tom 5 97 87
Jim 4 89 80
这里grad对于表来说是一个只有它自己的列族,course对于表来说是一个有两个列的列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族。
如何在KALI-LINUX上安装Nosql-Exploitation-Framework
然后查看文件夹”Nosql" 中的“README”， 可以用notepad打开，接下来执行如下命令：
root@kali:~#apt-get install Python-setuptools
root@kali:~#easy_install pip
root@kali:~/Nosql# ./installformac.sh #因为该脚本仅是适合苹果电脑，所以难免会出现一些问题
root@kali:~/Nosql#pip install -r requirements.txt
Nosql 是个统称，是菲关系型数据库，2个不是一个概念。
如果有部分nosql数据库可以映射为sql语句的使用方法。没有直接导入的，一般都是程序导入的。
如何将pdf文件存入nosql
1. 使用python脚本可以轻松生成满足条件的数据，具体如下
#coding: utf-8import os, sys, time, datetimefrom itertools import izipN = 100000000def gen_meid(): returndef gen_seq(): returndef generate_message(meid,seq): ts = time.time(); time_st = datetime.datetime.fromtimestamp(ts).strftime('%Y-%m-%d %H:%M:%S') print '/t'.join(( meid, seq, '/N', '/N', '/N', '/N', '0', '0', '0', '0', time_st, '/N', '/N', '0', '/N', '/N', '/N', '/N', time_st ))def main(args): print '/t'.join(( 'deviceID', 'battery', ... , 'accumulatedTime', 'createDate' )) // for mongodb, mysql delete for meid,seq in izip(gen_meid(),gen_seq()): generate_message(meid,seq) pass return 0#==============================if __name__ == "__main__": import sys main(sys.argv) pass#==============================
$ python a.py device.tsv
2. 切分数据（可选）
tail -n +1 device.csv | head -n 5000000 part1.txt
tail -n +100001 device.csv | head -n 100000 part2.txt
tail -n +200001 device.csv | head -n 100000 part3.txt
tail -n +300001 device.csv | head -n 100000 part4.txt
3. 生成txt 文件
python a.py device.txt
