mongodb日常运维
mongodb日常运维
mongodb导数
mongodump --host $IP:$PORT -u xxx -p xxx --numParallelCollections=8 --authenticationDatabase=admin --gzip --oplog -o $MONGO_DATA
1. directory
如果指定参数directoryperdb =yes，则会每个db一个目录。其中包含该db的所有数据文件
directoryPerDB: true
> show databases;
admin 0.000GB
local 0.009GB
test 0.000GB
> exit
bye
$ls
admin test local mongod.lock sizeStorer.wt WiredTiger.basecfg WiredTiger.lock
mongodb
文档 document/
集合 collection/
数据库 database
2.mongdb自带监控工具
>> mongostat --host 主机名:端口号 --username=xxx --password=xxxx --authenticationDatabase=admin
insert query update delete getmore command dirty used flushes vsize res qrw arw net_in net_out conn set repl time
*0 3 *0 *0 0 3|0 0.0% 80.0% 0 262G 201G 0|0 0|0 3.12k 51.2k 125 test222 PRI Dec 26 19:50:53.200
*0 34 *0 *0 0 3|0 0.0% 80.0% 0 262G 201G 0|0 1|0 28.5k 58.1k 125 test222 PRI Dec 26 19:50:54.200
*0 8 *0 *0 0 1|0 0.0% 80.0% 0 262G 201G 0|0 0|0 7.30k 54.1k 125 test222 PRI Dec 26 19:50:55.202
*0 16 *0 *0 2 7|0 0.0% 80.0% 0 262G 201G 0|0 0|0 15.1k 57.9k 125 test222 PRI Dec 26 19:50:56.199
*0 26 *0 *0 0 1|0 0.0% 80.0% 0 262G 201G 0|0 0|0 19.8k 54.6k 125 test222 PRI Dec 26 19:50:57.199
*0 30 *0 *0 0 2|0 0.0% 80.0% 1 262G 201G 0|0 0|0 24.4k 57.4k 125 test222 PRI Dec 26 19:50:58.199
$ mongotop --host 主机名:端口号 -u=xxx -p=xxx --authenticationDatabase=admin
2017-12-26T19:53:12.912+0800 connected to: 主机名:端口号
ns total read write 2017-12-26T19:53:13+08:00
local.oplog.rs 1ms 1ms 0ms
admin.system.profile 0ms 0ms 0ms
admin.system.roles 0ms 0ms 0ms
admin.system.users 0ms 0ms 0ms
admin.system.version 0ms 0ms 0ms
3.mongdb投票
Hidden：不会被选举为primary,对于client application是不可见的,具有投票权
Priority：成为primary的优先值，priority越高，成为primary的可能性越高。数值范围：0—100,=0表示不可能成为primary，也不会触发election
Voting：投票的权值，=0表示该节点没有投票的权利
Arbiter：仲裁节点，具有投票权，没有复制数据
4.读写模式
primary：主节点，默认读操作只在主节点，如果主节点不可用，报错或者抛出异常。
primaryPreferred：首选主节点，大多情况下读操作在主节点，如果主节点不可用，如故障转移，读操作在从节点
secondary：从节点，读操作只在从节点， 如果从节点不可用，报错或者抛出异常
secondaryPreferred：首选从节点，大多情况下读操作在从节点，特殊情况（如单主节点架构）读操作在主节点
nearest：最邻近节点，读操作在最邻近的成员，可能是主节点或者从节点。
--邻近的判断标准为client对各台匹配要求的主机进行ping，最快响应的则最近
5.复制 oplog
> show dbs
admin 0.000GB
gcrm 1445.183GB
local 25.243GB
test 0.000GB
> use local
switched to db local
> show collections;
me
oplog.rs
replset.election
replset.minvalid
startup_log
system.profile
system.replset
> db.oplog.rs.find()
{ "ts" : Timestamp(1513290869, 119), "t" : NumberLong(0), "h" : NumberLong("-164732681870941527"), "v" : 2, "op" : "d", "ns" : "xxxx", "fromMigrate" : true, "o" : { "_id" : ObjectId("xxxx") } }
ts：8字节的时间戳，由4字节unix timestamp + 4字节自增计数表示。这个值很重要，在选举(如老primary宕机时)新primary时，会选择ts最大的那个secondary作为新primary。
op：1字节的操作类型，例如i表示insert，d表示delete。
ns：操作所在的namespace。
o：操作所对应的document,即当前操作的内容（比如更新操作时要更新的的字段和值）
o2: 在执行更新操作时的条件，仅限于update时才有该属性。
其中op，可以是如下几种情形之一：
“i”： insert
“u”： update
“d”： delete
“c”： db cmd
6.查看oplog状态
> db.printReplicationInfo()
configured oplog size: 200000MB
log length start to end: 1001366secs (278.16hrs)
oplog first event time: Fri Dec 15 2017 06:34:29 GMT+0800 (CST)
oplog last event time: Tue Dec 26 2017 20:43:55 GMT+0800 (CST)
now: Tue Dec 26 2017 20:44:03 GMT+0800 (CST)
说明：oplog 使用size约为200000MB。第一个操作发生时间为Fri Dec 15 2017 06:34:29 ；最后一个操作发生时间为Tue Dec 26 2017 20:43:55 。存储了1001366秒的数据（1077.06hrs）
> db.oplog.rs.stats()
7.查看主从延迟
> db.printSlaveReplicationInfo()
source: 10.33.57.174:24000
syncedTo: Tue Dec 26 2017 20:53:05 GMT+0800 (CST)
0 secs (0 hrs) behind the primary
8.查看分片状态
mongos> db.mongos.find()db.mongos.find()
mongos> db.stats()db.stats()
--mongodb分区
mongos> db.databases.find()db.databases.find()
9.分片
--mongodbs缩减集群容量
1) 确认是否为database的primary shard，是，则需移除
use admin;
db.runCommand({movePrimary:"xx",to:"xxx"})
2) 设置balancer为true
use admin;
sh.setBalancerState(true)
3) 移除分片
use admin;
db.runCommand({removeShard:"s3"})
--DATABASE设置分片
设置：
use admin;
sh.enableSharding(“zydb”);
检查：
use config;
db.databases.find( { "partitioned": true } )
或
use zydb;
db.stats()
10. mongoDB数据块均衡
检查balancer设置：sh.getBalancerState()
激活balancer：sh.setBalancerState(true)
禁止balancer：sh.setBalancerState(false)
检查当前balancer是否正在均衡：
use config;
db.locks.find( { _id : "balancer" } ).pretty()
State:2—正在进行均衡；
11.WT内存
db.serverStatus()：serverStatus 命令，或外壳程序中的 db.serverStatus() 返回数据库状态的总览，具体包括磁盘使用状况、 内存使用状况、 连接、 日志和可用的索引。此命令迅速返回，并不会影响 MongoDB 性能
db.Stats()：Stats 命令，或外壳程序中的 db.stats() 返回一份针对存储使用情况和数据卷的文档。 dbStats 显示了存储的使用量、包含在数据库中的数据的总量以及对象、集合和索引计数器。
db.getLastError():getLastError 命令，查看最近的错误。
mongoDB内存使用情况
db.serverStatus().men
mongostat --port <xxx> -u<xxx> <password>
若操作不在内存中进行，fault不是0
12.mongodb日常操作
db.addUser('test','test',true) 添加用户，readonly--false/true
db.addUser('test','test222') 改密码
db.system.remove({user:"test"})或者db.removeUser("test") 删除用户
use admin 超级用户
db.auth('test','test') 用户授权
db.system.user.find() 查看用户列表
show users 查看所有用户
db.prntCollectionStats() 查看各集合状态
db.printReplicationInfo() 查看主从状态
show dbs
db 查看当前database
show collections 查看当前db下的collections
13.日常命令
table/collection
column/fields
db.dropDatabase() 删除数据库
db.user.insert({user_id: "abc123", age: 55, status: "A"}) 隐士创建collection
alter table users add join_date datetime;
db.users.update({ }, {$set: {join_date: new Date()}, {multi: true}})
alter table users drop column join_date;
db.user.update({ }, {$unset: {join_date: ""}}, {multi: true})
create index id_user_id_asc on users(user_id);
db.user.ensureIndex({user_id: 1})
create index id_user_id_asc_age_desc on user(user_id,age DESC);
db.user.ensureIndex({user_id: 1, age: -1})
drop table users;
db.users.drop()
insert into users(user_id, age, status) values ("bcd001", 45，"A")
db.user.insert({user_id: "bcd001", age: 45, status: "A"})
select * from users;
db.user.find()
select id, user_id, status from users;
db.users.find({ }, {user_id: 1, status: 1})
select user_id,status from users
db.user.find({ }, {user_id: 1, status: 1, _id: 0})
select * from users where status = "A";
db.user.find({status: "A"})
select user_id,status from users where status = "A";
db.users.find({status: "A"}, {user_id: 1,status: 1, _id: 0})
select * from users where status != "A";
db.users.find({status: {$ne: "A"}})
select * from users where status = "A" and age = 50;
db.users.find({status: "A", age: 50})
select * from users where status = "A" or age = 50;
db.users.find({$or: [{status: "A"}, {age: 50}]})
select * from users where age > 25;
db.users.find({age: {$gt: 25}})
select * from users where age < 25;
db.users.find({age: {$lt: 25}})
select * from users where age > 25 and age <=50;
db.users.find({age: {$gt: 25, $lte: 50}})
select * from users where user_id like "%bc%";
db.users.find({user_id: /bc/})
select * from user where user_id like "bc%";
db.users.find({user_id: /^bc/})
select * from users where status = "A" order by user_id asc;
db.users.find({status: "A"}).sort({user_id: 1})
select * from users where status="A" order by user_id desc;
db.users.find({status:"A"}).sort({user_id: -1})
select count(*) from users;
db.users.count() 或者db.users.find.count()
select count(user_id) from users;
db.users.count({user_id: {$exist: true}})或者db.users.find({user_id: {$exists: true}}).count()
select count(*) from users where age > 30;
db.users.count({age: {$gt:30}})或者db.user.find({age: {$gt: 30}}).count()
select distinct(status) from users;
db.users.distinct("status")
select * from users limit 1;
db.users.findOne()或者 db.users.find().limit(1)
select * from users limit 5 skip 10;
db.users.find().limit(5).skip(10)
explain select * from users where status = "A";
db.users.find({status: "A"}).explain()
update users set status = "C" where age > 25;
db.users.update({age: {$gt: 25}}, {$set: {status:"C"}}, {multi: true})
update users set age = age + 3 where status = "A";
db.users.update({status: "A"}, {$inc: {age: 3}}, {multi:true})
delete from users where status = "D";
db.users.remove({status: "D"})
delete from users;
db.users.remove()
truncate table users;
db.users.remove()
13.当前操作
db. currentOp()：查看当前数据库上的操作语句信息，包括insert/query/update/remove/getmore/command等多种操作。
重要参数说明：
opid：操作进程号
op：操作类型（query，update...）
ns：命名空间（namespace），即操作对象
query：显示操作的具体内容
lockType：锁类型，表明是写锁or读锁
db. killOp(opid)：kill当前数据上的操作，以opid为标识
14.慢查询
db.getProfilingStatus()：查看当前profiling status
-----慢查询日志的常用属性说明
>db.system.profile.find()
重要参数说明：
op：操作类型，有insert、query、update、remove、getmore、command
ns : 操作的集合
ts ：命令在何时执行
info ：命令的详细信息
reslen： 返回结果集的大小
nscanned:本次查询扫描的记录数
nreturned: 本次查询实际返回的结果集
mills:该命令的执行耗时（单位：毫秒）
query : 查询语句
ntoreturn : 返回的记录数
ntoskip :skip()方法指定的跳跃数
nscanned : 扫描数量
keyUpdates : 索引更新的数量，改变一个索引键带有一个小的性能开销，因为数据库必须删除旧的key，并插入一个新的key到B-树索引
lockStats :锁信息，R：全局读锁；W：全局写锁；r：特定数据库的读锁；w：特定数据库的写锁
timeLockedMicros : 锁
timeAcquiringMicros :锁等待
responseLength: 结果字节长度
millis: 消耗的时间（毫秒）
ts : 语句执行的时间
client :链接ip或则主机
allUsers ,user:用户
scanAndOrder：是一个布尔值，是True当一个查询不能使用的文件的顺序在索引中的排序返回结果：MongoDB中必须将其接收到的文件从一个游标后的文件进行排序。如果scanAndOrder是False，MongoDB的可使用这些文件的顺序索引返回排序的结果。
moved:更新操作在磁盘上移动一个或多个文件到新的位置。表明本次update是否移动了硬盘上的数据，如果新记录比原记录短，通常不会移动当前记录，如果新记录比原记录长，那么可能会移动记录到其它位置，这时候会导致相关索引的更新.磁盘操作更多，加上索引更新，会使得这样的操作比较慢.
nupdated：更新文档的数目
getmore：这是一个getmore 操作，getmore通常发生在结果集比较大的查询时，第一个query返回了部分结果，后续的结果是通过getmore来获取的。
如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话，要考虑通过加索引来优化记录定位了。
responseLength 如果过大，说明返回的结果集太大了，这时要看是否只需要必要的字段。
----常用查询
---返回最近的10条记录
db.system.profile.find().limit(10).sort({ ts : -1 }).pretty()
---返回所有的操作，除command类型
db.system.profile.find( { op: { $ne : 'command' } } ).pretty()
--返回特定集合
db.system.profile.find( { ns : 'mydb.test' } ).pretty()
---返回大于500毫秒的慢操作
db.system.profile.find( { millis : { $gt : 500 } } ).pretty()
---返回特定的时间范围内的慢查询信息
db.system.profile.find( { ts : { $gt : new ISODate("2015-06-09T03:00:00Z") , $lt : new ISODate("2015-06-09T03:40:00Z") } } ).pretty()
--返回特定时间，特定用户，按照消耗时间排序
db.system.profile.find( { ts : { $gt : new ISODate("2015-06-09T03:00:00Z") , $lt : new ISODate("2015-06-09T03:40:00Z") } }, { user : “ucms@ucms” } ).sort( { millis : -1 } )