教程集 www.jiaochengji.com
教程集 >  数据库  >  mogodb  >  正文 清理mongodb collection中大量数据的二种办法

清理mongodb collection中大量数据的二种办法

发布时间:2014-07-20   编辑:jiaochengji.com
分享下在mongodb数据库中,清理collection中大量数据的两种办法,用shell脚本来实现清理,有需要的朋友参考下。

本节主要内容:
学习mongodb中清理collection中大量数据的办法。

方法1,shell for循环清理
每次去连接一下mongo, 进行数据的remove操作。
 

复制代码 代码示例:
#!/bin/sh
#
#site: www.jiaochengji.com
echo "Begin ..." >> /root/time.log; 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log; 
 
for((i=1;i<=100000000;i++));  
do  
 objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{\\$lt:ISODate(\"2013-01-10T01 
:16:33.303Z\")}},{"_id":1}))"`; 
  /usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)"; 
  echo " done " $objectid "  " >> /root/tickets.log 
done 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log; 
echo "End ..." >> /root/time.log; 
echo " " >> /root/time.log 

方法2,mongo shell中 for循环 清理
只连接一次mongo, 在mongo shell中for循环清理。
 

复制代码 代码示例:
[root@mongo ~]# more t.sh 
#!/bin/bash
#
#site: www.jiaochengji.com
echo "Begin ..." >> /root/t.log; 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log; 
 
/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js; 
 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log; 
echo "End ..." >> /root/t.log; 
echo " " >> /root/t.log 
[root@mongo ~]#  
[root@mongo ~]#  
[root@mongo ~]# more t.js 
for( var i=1 ; i<=100000000; i++ ) { 
        var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1});  
        db.tickets.remove(objectid); 

总结:
测试发现,方法1速度较慢,清理100G的数据,竟然需要三天。
方法2,速度快,清理100G的数据,用了6个小时,据说有风险,请谨慎使用。

您可能感兴趣的文章:
清理mongodb collection中大量数据的二种办法
NoSQL数据库之MongoDB入门详解
MongoDB教程之Capped Collection
centos6.8安装MongoDB
Mongodb数据库的开启与关闭
爬虫数据如何保存到mongoDB?
如何掌握Python3中PyMongo的用法?
Mongodb默认日志的清理方法
MongoDB 磁盘空间不足问题的解决方法
安装与配置MongoDB数据

[关闭]
~ ~