png convert to gif script
本来要用gda，,结果发现gdal不支持多波段转换。 只好使用Imagemagick，先安装： apt-get install imagemagick 脚本内容： #!/bins/sh for i in *.gif; do echo “convert $i to ${i%.png}.gif….”; convert $i ${i%.png}.gif ; done exit 1;
View Articlebash中&&和||
一直没有搞清楚在bash中这两个符号的意义。最近在学习BASH编程一书才有所了解。 使用& &的一般形式为： 命令1 && 命令2 这种命令执行方式相当地直接。& &左边的命令（命令1）返回真(即返回0，成功被执行） 后，& &右边的命令（命令2）才能够被执行；换句话说，“如果这个命令执行成功& &那么执 行这个命令”...
View Article用shell脚本导入landuse数据到postgis
全国的土地利用数据，80年代末,1995和2000年3期数据，ARCINFO COVERAGE格式，打算直接转入POSTGIS库中。 写了一个shell文件，花费了2天时间。主要是shell的东西是边看边写的，特别是变量处理，还真是麻烦。 运行shell文件要先进入到landuse目录，postgis里应该已经有westdc库，并且已经...
View Article批量重命名gzip包内文件
应wu要求，转换一个gz文件里的文件名称为gz文件名，而且gz包只有一个文件，其实就是解压缩，然后再压缩。 for i in *.gz;do gzip -d $i && gzip ${i%.gz};done
View Articlelinux shell的代码执行问题
之前通过incron触发执行的一个wsn文件生成代码，据用户反馈，有很多情况下文件并未生成，因此思考是不是之前的触发脚本是不是存在不能的问题，因此就考虑重新修改代码。 之前的代码如下： ; html-script: false ]#!/bin/sh cp /www/wsndata.sh /root/wsndata.sh chmod +x /root/wsndata.sh...
View Articlelinux shell下处理web log
现在要将服务器的web log经过分析后将对应的分析结果保存到数据库里，因此需要在服务器后台自动运行，采用shell脚本进行处理，处理过程中遇到两个问题，将解决方法记录如下。 1. 合并昨日对应网站的web log 三个网站（中文版、英文版、专题版）的log记录要合并，而且现在为了保存更多的log，是将每个log按照日期的方式进行命令的，即： website-access-20141225.log...
View Article数据巧处理：重复数据的合并处理
要处理一批数据，形式为： lat,lon,num 每个文件有一个timestamp，文件数量巨大，开始我感觉lat、lat应该唯一，但后来检查数据后发现，这批数据存在大量重复的点（可能之前高精度数据是唯一的，但精度降低后导致有重复数据出现），因此需要专门处理。 开始是想在bash里直接处理，但点位相同的数据，其后的num感觉应该sum后替换，因此还没有想到较好的方法。...
View Articleshell下定时监测程序的死锁
这几天在处理微博爬虫。由于各种原因，爬虫经常为会出现网络错误断开连接，有时莫名其妙的程序锁死（程序在运行，但其实没有任何输出结果显示在运行）。因此就产生了一个定时检查所运行脚本的脚本，或者就在脚本中定时检查。但又不能将检测程序放入cron中，因为程序kill掉后还要继续向前运行。 处理方法如下： 1. 爬虫脚本将结果输出到某log文件中 2....
View Article用sort对csv内容进行排序
bash下可以用sort对文本进行排序。若需要对csv（有header）进行排序，则可以： sort -t, -nk1 test.csv -t: 指定分割符 -n: 指定数字排序 -k1: 指定第1列
View Articlebash tips：巧用xargs来组合不同命令
在处理数据时，使用python编写了一个小程序，可将多个同类型但文件头次序有可能不同的csv文件进行合并，其使用方法为： python3 csvmerge.py --output=output.csv input1.csv input2.csv ... 输入文件少的时候直接输入文件名称执行即可，但若文件很多，一个一个键入则是个苦差事，还容易出错，因此想是否可以通过管道来组合命令。 直接想到的是：...
View Articlebash tips: kill a background bash job
执行了一个shell脚本，突然发现脚本里的代码有错误，想要终止其运行，这是要用ps & kill 来执行的话，就很困难（取决于脚本里运行的程序逻辑复杂程度）。 但有个简便的方法可以kill掉刚进入background执行的脚本： kill %%
View Articlecron脚本中date命令问题
在shell中可以正常执行的命令，转移到cron中让其定时运行发现存在问题，即有错误提示，导致命令不执行。 d=`date -d “1 day ago” ‘+%Y-%m-%d’` && python3 -u regiondata.py –regionfile=region.id –date=$d...
View Articlesplit：分割文本文件
在数据处理时有时需要将一个大的数据集分为几个部分，交给不同机器或不同账号进行处理，之前我都是用sed或vi进行分割，没想到linux有一个专门这样的工具进行处理：split。 split的用法也非常简单，可以按行分割也可以按大小分割。 $ split --help Usage: split [OPTION]... [FILE [PREFIX]] Output pieces of FILE to...
View Article
