统计 列出当天访问次数最多的IP前20个命令：cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20 查看当天有多少个IP访问：awk ‘{print $1}’ log_file|sort|un ...

一次性给文件多行加注释在vim 视图模式下：2,5 s/^/#/或者直接使用sed，命令如下：sed -i ‘2,5s/^/#/‘ filename 注释取消反之，将2~5行带#注释取消：：2,5 s/^#//或者sed -i ‘2,5s/^#//‘ filename 去掉空行sed -i ...

给定一个包含电话号码列表（一行一个电话号码）的文本文件 file.txt，写一个 bash 脚本输出所有有效的电话号码。 你可以假设一个有效的电话号码必须满足以下两种格式： (xxx) xxx-xxxx 或 xxx-xxx-xxxx。（x 表示一个数字） 你也可以假设每行前后没有多余的空格字符 ...

给定一个文件 file.txt，转置它的内容。 你可以假设每行列数相同，并且每个字段由 ‘ ‘ 分隔. 示例: 假设 file.txt 文件内容如下： name agealice 21ryan 30应当输出： name alice ryanage 21 30 1cat file.txt | aw ...

给定一个文本文件 file.txt，请只打印这个文件中的第十行。 示例: 假设 file.txt 有如下内容： Line 1Line 2Line 3Line 4Line 5Line 6Line 7Line 8Line 9Line 10你的脚本应当显示第十行： Line 10说明: 如果文件少于十行 ...

cat words.txt | tr -s " " "\n" |sort |uniq -c | sort -r -n | awk '{print $2,$1}'tr -s 将重复出现字符串压缩为一个字符串“ “ “\n” 将空格替换为换行 ...

参考:https://blog.csdn.net/happyrocking/article/details/79885071

hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。一般来说（map side join除外），map过程负责分发数据，具体的join操作在reduce完成，因此，如果多表基于不同的列 ...

group by数据倾斜倾斜原因：select count(distinct name) from user时 使用distinct会将所有的name值都shuffle到一个reducer里面。特别的有select uid, count(distinct name) from user group ...