10.1 字符串处理

Bash 支持的字符串操作数量达到了一个惊人的数目。但可惜的是，这些操作工具缺乏一个统一的核心。他们中的一些是参数代换的子集，另外一些则是 UNIX 下 expr 函数的子集。这将会导致语法前后不一致或者功能上出现重叠，更不用说那些可能导致的混乱了。

字符串长度

${#string}

expr length $string

上面两个表达式等价于C语言中的 strlen() 函数。

expr "$string" : '.*'

1. stringZ=abcABC123ABCabc

3. echo ${#stringZ}                 # 15
4. echo `expr length $stringz`      # 15
5. echo `expr "$stringZ" : '.*'`    # 15

样例 10-1. 在文本的段落之间插入空行

1. #!/bin/bash
2. # paragraph-space.sh
3. # 版本 2.1，发布日期 2012年7月29日

5. # 在无空行的文本文件的段落之间插入空行。
6. # 像这样使用: $0 <FILENAME

8. MINLEN=60        # 可以试试修改这个值。它用来做判断。
9. #  假设一行的字符数小于 $MINLEN，并且以句点结束段落。
10. #+ 结尾部分有练习！

12. while read line  # 当文件有许多行的时候
13. do
14. echo "$line"   # 输出行本身。

16. len=${#line}
17. if [[ "$len" -lt "$MINLEN" && "$line" =~ [*{\.}]$ ]]
18. # if [[ "$len" -lt "$MINLEN" && "$line" =~ \[*\.\] ]]
19. # 新版Bash将不能正常运行前一个版本的脚本。Ouch！
20. # 感谢 Halim Srama 指出这点，并且给出了修正版本。
21. then echo    #  在该行以句点结束时，
22. fi             #+ 增加一行空行。
23. done

25. exit

27. # 练习：
28. # -----
29. #  1) 该脚本通常会在文件的最后插入一个空行。
30. #+    尝试解决这个问题。
31. #  2) 在第17行仅仅考虑到了以句点作为句子终止的情况。
32. #+    修改以满足其他的终止符，例如 ?, ! 和 "。

起始部分字符串匹配长度

expr match "$string" '$substring'

其中，$substring 是一个正则表达式。

expr "$string" : '$substring'

其中，$substring 是一个正则表达式。

2. stringZ=abcABC123ABCabc
3. #       |------|
4. #       12345678

6. echo `expr match "$stringZ" 'abc[A-Z]*.2'`   # 8
7. echo `expr "$stringZ" : 'abc[A-Z]*.2'`       # 8

索引

expr index $string $substring

返回在 $string 中第一个出现的 $substring 字符所在的位置。

1. stringZ=abcABC123ABCabc
2. #       123456 ...
3. echo `expr index "$stringZ" C12`             # 6
4. # C 的位置。
5. echo `expr index "$stringZ" 1c`              # 3
6. # 'c' (第三号位) 较 '1' 出现的更早。

几乎等价于C语言中的 strchr()。

截取字符串（字符串分片）

${string:position}

在 $string 中截取自 $position 起的字符串。

如果参数 $string 是 “*” 或者 “@”，那么将会截取自 $position 起的位置参数。^1

${string:position:length}

在 $string 中截取自 $position 起，长度为 $length 的字符串。

2. stringZ=abcABC123ABCabc
3. #       0123456789.....
4. #       索引位置从0开始。

6. echo ${stringZ:0}                            # abcABC123ABCabc
7. echo ${stringZ:1}                            # bcABC123ABCabc
8. echo ${stringZ:7}                            # 23ABCabc

10. echo ${stringz:7:3}                          # 23A
11. # 三个字符的子字符串。

15. # 从右至左进行截取可行么？

17. echo ${stringZ:-4}                           # abcABC123ABCabc
18. # ${parameter:-default} 将会得到整个字符串。
19. # 但是……

21. echo ${stringZ:(-4)}                         # Cabc
22. echo ${stringZ: -4}                          # Cabc
23. # 现在可以了。
24. # 括号或者增加空格都可以"转义"位置参数。

26. # 感谢 Dan Jacobson 指出这些。

其中，参数 position 与 length 可以传入一个变量而不一定需要传入常量。

样例 10-2. 产生一个8个字符的随机字符串

1. #!/bin/bash
2. # rand-string.sh
3. # 产生一个8个字符的随机字符串。

5. if [ -n "$1" ]  #  如果在命令行中已经传入了参数，
6. then            #+ 那么就以它作为起始字符串。
7. str0="$1"
8. else            #  否则，就将脚本的进程标识符PID作为起始字符串。
9. str0="$$"
10. fi

12. POS=2  # 从字符串的第二位开始。
13. LEN=8  # 截取八个字符。

15. str1=$( echo "$str0" | md5sum | md5sum )
16. #                      ^^^^^^   ^^^^^^
17. # 将字符串通过管道计算两次 md5 来进行两次混淆。

19. randstring="${str1:$POS:$LEN}"
20. #                  ^^^^ ^^^^
21. # 允许传入参数

23. echo "$randstring"

25. exit $?

27. # bozo$ ./rand-string.sh my-password
28. # 1bdd88c4

30. # 不过不建议将其作为一种能够抵抗黑客的生成密码的方法。

如果参数 $string 是 “*” 或者 “@”，那么将会截取自 $position 起，最大个数为 $length 的位置参数。

1. echo ${*:2}          # 输出第二个及之后的所有位置参数。
2. echo ${@:2}          # 同上。

4. echo ${*:2:3}        # 从第二个位置参数起，输出三个位置参数。

expr substr $string $position $length

在 $string 中截取自 $position 起，长度为 $length 的字符串。

1. stringZ=abcABC123ABCabc
2. #       123456789......
3. #       索引位置从1开始。

5. echo `expr substr $stringZ 1 2`              # ab
6. echo `expr substr $stringZ 4 3`              # ABC

expr match "$string" '\($substring\)'

在 $string 中截取自 $position 起的字符串，其中 $substring 是正则表达式。

expr "$string" : '\($substring\)'

在 $string 中截取自 $position 起的字符串，其中 $substring 是正则表达式。

1. stringZ=abcABC123ABCabc
2. #       =======

4. echo `expr match "$stringZ" '\(.[b-c]*[A-Z]..[0-9]\)'`   # abcABC1
5. echo `expr "$stringZ" : '\(.[b-c]*[A-Z]..[0-9]\)'`       # abcABC1
6. echo `expr "$stringZ" : '\(.......\)'`                   # abcABC1
7. # 上面所有的形式都给出了相同的结果。

expr match "$string" '.*\($substring\)'

从 $string 结尾部分截取 $substring 字符串，其中 $substring 是正则表达式。

expr "$string" : '.*\($substring\)'

从 $string 结尾部分截取 $substring 字符串，其中 $substring 是正则表达式。

1. stringZ=abcABC123ABCabc
2. #                ======

4. echo `expr match "$stringZ" '.*\([A-C][A-C][A-C][a-c]*\)'`    # ABCabc
5. echo `expr "$stringZ" : '.*\(......\)'`                       # ABCabc

删除子串

${string#substring}

删除从 $string 起始部分起，匹配到的最短的 $substring。

${string##substring}

删除从 $string 起始部分起，匹配到的最长的 $substring。

1. stringZ=abcABC123ABCabc
2. #       |----|          最长
3. #       |----------|    最短

5. echo ${stringZ#a*C}      # 123ABCabc
6. # 删除 'a' 与 'c' 之间最短的匹配。

8. echo ${stringZ##a*C}     # abc
9. # 删除 'a' 与 'c' 之间最长的匹配。

13. # 你可以使用变量代替 substring。

15. X='a*C'

17. echo ${stringZ#$X}      # 123ABCabc
18. echo ${stringZ##$X}     # abc
19. # 同上。

${string%substring}

删除从 $string 结尾部分起，匹配到的最短的 $substring。

例如：

1. # 将当前目录下所有后缀名为 "TXT" 的文件改为 "txt" 后缀。
2. # 例如 "file1.TXT" 改为 "file1.txt"。

4. SUFF=TXT
5. suff=txt

7. for i in $(ls *.$SUFF)
8. do
9. mv -f $i $(i%.$SUFF).$suff
10. #  除了从变量 $i 右侧匹配到的最短的字符串之外，
11. #+ 其他一切都保持不变。
12. done ### 如果需要，循环可以压缩成一行的形式。

14. # 感谢 Rory Winston。

${string%%substring}

删除从 $string 结尾部分起，匹配到的最长的 $substring。

2. stringZ=abcABC123ABCabc
3. #                    ||     最短
4. #        |------------|     最长

6. echo ${stringZ%b*c}      # abcABC123ABCa
7. # 从结尾处删除 'b' 与 'c' 之间最短的匹配。

9. echo ${stringZ%%b*c}     # a
10. # 从结尾处删除 'b' 与 'c' 之间最长的匹配。

这个操作对生成文件名非常有帮助。

样例 10-3. 改变图像文件的格式及文件名

1. #!/bin/bash
2. #  cvt.sh:
3. #  将目录下所有的 MacPaint 文件转换为 "pbm" 格式。

5. #  使用由 Brian Henderson (bryanh@giraffe-data.com) 维护的
6. #+ "netpbm" 包下的 "macptobpm" 二进制工具。
7. #  Netpbm 是大多数 Linux 发行版的标准组成部分。

9. OPERATION=macptopbm
10. SUFFIX=pbm          # 新的文件名后缀。

12. if [ -n "$1" ]
13. then
14. directory=$1      # 如果已经通过脚本参数传入了目录名的情况……
15. else
16. directory=$PWD    # 否则就使用当前工作目录。
17. fi

19. #  假设目标目录下的所有 MacPaint 图像文件都拥有
20. #+ ".mac" 的文件后缀名。

22. for file in $directory/*    # 文件名匹配。
23. do
24. filename=${file%.*c}      #  从文件名中删除 ".mac" 后缀
25. #+ ('.*c' 匹配 '.' 与 'c' 之间的
26. #  所有字符，包括其本身)。
27. $OPERATION $file > "$filename.$SUFFIX"
28. # 将转换结果重定向到新的文件。
29. rm -f $file               # 在转换后删除原文件。
30. echo "$filename.$SUFFIX"  # 将记录输出到 stdout 中。
31. done

33. exit 0

35. # 练习：
36. # -----
37. # 这个脚本会将当前工作目录下的所有文件进行转换。
38. # 修改脚本，使得它仅转换 ".mac" 后缀的文件。

42. # *** 还可以使用另外一种方法。 *** #

44. #!/bin/bash
45. # 将图像批处理转换成不同的格式。
46. # 假设已经安装了 imagemagick。（在大部分 Linux 发行版中都有）

48. INFMT=png   # 可以是 tif, jpg, gif 等等。
49. OUTFMT=pdf  # 可以是 tif, jpg, gif, pdf 等等。

51. for pic in *"$INFMT"
52. do
53. p2=$(ls "$pic" | sed -e s/\.$INFMT//)
54. # echo $p2
55. convert "$pic" $p2.$OUTFMT
56. done

58. exit $?

样例 10-4. 将流音频格式转换成 ogg 格式

1. #!/bin/bash
2. # ra2ogg.sh: 将流音频文件 (*.ra) 转换成 ogg 格式。

4. # 使用 "mplayer" 媒体播放器程序：
5. #      http://www.mplayerhq.hu/homepage
6. # 使用 "ogg" 库与 "oggenc"：
7. #      http://www.xiph.org/
8. #
9. # 脚本同时需要安装一些解码器，例如 sipr.so 等等一些。
10. # 这些解码器可以在 compat-libstdc++ 包中找到。

13. OFILEPREF=${1%%ra}      # 删除 "ra" 后缀。
14. OFILESUFF=wav           # wav 文件后缀。
15. OUTFILE="$OFILEPREF""$OFILESUFF"
16. E_NOARGS=85

18. if [ -z "$1" ]          # 必须指定一个文件进行转换。
19. then
20. echo "Usage: `basename $0` [filename]"
21. exit $E_NOAGRS
22. fi

25. ######################################################
26. mplayer "$1" -ao pcm:file=$OUTFILE
27. oggenc "$OUTFILE"  # 由 oggenc 自动加上正确的文件后缀名。
28. ######################################################

30. rm "$OUTFILE"      # 立即删除 *.wav 文件。
31. # 如果你仍需保留原文件，注释掉上面这一行即可。

33. exit $?

35. #  注意：
36. #  -----
37. #  在网站上，点击一个 *.ram 的流媒体音频文件
38. #+ 通常只会下载到 *.ra 音频文件的 URL。
39. #  你可以使用 "wget" 或者类似的工具下载 *.ra 文件本身。

42. #  练习：
43. #  -----
44. #  这个脚本仅仅转换 *.ra 文件。
45. #  修改脚本增加适应性，使其可以转换 *.ram 或其他文件格式。
46. #
47. #  如果你非常有热情，你可以扩展这个脚本使其
48. #+ 可以自动下载并且转换流媒体音频文件。
49. #  给定一个 URL，自动下载流媒体音频文件 (使用 "wget")，
50. #+ 然后转换它。

下面是使用字符串截取结构对 getopt 的一个简单模拟。

样例 10-5. 模拟 getopt

1. #!/bin/bash
2. # getopt-simple.sh
3. # 作者: Chris Morgan
4. # 允许在高级脚本编程指南中使用。

7. getopt_simple()
8. {
9. echo "getopt_simple()"
10. echo "Parameters are '$*'"
11. until [ -z "$1" ]
12. do
13. echo "Processing parameter of: '$1'"
14. if [ ${1:0:1} = '/' ]
15. then
16. tmp=${1:1}               # 删除开头的 '/'
17. parameter=${tmp%%=*}     # 取出名称。
18. value=${tmp##*=}         # 取出值。
19. echo "Parameter: '$parameter', value: '$value'"
20. eval $parameter=$value
21. fi
22. shift
23. done
24. }

26. # 将所有参数传递给 getopt_simple()。
27. getopt_simple $*

29. echo "test is '$test'"
30. echo "test2 is '$test2'"

32. exit 0  # 可以查看该脚本的修改版 UseGetOpt.sh。

34. ---

36. sh getopt_example.sh /test=value1 /test2=value2

38. Parameters are '/test=value1 /test2=value2'
39. Processing parameter of: '/test=value1'
40. Parameter: 'test', value: 'value1'
41. Processing parameter of: '/test2=value2'
42. Parameter: 'test2', value: 'value2'
43. test is 'value1'
44. test2 is 'value2'

子串替换

${string/substring/replacement}

替换匹配到的第一个 $substring 为 $replacement。[^2]

${string//substring/replacement}

替换匹配到的所有 $substring 为 $replacement。

1. stringZ=abcABC123ABCabc

3. echo ${stringZ/abc/xyz}       # xyzABC123ABCabc
4. # 将匹配到的第一个 'abc' 替换为 'xyz'。

6. echo ${stringZ//abc/xyz}      # xyzABC123ABCxyz
7. # 将匹配到的所有 'abc' 替换为 'xyz'。

9. echo  ---------------
10. echo "$stringZ"               # abcABC123ABCabc
11. echo  ---------------
12. # 字符串本身并不会被修改！

14. # 匹配以及替换的字符串可以是参数么？
15. match=abc
16. repl=000
17. echo ${stringZ/$match/$repl}  # 000ABC123ABCabc
18. #              ^      ^         ^^^
19. echo ${stringZ//$match/$repl} # 000ABC123ABC000
20. # Yes!          ^      ^        ^^^         ^^^

22. echo

24. # 如果没有给定 $replacement 字符串会怎样？
25. echo ${stringZ/abc}           # ABC123ABCabc
26. echo ${stringZ//abc}          # ABC123ABC
27. # 仅仅是将其删除而已。

${string/#substring/replacement}

替换 $string 中最前端匹配到的 $substring 为 $replacement。

${string/%substring/replacement}

替换 $string 中最末端匹配到的 $substring 为 $replacement。

1. stringZ=abcABC123ABCabc

3. echo ${stringZ/#abc/XYZ}          # XYZABC123ABCabc
4. # 将前端的 'abc' 替换为 'XYZ'

6. echo ${stringZ/%abc/XYZ}          # abcABC123ABCXYZ
7. # 将末端的 'abc' 替换为 'XYZ'

[^2]: 注意根据使用时上下文的不同，$substring 和 $replacement 可以是文本字符串也可以是变量。可以参考第一个样例。