Python の re.sub で、置換後の文字列に tools\compile_... のような Windows のパスを入れたら、置き換える前に例外で止まりました。
置換後の文字列は、ただの文字列ではなく \1 などを読むテンプレートとして解釈されるためです。
lambda m: rep のように関数で渡すと、テンプレートとして読まれず、バックスラッシュがそのまま入ります。
症状
Markdown の手順書の表にある `tools\compile_ea_l1086_lab.ps1` という1か所を直したいのが出発点でした。
最初に sed -i で書き込んだところ、バックスラッシュと c が消えて、次のように崩れました。
`toolsmpile_ea_l1086_lab.ps1`
これを直そうと、Python で正規表現の置き換えを書きました。置換後の文字列はバックスラッシュを chr(92) で組み立てています。
s2 = re.sub(r"`tools[^`]*mpile_ea_l1086_lab\.ps1`",
"`tools" + chr(92) + "compile_ea_l1086_lab.ps1`", s)
実行すると、置き換えの前に例外で止まりました。
Traceback (most recent call last):
File "<stdin>", line 6, in <module>
File "...\Python.3.13...\Lib\re\__init__.py", line 208, in sub
return _compile(pattern, flags).sub(repl, string, count)
File "...\Python.3.13...\Lib\re\__init__.py", line 377, in _compile_template
return _sre.template(pattern, _parser.parse_template(repl, pattern))
(記録ではこの先が省略されていて、最後の行のエラー文は残っていません)
環境
- Windows、Git Bash から
python -にヒアドキュメントでスクリプトを流して実行 - Python 3.13(Microsoft Store 版)
- 直す対象は UTF-8 の Markdown ファイル
原因
re.sub(pattern, repl, string) の repl に文字列を渡すと、Python はそれを「テンプレート」として読みます。\1 や \g<name> をグループの中身に置き換えるためです。
トレースバックが _compile_template → parse_template(repl, pattern) の中で止まっているのは、まさにこの読み取りの段階です。chr(92) で組み立てても、repl の中身は `tools\compile... なので、\c がテンプレートのエスケープとして読まれます。Python のドキュメントでは、\ の後ろに英字が来る未知のエスケープはエラーとして扱うとされています。
つまり、ソースコード上でバックスラッシュを正しく書けていても、re.sub の置換後の文字列ではもう一段エスケープが解釈されます。
解決手順
- 置換後の文字列を変数に入れ、
replには文字列ではなく関数(lambda)を渡します。関数が返した値はテンプレートとして読まれず、そのまま入ります。
python
import io, re
p = "MT5-2_EA_L1.086_配置手順書_v1.0_20261113.md"
s = io.open(p, encoding="utf-8").read()
rep = "`tools" + chr(92) + "compile_ea_l1086_lab.ps1`"
s2 = re.sub(r"`tools[^`]*mpile_ea_l1086_lab\.ps1`", lambda m: rep, s)
io.open(p, "w", encoding="utf-8", newline="").write(s2)
print(s != s2)
-
書き換わったかを確かめます。今回は
Trueが出ました。 -
直した文字列が1件だけ入っているかを grep で数えます。
bash
grep -c "tools.compile_ea_l1086_lab.ps1\` SHA" "$f"
1 が返り、`tools\compile_ea_l1086_lab.ps1` に戻っていました。
同じ晩にもう1回:\r が改行文字に化けた
少し後で、同じ手順書に F:\MT5L1085TB\rehearsal_backup_... というパスを Python の str.replace で書き足しました。このときは Python が次の警告を出しただけで、処理は ok で終わりました。
<stdin>:8: SyntaxWarning: invalid escape sequence '\M'
<stdin>:12: SyntaxWarning: invalid escape sequence '\L'
ところが中身を見ると、\M や \L は残っていたのに、\r だけは正しいエスケープなので、警告も出ないまま CR(改行文字)になっていました。
スクリプトで置いた場合は `F:\MT5L1085TBehearsal_backup_L1086_<stamp>\...
こちらも chr() で組み立てて、壊れた部分を正しい形に置き換えて直しました。
bad = 'F:' + chr(92) + 'MT5L1085TB' + chr(13) + 'ehearsal'
good = 'F:' + chr(92) + 'MT5L1085TB' + chr(92) + 'rehearsal'
assert s.count(bad) == 1
s = s.replace(bad, good)
警告が出たのは \M と \L だけで、本当に壊れた \r は黙って通った、というのが厄介なところでした。
試した方法と結果
| 方法 | 結果 |
|---|---|
sed -i で tools\compile を書き込む |
\c が消えて toolsmpile になった |
re.sub の置換後の文字列に chr(92) 入りの文字列を渡す |
parse_template の中で例外になり止まった |
re.sub に lambda m: rep を渡す |
書き換わり、grep で 1 件を確認 |
Python の文字列に F:\...\rehearsal を直接書く |
\r が CR になった。警告は \M・\L にしか出なかった |
chr(92) で組み立てて str.replace |
直った |
再発防止・気づき
re.subの置換後の文字列にバックスラッシュが入りうるときは、最初からlambda m: repで渡す。パスやユーザーの入力をそのまま入れたいときは特にです。- Windows のパスを Python の文字列に書くと、
\r・\n・\tなどは警告なしで別の文字になります。警告が出た行の近くに、黙って化けた行があるかもしれません。 - 書き換えたあとは、
grep -oで該当箇所を切り出して目で見る。今回はそれで CR に化けたことに気づけました。