Python の re.sub で置換文字列に Windows パス(\)を入れると parse_template で落ちる。lambda で渡せば通る

Python の re.sub で、置換後の文字列に tools\compile_... のような Windows のパスを入れたら、置き換える前に例外で止まりました。
置換後の文字列は、ただの文字列ではなく \1 などを読むテンプレートとして解釈されるためです。
lambda m: rep のように関数で渡すと、テンプレートとして読まれず、バックスラッシュがそのまま入ります。

症状

Markdown の手順書の表にある `tools\compile_ea_l1086_lab.ps1` という1か所を直したいのが出発点でした。

最初に sed -i で書き込んだところ、バックスラッシュと c が消えて、次のように崩れました。

`toolsmpile_ea_l1086_lab.ps1`

これを直そうと、Python で正規表現の置き換えを書きました。置換後の文字列はバックスラッシュを chr(92) で組み立てています。

s2 = re.sub(r"`tools[^`]*mpile_ea_l1086_lab\.ps1`",
            "`tools" + chr(92) + "compile_ea_l1086_lab.ps1`", s)

実行すると、置き換えの前に例外で止まりました。

Traceback (most recent call last):
  File "<stdin>", line 6, in <module>
  File "...\Python.3.13...\Lib\re\__init__.py", line 208, in sub
    return _compile(pattern, flags).sub(repl, string, count)
  File "...\Python.3.13...\Lib\re\__init__.py", line 377, in _compile_template
    return _sre.template(pattern, _parser.parse_template(repl, pattern))

(記録ではこの先が省略されていて、最後の行のエラー文は残っていません)

環境

  • Windows、Git Bash から python - にヒアドキュメントでスクリプトを流して実行
  • Python 3.13(Microsoft Store 版)
  • 直す対象は UTF-8 の Markdown ファイル

原因

re.sub(pattern, repl, string) の repl に文字列を渡すと、Python はそれを「テンプレート」として読みます。\1 や \g<name> をグループの中身に置き換えるためです。

トレースバックが _compile_template → parse_template(repl, pattern) の中で止まっているのは、まさにこの読み取りの段階です。chr(92) で組み立てても、repl の中身は `tools\compile... なので、\c がテンプレートのエスケープとして読まれます。Python のドキュメントでは、\ の後ろに英字が来る未知のエスケープはエラーとして扱うとされています。

つまり、ソースコード上でバックスラッシュを正しく書けていても、re.sub の置換後の文字列ではもう一段エスケープが解釈されます。

解決手順

  1. 置換後の文字列を変数に入れ、repl には文字列ではなく関数(lambda)を渡します。関数が返した値はテンプレートとして読まれず、そのまま入ります。

python
import io, re
p = "MT5-2_EA_L1.086_配置手順書_v1.0_20261113.md"
s = io.open(p, encoding="utf-8").read()
rep = "`tools" + chr(92) + "compile_ea_l1086_lab.ps1`"
s2 = re.sub(r"`tools[^`]*mpile_ea_l1086_lab\.ps1`", lambda m: rep, s)
io.open(p, "w", encoding="utf-8", newline="").write(s2)
print(s != s2)

  1. 書き換わったかを確かめます。今回は True が出ました。

  2. 直した文字列が1件だけ入っているかを grep で数えます。

bash
grep -c "tools.compile_ea_l1086_lab.ps1\` SHA" "$f"

1 が返り、`tools\compile_ea_l1086_lab.ps1` に戻っていました。

同じ晩にもう1回:\r が改行文字に化けた

少し後で、同じ手順書に F:\MT5L1085TB\rehearsal_backup_... というパスを Python の str.replace で書き足しました。このときは Python が次の警告を出しただけで、処理は ok で終わりました。

<stdin>:8: SyntaxWarning: invalid escape sequence '\M'
<stdin>:12: SyntaxWarning: invalid escape sequence '\L'

ところが中身を見ると、\M や \L は残っていたのに、\r だけは正しいエスケープなので、警告も出ないまま CR(改行文字)になっていました。

スクリプトで置いた場合は `F:\MT5L1085TBehearsal_backup_L1086_<stamp>\...

こちらも chr() で組み立てて、壊れた部分を正しい形に置き換えて直しました。

bad  = 'F:' + chr(92) + 'MT5L1085TB' + chr(13) + 'ehearsal'
good = 'F:' + chr(92) + 'MT5L1085TB' + chr(92) + 'rehearsal'
assert s.count(bad) == 1
s = s.replace(bad, good)

警告が出たのは \M と \L だけで、本当に壊れた \r は黙って通った、というのが厄介なところでした。

試した方法と結果

方法 結果
sed -i で tools\compile を書き込む \c が消えて toolsmpile になった
re.sub の置換後の文字列に chr(92) 入りの文字列を渡す parse_template の中で例外になり止まった
re.sub に lambda m: rep を渡す 書き換わり、grep で 1 件を確認
Python の文字列に F:\...\rehearsal を直接書く \r が CR になった。警告は \M・\L にしか出なかった
chr(92) で組み立てて str.replace 直った

再発防止・気づき

  • re.sub の置換後の文字列にバックスラッシュが入りうるときは、最初から lambda m: rep で渡す。パスやユーザーの入力をそのまま入れたいときは特にです。
  • Windows のパスを Python の文字列に書くと、\r・\n・\t などは警告なしで別の文字になります。警告が出た行の近くに、黙って化けた行があるかもしれません。
  • 書き換えたあとは、grep -o で該当箇所を切り出して目で見る。今回はそれで CR に化けたことに気づけました。

この記事を書いた人

realine

Windows の PC で、MT5(MQL5)の EA・インジケーターの開発、WordPress のプラグイン開発とサイト運営、PowerShell・Python での作業の自動化をしています。このサイトには、その作業で実際につまずいたことと、効いた直し方を、確かめた環境と手順つきで残しています。

運営者情報と記事の作り方