Python の文字列に Windows のパス(...\Logs\20261115.log)を入れて Markdown に書き込んだら、\2026 のところだけが \x82 という見えない1文字に化けました。
原因は \202 が8進のエスケープとして読まれたことです。同時に出ていた SyntaxWarning: invalid escape sequence '\L' が手がかりでした。
\ を chr(92) で組み立てるようにしたら、シェルを通しても壊れずに書けました。
症状
Git Bash から python -c "..." で、ファイル内の1行を置き換える処理を流しました。置き換え後の文字列にはログのパス MQL5\Logs\20261115.log が入っています。
実行すると警告が1つ出ます。
<string>:4: SyntaxWarning: invalid escape sequence '\L'
警告だけで処理は終わったので書けたように見えましたが、書いた行を repr で見ると壊れていました。
'... MQL5\\Logs\x8261115.log ...'
\Logs の後ろの \20261115.log が、\x82 + 61115.log になっています。画面やエディタでは � のように見えるだけなので、気づきにくいです。
環境
- Windows
- Git Bash から
python -c "..."、またはヒアドキュメント(python - <<'EOF')で Python を動かす SyntaxWarning: invalid escape sequenceを出す版の Python
原因
Python の通常の文字列(r の付かない文字列)では、\ の後ろに何が来るかで扱いが変わります。
| 書いたもの | Python の読み方 | 結果 |
|---|---|---|
\L |
エスケープとして意味が無い | \L のまま残る(SyntaxWarning が出る) |
\20261115 |
\202 までを8進のエスケープとして読む |
\x82 の1文字 + 61115… |
8進のエスケープは数字を3けたまで読むので、\20261115 は \202(=0x82)と残りの数字に分かれます。\Logs が無事だったのは、\L がたまたまエスケープとして意味を持たなかっただけです。
\ を2つ重ねて書いていても、シェルや実行の道具を通るうちに数が減ることがあります。実際、ヒアドキュメントに 'MQL5\\Logs' と書いた直し方でも、Python 側で invalid escape sequence '\L' が出て、\ が1つになっていました。そのときは探す文字列が合わず AssertionError で止まっています。
解決手順
- 壊れた文字を目で見える形にして、場所を確かめます。
reprで出すと\x82がそのまま見えます。
bash
python -I -c "s=open(r'registry.md',encoding='utf-8').read();i=s.find('Logs');print(repr(s[i-10:i+40]))"
\を文字として書かず、chr(92)で組み立てます。こうすると、シェルを何段通っても\の数が変わりません。
bash
python -I - <<'EOF'
B=chr(92)
p=r'registry.md'
s=open(p,encoding='utf-8',newline='').read()
bad='MQL5'+B+'Logs'+chr(0x82)+'61115.log'
assert s.count(bad)==1
s=s.replace(bad,'MQL5'+B+'Logs'+B+'20261115.log')
assert chr(0x82) not in s
open(p,'w',encoding='utf-8',newline='').write(s)
i=s.find('Logs');print(s[i-6:i+20].encode('unicode_escape').decode())
EOF
- 最後の行の出力で、
\\Logs\\20261115.logのように\が2つずつ(=実際は1つずつ)並んでいれば直っています。
MQL5\\Logs\\20261115.log
再発防止・気づき
SyntaxWarning: invalid escape sequenceは「警告だけで済んだ」ではなく、「同じ文字列の中に、警告にならずに化けた\があるかもしれない」という合図として読む。\の後ろが数字やn・t・xだと、警告なしで別の文字になります。- シェルから Python に Windows パスを渡すときは、
chr(92)で組み立てると、何段のエスケープを通るかを考えなくて済みます。 - 書き込んだ後に
assert chr(0x82) not in sのように、壊れたときに出る文字が無いことを確かめておくと、黙って壊れたまま保存されるのを防げます。