結論
Python の標準出力が UTF-8 で書き出されていないのが原因でした。スクリプトの最初に sys.stdout.reconfigure(encoding='utf-8') を入れたら、◎・△・× がそのまま表示されました。
Markdown の表で判定に使っている記号を数えようとしたら、結果が化けて読めなくなった話です。厄介なのは、◎と△が両方とも '��' になってしまい、どちらが何件なのか見分けがつかないことでした。
症状
Git Bash から python -c で、表の判定列(◎・△・×)の件数を collections.Counter で数えて print しました。
python -c "
import re
s=open('設計書.md',encoding='utf-8').read()
rows=re.findall(r'^\| ([0-9]-[0-9]{2}|Q[0-9]{2}) \|.*?\| ([ABC]) \| (◎|△|×) \|',s,re.M)
from collections import Counter
print(len(rows),Counter(r[2] for r in rows))
"
出てきたのはこれです。
91 Counter({'�~': 42, '��': 29, '��': 20})
件数(91)は合っているので、ファイルの読み込みや正規表現は動いています。化けているのは print で出した記号だけでした。
環境
- Windows 11
- Git Bash
- Python 3.13(Microsoft Store 版)
原因
ファイルは encoding='utf-8' で読んでいるので、Python の中では正しい文字として持てています。化けたのは、print で外に書き出すときです。Windows の Python は、標準出力の文字コードが UTF-8 にならない場合があり、そこで日本語の環境の文字コード(cp932)で書き出されたものを、Git Bash 側が UTF-8 として表示したため、と見ています(出力の文字コードそのものは確かめていません)。
解決手順
- スクリプトの最初で、標準出力を UTF-8 に切り替える。
bash
python -c "
import re,sys
sys.stdout.reconfigure(encoding='utf-8')
s=open('設計書.md',encoding='utf-8').read()
rows=re.findall(r'^\| ([0-9]-[0-9]{2}|Q[0-9]{2}) \|.*?\| ([ABC]) \| (◎|△|×) \|',s,re.M)
from collections import Counter
print(len(rows),Counter(r[2] for r in rows))
"
- 記号がそのまま出ることを確かめる。表を書き足したあとに同じ集計を流したときは、こう表示されました(そのため件数は上と違います)。
98 Counter({'◎': 37, '×': 31, '△': 30})
同じ作業の中では、python -X utf8 スクリプト.py のように UTF-8 モードで起動したコマンドも、日本語の出力がそのまま読めていました。コードに1行足すか、起動のオプションで指定するか、やりやすい方でよいと思います。
| 書き方 | 記号の表示 |
|---|---|
python -c "..."(指定なし) |
'�~'・'��' に化ける |
sys.stdout.reconfigure(encoding='utf-8') を最初に入れる |
◎・△・× がそのまま出る |
再発防止・気づき
- 化けたまま数字だけ見ると、どの記号が何件かを取り違えます。今回のように2つの記号が同じ
'��'になると、件数の検算にも使えません。 - 記号や日本語を print する使い捨てのコマンドには、最初から
sys.stdout.reconfigure(encoding='utf-8')か-X utf8を付けておくと迷いません。
関連
- [robocopy のログを Get-Content で読むと「���v �R�s��ς�」と文字化けする。Shift_JIS(932)を指定して読む:Windows で cp932 と UTF-8 の取り違えによる文字化けを、PowerShell 側で直したいとき
- git status で日本語のファイル名が “\344\270\212…” と8進数になり grep できない → git -c core.quotepath=false で読める名前に:Git Bash で日本語が読めない形で出てくるとき