Git Bash から python -c で ◎・△・× を print すると「’�~’」「’��’」に化ける。sys.stdout.reconfigure(encoding=’utf-8′) で読めた

結論

Python の標準出力が UTF-8 で書き出されていないのが原因でした。スクリプトの最初に sys.stdout.reconfigure(encoding='utf-8') を入れたら、◎・△・× がそのまま表示されました。

Markdown の表で判定に使っている記号を数えようとしたら、結果が化けて読めなくなった話です。厄介なのは、◎と△が両方とも '��' になってしまい、どちらが何件なのか見分けがつかないことでした。

症状

Git Bash から python -c で、表の判定列(◎・△・×)の件数を collections.Counter で数えて print しました。

python -c "
import re
s=open('設計書.md',encoding='utf-8').read()
rows=re.findall(r'^\| ([0-9]-[0-9]{2}|Q[0-9]{2}) \|.*?\| ([ABC]) \| (◎|△|×) \|',s,re.M)
from collections import Counter
print(len(rows),Counter(r[2] for r in rows))
"

出てきたのはこれです。

91 Counter({'�~': 42, '��': 29, '��': 20})

件数(91)は合っているので、ファイルの読み込みや正規表現は動いています。化けているのは print で出した記号だけでした。

環境

  • Windows 11
  • Git Bash
  • Python 3.13(Microsoft Store 版)

原因

ファイルは encoding='utf-8' で読んでいるので、Python の中では正しい文字として持てています。化けたのは、print で外に書き出すときです。Windows の Python は、標準出力の文字コードが UTF-8 にならない場合があり、そこで日本語の環境の文字コード(cp932)で書き出されたものを、Git Bash 側が UTF-8 として表示したため、と見ています(出力の文字コードそのものは確かめていません)。

解決手順

  1. スクリプトの最初で、標準出力を UTF-8 に切り替える。

bash
python -c "
import re,sys
sys.stdout.reconfigure(encoding='utf-8')
s=open('設計書.md',encoding='utf-8').read()
rows=re.findall(r'^\| ([0-9]-[0-9]{2}|Q[0-9]{2}) \|.*?\| ([ABC]) \| (◎|△|×) \|',s,re.M)
from collections import Counter
print(len(rows),Counter(r[2] for r in rows))
"

  1. 記号がそのまま出ることを確かめる。表を書き足したあとに同じ集計を流したときは、こう表示されました(そのため件数は上と違います)。

98 Counter({'◎': 37, '×': 31, '△': 30})

同じ作業の中では、python -X utf8 スクリプト.py のように UTF-8 モードで起動したコマンドも、日本語の出力がそのまま読めていました。コードに1行足すか、起動のオプションで指定するか、やりやすい方でよいと思います。

書き方 記号の表示
python -c "..."(指定なし) '�~'・'��' に化ける
sys.stdout.reconfigure(encoding='utf-8') を最初に入れる ◎・△・× がそのまま出る

再発防止・気づき

  • 化けたまま数字だけ見ると、どの記号が何件かを取り違えます。今回のように2つの記号が同じ '��' になると、件数の検算にも使えません。
  • 記号や日本語を print する使い捨てのコマンドには、最初から sys.stdout.reconfigure(encoding='utf-8') か -X utf8 を付けておくと迷いません。

関連

この記事を書いた人

realine

Windows の PC で、MT5(MQL5)の EA・インジケーターの開発、WordPress のプラグイン開発とサイト運営、PowerShell・Python での作業の自動化をしています。このサイトには、その作業で実際につまずいたことと、効いた直し方を、確かめた環境と手順つきで残しています。

運営者情報と記事の作り方