Git Bash で curl > /tmp/c.json に保存したのに、Python の open(‘/tmp/c.json’) が FileNotFoundError になる

結論

Git Bash の /tmp は Git Bash の中だけの呼び名で、Windows 版の Python に /tmp/c.json を渡しても同じファイルを指しません。ファイルを経由せず、curl | python のパイプで渡すか、取得そのものを Python の中でやれば通ります。

Git Bash で API の結果をいったん /tmp に保存して、Python で読む。Linux なら普通に動く書き方ですが、Windows では最初の一歩で止まりました。

症状

Git Bash で次のように打ちました(URL は例に置き換えています)。

curl -s "https://example.com/wp-json/wp/v2/categories?search=..." > /tmp/c.json; python -c "
import json
c=json.load(open('/tmp/c.json',encoding='utf-8'));print(c)
"

curl は何も言わずに終わり、Python の方で落ちます。

Traceback (most recent call last):
  File "<string>", line 3, in <module>
    c=json.load(open('/tmp/c.json',encoding='utf-8'));print(c)
                ~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/c.json'

環境

  • Windows 11
  • Git Bash(コマンドはここから実行)
  • Python は Windows 版(python で起動するもの)
  • その時の作業フォルダは F: ドライブの中

原因

同じ /tmp/c.json という文字列でも、受け取る側で意味が変わります。

書いた側 /tmp/c.json の読み方
curl のリダイレクト(>)。開くのは Git Bash Git Bash が持っている /tmp の置き場所
Python の open('/tmp/c.json') Windows のパスとして読むので、今のドライブの直下の \tmp\c.json(この時は F: ドライブ)

Git Bash は、コマンドの引数に書いたパスは Windows の形に直して渡すことがあります。ところが今回は、パスが python -c に渡す Python のコードの文字列の中にあるので、直されずにそのまま Python に届きます。Python は Git Bash の /tmp を知らないので、別の場所を探して「ファイルが無い」と言っています。

解決手順

ファイルを間に挟むのをやめれば、パスの食い違いは起きません。私は 2 通りで通しました。

  1. パイプで渡す(curl を使い続けたいとき)。標準入力から読むので、パスが出てきません。

bash
curl -s "https://example.com/wp-json/wp/v2/categories?per_page=100&_fields=name,count" \
| python -c "import json,sys; d=json.load(sys.stdin); print([(c['name'],c['count']) for c in d[:15]])"

  1. 取得も Python の中でやる(取った結果を使って、もう一度 API を呼ぶとき)。今回はカテゴリーの ID を取ってから、そのカテゴリーの記事を取りたかったので、こちらに書き直しました。

bash
python -c "
import json,urllib.request,html,sys;sys.stdout.reconfigure(encoding='utf-8')
H={'User-Agent':'Mozilla/5.0'}
g=lambda u: json.load(urllib.request.urlopen(urllib.request.Request(u,headers=H)))
c=g('https://example.com/wp-json/wp/v2/categories?per_page=100&_fields=id,name,count')
cid=[x for x in c if x['name']=='ドメイン'][0]['id']
for p in g(f'https://example.com/wp-json/wp/v2/posts?categories={cid}&per_page=50&_fields=id,title'): print(p['id'],html.unescape(p['title']['rendered']))"

これで記事の ID と題名の一覧がそのまま出ました。sys.stdout.reconfigure(encoding='utf-8') は、日本語の題名を Windows の画面に出したときに化けないようにするためのものです。

再発防止・気づき

  • Git Bash から Windows 版のプログラムを呼ぶときは、「パスを開くのは誰か」を見ます。> で書くのは Git Bash、open() で読むのは Python で、同じ /tmp でも中身が一致しません。
  • 一時ファイルが要らない処理なら、パイプか 1 つのプログラムの中で完結させるのが手っ取り早いです。
  • python -c "..." の中に書いたパスは、Git Bash が書き換えない点も覚えておくと、似た食い違いに気づきやすくなります。

関連

この記事を書いた人

realine

Windows の PC で、MT5(MQL5)の EA・インジケーターの開発、WordPress のプラグイン開発とサイト運営、PowerShell・Python での作業の自動化をしています。このサイトには、その作業で実際につまずいたことと、効いた直し方を、確かめた環境と手順つきで残しています。

運営者情報と記事の作り方