Windows の Job オブジェクトで CPU 上限をかけたのに Gradle(java)が効かない。Microsoft Store 版 Python から起動した子が Job の外に出ていた

結論

Microsoft Store 版の Python から起動したビルドの子プロセス(cmd・java)が、CPU 上限をかけた Job オブジェクトに入っていませんでした。通常インストールの Python 3.12 のフルパスで起動し直したら、子も孫も上限の枠に入りました。

自作のラッパーで「Job オブジェクトに CPU の上限をかけて、その中で Gradle のビルドを動かす」ようにしていました。ところが PC 全体の CPU が 9 割に張りついたままで、java が何コアも使っていました。

症状

上限 40% の Job の中でビルドを動かしているはずなのに、CPU 全体の使用率がこうでした。

PS> 1..3 | ForEach-Object { (Get-CimInstance Win32_Processor | Measure-Object LoadPercentage -Average).Average; Start-Sleep 2 }
91
84
88

プロセスごとに見ると、java が 3 コア分以上使っています。

Name       コア分
----       ------
java#1       3.30
terminal64   3.60

動いている java が Job に入っているかを確かめるスクリプトで調べると、どちらも外でした。

java.exe 26600 inJob= False
java.exe 28492 inJob= False

環境

項目 内容
OS Windows 11
PATH で最初に見つかる python Microsoft Store 版 Python 3.13(%LOCALAPPDATA%\Microsoft\WindowsApps\PythonSoftwareFoundation.Python.3.13_qbz5n2kfra8p0\python.exe)
別に入れてあった Python 通常インストールの Python 3.12(%LOCALAPPDATA%\Programs\Python\Python312\python.exe)
上限のかけ方 Python の ctypes で Job オブジェクトを作り、CPU のレートの上限をかけて子を起動する自作ツール
動かしたもの Gradle のビルド(子に cmd.exe・java.exe・aapt2.exe など)

原因

PATH の python が Microsoft Store 版で、そこから起動した子が Job の外に出ていました。

切り分けのために、「子を 1 つ起動して 3 秒 CPU を回すだけ」のスクリプトを用意し、上限 5% の Job の中で動かしました。

# nest.py
import subprocess, sys
subprocess.run([sys.executable, "-c", "import time;t=time.time()\nwhile time.time()-t<3: pass"])

ツールは、終わったときに Job が数えたプロセスの数(totalProcesses)を出します。インタープリターを替えて比べた結果です。

起動に使った Python Job が数えたプロセスの数
Microsoft Store 版 3.13 1(子が数えられていない)
通常インストールの 3.12 3(子も孫も入っている)

同じスクリプト・同じツールで、違うのは起動に使った Python だけです。なぜ Store 版だと子が外れるのか、Windows 側の仕組みまでは追っていません。分かっているのは「Store 版から起動すると子が Job に入らない」「通常版なら入る」という事実だけです。

Store 版 Python から起動すると cmd と java が Job の外に出て、Python 3.12 から起動すると全部が Job の中に入る図
起動に使う Python で、子が Job に入るかが変わった

解決手順

  1. まず、いつもの python がどちらかを確かめます。パスに WindowsApps が入っていれば Store 版です。

powershell
python -c "import sys; print(sys.executable)"

  1. 上限をかけるツールも、その中で動かすコマンドも、通常インストールの Python をフルパスで指定して起動します。python とだけ書くと PATH の Store 版が使われるので、両方とも置き換えます。

powershell
$py = "$env:LOCALAPPDATA\Programs\Python\Python312\python.exe"
& $py -I tools\cpu_capped_run_v2.py --cap-percent 40 -- $py -I tools\<ビルドのスクリプト>.py

(cpu_capped_run_v2.py は自作のツールです。自分の環境のラッパーに読み替えてください)

  1. 終わったら、Job が数えたプロセスの数を見て、子まで入ったかを確かめます。この形に直した後のビルドでは、40% の上限がビルドの全プロセス(33 個)に効き、CPU は平均 2.1 コア分に収まりました。

もう動いているビルドを止めたくないとき

既に Job の外で動いている java は、名前つきの Job を開いて、手で入れられました。ビルドのプロセスの PID(cmd・java)を調べてから、次のように入れます。

import ctypes
from ctypes import wintypes
k = ctypes.WinDLL("kernel32", use_last_error=True)
k.OpenJobObjectW.restype = wintypes.HANDLE
k.OpenProcess.restype = wintypes.HANDLE
k.AssignProcessToJobObject.argtypes = [wintypes.HANDLE, wintypes.HANDLE]

# 上限をかけた名前つきの Job を開く(名前は自分で作った Job のもの)
j = k.OpenJobObjectW(0x1F001F, False, r"Local\<Job の名前>")
for pid in (26536, 26600, 28492):  # ビルドの cmd・java の PID
    # PROCESS_SET_QUOTA | PROCESS_TERMINATE | PROCESS_QUERY_LIMITED_INFORMATION
    h = k.OpenProcess(0x0100 | 0x0001 | 0x1000, False, pid)
    print(pid, "assign", k.AssignProcessToJobObject(j, h), "err", ctypes.get_last_error())

結果は 3 つとも assign 1 err 0 で入りました。入れた後、java は 3.3 コア分から 1.2〜2.0 コア分に下がりました。ただし PC 全体の使用率は、ほかのプロセスの分もあって 8〜9 割のままでした。あくまで java の分を抑えられた、という結果です。

実際には、ビルドの親プロセスの子孫を数秒おきに見て、Job の外のものを入れ続ける見張りのスクリプトを 45 分の期限つきで走らせました。最後にビルドの子 7 つが Job に入っていました。

再発防止・気づき

  • Job で上限をかけるときは、「上限の数字」より先に「子まで Job に入ったか」を確かめる。数えたプロセスの数が 1 のままなら、子は外に出ています。
  • Windows では、PATH の python が Store 版になっていることがあります。ビルドや常駐の道具は、Python をフルパスで書いておくと取り違えません。
  • ctypes で "Local\cap-job" のように \c で始まる名前を普通の文字列で書くと SyntaxWarning: invalid escape sequence '\c' が出ます。Job の名前は r"Local\..." の生文字列で書きます。

関連

この記事を書いた人

realine

Windows の PC で、MT5(MQL5)の EA・インジケーターの開発、WordPress のプラグイン開発とサイト運営、PowerShell・Python での作業の自動化をしています。このサイトには、その作業で実際につまずいたことと、効いた直し方を、確かめた環境と手順つきで残しています。

運営者情報と記事の作り方