Python で Markdown の表を split(“|”) すると列がずれる・ValueError: not enough values to unpack になる原因(\| と **太字**)

Markdown の表を Python で line.split("|") して読んでいたら、2か所で読み違えました。

  • 1つは、ID の列が **Q28** のように太字で、"Q28" と一致しなかったこと。
  • もう1つは、セルの中に絶対値の \|x\| が書いてあって、そこでも区切られて列が1つずれたこと。

エスケープされていない | だけで分けて、** と \ を外すと、どちらも直りました。

症状

Markdown の提案書から候補の表を読み出すスクリプトが、まず次のエラーで止まりました。

Traceback (most recent call last):
  File "make_candidates_v12.py", line 104, in <module>
    name, cond, fr, why = c[:4]
    ^^^^^^^^^^^^^^^^^^^
ValueError: not enough values to unpack (expected 4, got 3)

これを直して通るようになった後、今度はエラーは出ないのに、一部の行だけ「時間足」「件数」「条件」の中身が隣の列のものになっていました。

環境

  • Windows、Git Bash から Python を実行
  • 読む対象は、手で書いた Markdown の文書(見出しの下に表がいくつもある)

原因

原因は3つ重なっていました。

症状 原因
expected 4, got 3 で落ちる 文書の中の表ごとに列の数が違う(4列の表と3列の表がある)。表ではない節(説明の文だけの節)まで、表のつもりで読んでいた
追加した ID が見つからない 表の番号が **Q28** と太字で書かれていて、セルの値が **Q28** のままだった
一部の行で列が1つずれる 定義のセルに絶対値 \|x\| が書かれていて、split("|") がそこでも区切った

3つ目は見た目では気づけません。Markdown として表示すると |x| と正しく出るからです。実際に awk -F'|' でその行を割ってみると、列の数(NF)が本来の 9 ではなく 11 になっていて、[5]6 本の動き\ のように、\ で終わる切れ端ができていました。

11
[2] Q10
[3] SeasonalRunFade(U02)
[4] 直前 6 本の動きが、その時間
[5]6 本の動き\
[6] の 3 倍以上かつ ≥1.5ATR → 足
...

解決手順

  1. 読む節を絞る。表のある節に入ったら読み始め、表ではない節の見出しが来たら止める。今回は、表ではない節の見出しでも section = None にするよう条件を足しました。

python
elif line.startswith("### 3.3") or line.startswith("### 3.4"):
section = None

  1. セルを分ける関数を、エスケープされていない | だけで分ける形にする。あわせて ** を外し、\| を | に戻す。

“`python
import re

def cells(line):
# 定義の中の絶対値「|x|」は区切りではない(エスケープされていない | だけで分ける)
body = line.strip()[1:-1] if line.strip().endswith(“|”) else line.strip()[1:]
return [c.replace(“**”, “”).replace(“\|”, “|”).strip()
for c in re.split(r”(?<!\)|”, body)]
“`

(?<!\\) は「直前が \ ではない」という否定の後読みです。これで \| は区切りにならず、セルの中の文字として残ります。

  1. 警告をエラーとして扱って実行し、エスケープの書き間違いが無いことを確かめる。

bash
python -W error make_candidates_v12.py

これで、ずれていた2行の時間足・件数・条件が正しく読めました。

再発防止・気づき

  • この正規表現は、最初はシェルのヒアドキュメントの中で Python に置き換えさせようとして、\ が1段ずつ消えました。結果は re.split(r"(?<!\)\|", body) という壊れた形になり、SyntaxWarning: invalid escape sequence '\|' も出ました。\ を含むコードは、シェルを通さずにファイルを直接編集する方が早いです。
  • 手で書いた Markdown の表は、列の数・太字・エスケープが表ごとにばらばらになりがちです。読み出した後に、「この ID はこの列に、この形の値があるはず」と数行だけ突き合わせると、列ずれにすぐ気づけます。

この記事を書いた人

realine

Windows の PC で、MT5(MQL5)の EA・インジケーターの開発、WordPress のプラグイン開発とサイト運営、PowerShell・Python での作業の自動化をしています。このサイトには、その作業で実際につまずいたことと、効いた直し方を、確かめた環境と手順つきで残しています。

運営者情報と記事の作り方