結論
原因は、正規表現の文字クラス [...] の中に書いた \b が「単語境界」ではなく「バックスペース文字」として扱われていたことでした。<h1[ >] のように、実際に来る文字(空白か >)を並べると正しく数えられます。
公開した記事20本のページを取ってきて、H1 が1つだけあるかを確かめるスクリプトを書いたら、全部「0件」と出ました。ページを見れば H1 はちゃんとあります。検査する側の正規表現が間違っていた、という話です。
症状
ページの HTML を取得して、次の行で H1 を数えていました。
h1 = len(re.findall(r'<h1[\b>]', h))
結果は20本すべて0件です。
101 18460 h1 0 og True <<<
102 18464 h1 0 og True <<<
103 18466 h1 0 og True <<<
...
og:image など他の検査は通っているので、ページの取得はできています。H1 の数え方だけがおかしい状態でした。
環境
- Windows、Git Bash からスクリプトを実行
- Python 標準の
reとurllib.requestで公開ページの HTML を取得して検査
原因
<h1[\b>] は「<h1 の直後が単語の境界か >」のつもりで書いたものです。ところが Python の正規表現では、\b は文字クラス [...] の外では単語境界ですが、文字クラスの中ではバックスペース文字(\x08) を表します。
| 書き方 | 意味 |
|---|---|
\b([] の外) |
単語境界(文字を消費しない位置の指定) |
[\b]([] の中) |
バックスペース文字 1文字 |
つまり <h1[\b>] は「<h1 の直後がバックスペースか >」という意味になります。H1 タグに class などの属性が付いて <h1 class="..."> となっていれば、<h1 の直後は空白なので一致しません。これで全ページ0件になっていました。
解決手順
- 文字クラスの中から
\bを外し、<h1の後に来うる文字を並べます。
python
h1 = len(re.findall(r'<h1[ >]', h))
<h1> と <h1 class="..."> の両方に一致し、<h1x のような別のタグ名には一致しません。
- 単語境界を使いたいなら、文字クラスの外に書きます。
python
h1 = len(re.findall(r'<h1\b', h))
- 直したスクリプトで検査し直します。今回は20本とも
h1 1になりました。
101 18460 h1 1 og True internal 27 ...
102 18464 h1 1 og True internal 23 ...
再発防止・気づき
- 検査の結果が「全件同じ値」になったら、まず検査する側を疑う。20本すべて0件は、ページより正規表現の誤りのほうがありそうです。
\bは[]の中と外で意味が変わる。[\b>]のように「境界か、この文字」をまとめて書きたくなったら、文字クラスに入れずに(?:\b|>)などで書くか、来る文字を具体的に並べる。- 直す途中で、Git Bash から
sed -iで書き換えようとしたら置換が反映されませんでした。バックスラッシュを含む正規表現をシェル越しに直すと、エスケープが何重にもなって読みにくくなります。今回はスクリプトのファイルをエディタで直接書き直して通しました。
関連
- Python の re.sub で置換文字列に Windows パス(\)を入れると parse_template で落ちる。lambda で渡せば通る:re の置換でバックスラッシュが原因のエラーが出た時
- Python で Windows パスの「\2026…」が \x82 に化ける。SyntaxWarning: invalid escape sequence ‘\L’ と一緒に出たら8進のエスケープを疑う:文字列の中のバックスラッシュが別の文字に化けた時