pythonで正規表現を使って文字列を検索してマッチした全てを出力する

2014年10月6日

プログラミングしていて、
とあるファイルや外部サイトのHTMLだとかを部っこ抜きたい時はよくあると思います。
初めてpythonでスクレイピングをさせてみたのでメモメモ。

使うモジュール

・urllib3

もしインストールされていない場合は、

pip install urllib3

でさくっとインストールするがよろし。
※僕はサーバをEC2にて運用しているのですが初めから入っていたようです。

なお今回はWebページにアクセスして文字列を検索して抜出すプログラムを書いています。

で、

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys,os
import urllib3
import re

http = urllib3.PoolManager()
html = http.request('GET', '取得したいページのURL').data

saki = re.findall('検索したい文字列', html)
for m in saki:
        print m

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys,os

import urllib3

import re

http = urllib3.PoolManager()

html = http.request('GET', '取得したいページのURL').data

saki = re.findall('検索したい文字列', html)

for m in saki:

print m

こんな感じですね。

すごく適当な感じですが、
例えばツイッターのハッシュタグクラウドのページにアクセスして、
今話題のタグの部分を抜出したい場合は、

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys,os
import urllib3
import re

http = urllib3.PoolManager()
html = http.request('GET', 'http://hashtagcloud.net/').data

saki = re.findall('<h3 class="hashtag-name">(.*)</h3>', html)
for m in saki:
        print m

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys,os

import urllib3

import re

http = urllib3.PoolManager()

html = http.request('GET', 'http://hashtagcloud.net/').data

saki = re.findall('<h3 class="hashtag-name">(.*)</h3>', html)

for m in saki:

print m

となるかと思います。

ただ、この場合だと、

<a href=”http://hashtagcloud.net/info/buddycom”>#buddycom</a><span class=”category”>[テレビ]</span>
<a href=”http://hashtagcloud.net/info/モーニング娘”>#モーニング娘</a><span class=”category”>[エンタメ]</span>
<a href=”http://hashtagcloud.net/info/ゲーム”>#ゲーム</a><span class=”category”>[ゲーム]</span>

といった感じで余計な文字だとかがあるので、
もう少しちゃんとした正規表現にするか、
抜出したあとに加工するかする必要はあります。