メモがわりに残しておいた日記が役に立つこともある

BeautifulSoupでこんなエラーが出た

HTMLParser.HTMLParseError: bad end tag: u'', at line 363, column 114

ソース追ったら、こんな邪悪なソースというか、何か対策なんだろうか、mlb.com。

<script type="text/javascript">
        if (typeof urlDecode == "undefined") document.writeln("<scr"+"ipt src='/scripts/util.js' type='text/javascript'
></scr"+"ipt>");
        if (typeof GetCookie == "undefined") document.writeln("<scr"+"ipt src='/scripts/cookie.js' type='text/javascrip
t'></scr"+"ipt>");

んで、昔調べた対策が役に立った。
http://d.hatena.ne.jp/miz999/20111013/1318529207

教訓:メモは残そう

とは言うものの、結局、スクレイピングしたい項目が動的ページの中にあったので上手く行かなかったんですけどね。javascriptパースして実行して、その後のDOMを操作できるツールが欲しい。