プログラミング

node.jsのhttpモジュールでutf-8以外のデータをもってくる場合

それくらい標準でやってくれよと思うところもあるのですが外部モジュールでやるもののようです qiita.com info-i.net 今回は後者の iconv-liteを使いました。liteのほうが他の依存モジュールが無いので楽。 var iconvLite = require('iconv-lite') var title…

Google Apps Scriptで久々にハマったら、以前のところと同じところでハマってた

ウェブアプリケーションとして公開する場合、修正するたびにバージョンを新規作成しなければ修正が反映されないというのをすっかり忘れてて数時間無駄にした。 気付くきっかけになったのがこのページ eye4brain.sakura.ne.jp コードを変更した場合、execのUR…

Google App Scriptの保存可能なプロパティ的なもの

Google App Script (以下GAS)で困るのがデータ保存をどうするかということ。 スプレッドシートならデータ用のシートを別に作成して、そこをデータベース代わりに使うらしい。ちなみにログも保存されないので、ログを残したければそういう形式を取るしか無い…

突然、GAE(standard)の課金請求が来て驚く

Google App Engine(standard)の無料枠を上手く生かして最小課金0.01ドル(あるいはゼロ)運用していた。 課金設定しないと有効にならないリソースもあるので(search indexや、転送量上限撤廃など)、そういう物がある場合は上手いこと上限をこえないように負荷…

GAEのJAVAのuploadで認証関係のエラーがでてお困り

エラー内容は Either the access code is invalid or the OAuth token is revoked.Details: invalid_grant 調べてみると、~/.appcfg_oauth2_tokens_java を消せとのこと。 しかし消せども状況変わらず。絶望的な気分になりながらもへこたれずにさらに調べる…

javascriptの文字コード変換としてお馴染みというか唯一のライブラリのecl.jsをネットワーク上に置いてみる

今だにUTF-8じゃないページとかがあって、いまだにこれを便利に使い続けてるのですが、ローカルに設置するのは結構面倒だったり、どこ行ったか忘れたりする。 作者のページは無くなっていて、引き継ぎのページはあるのですがコピペで引っ張るシステムになっ…

YQLのキャシュ管理がおかしい

HTMLスクレイピングする際にGAEのサーバがIPアドレスでdenyされてるいるサイトがあるのでYQLをかましていたのだが、どうやらYQL側のキャッシュ管理がおかしいのか、古いデータが引き出されたりすることが出てきたYQLのパラメーターにキャッシュ管理関連の項…

javaのHttpURLConnectionはhttp -> httpsのリダイレクトは処理しない

たとえ、 setInstanceFollowRedirects(true) していたとしても301は自力処理なのね 参考↓ Java HttpURLConnection follow redirect exampleセキュリティ意識の高まりか、有名サイトががhttpsに移行してきて過去のコードが動かなくなること多し

nyaaがYQLをforbidden 403しはじめた

過負荷対策なのだろうか 不便だ追記: 数時間後に見たら元に戻ってた、んー、何なんだろう

Google App Engine for java を使いはじめるもUTF-8の扱いに挫折

Yahoo APIから引っ張ってきたXMLを処理する作業をやっていたのだが、日本語だとログコンソール、Datastore Viewerが文字化けする上に、そもそもXMLを処理する時点で文字コードをがっちり指定してるのにもかかわらず化けてるっぽい。ほぼあきらめムード。そも…

うっかりしないという才能

漫画版: 女子高生プログラマーの大バトル!〜コボール文明の逆襲〜|paizaオンラインハッカソン6毎度オタクネタや美少女動物園化にウンザリしながらも解いて遊んでるのだが、何かありえないところでハマった。 このコード、どうしても最後のテストにパスしな…

Yahoo Pipes終了により移動先を探していたがYQLが結構使える

Pipesで使っていた機能はhtmlからXPATHで指定してデータを抜くスクレイピングだったのだが、終了騒動でオルタナティブとしてあげられていた類似サービスはxmlやらjson、RSSからデータを選別する機能提供者が多かった。 HTMLのパースはやはり面倒なのだろうか…

YoutubeAPIのサポート切れに引っかかる

手元のYoutube APIを使ったソフトがエラー出るので調べたら古いAPIが終了してた 一部の古い YouTube アプリのサポート終了について - YouTube ヘルプ さらに多くの機能を提供するための YouTube Data API のアップグレードに伴い、旧バージョンの API は 201…

2chブラウザのサムネ画像MVNOにつらい件につき何らかの対策を考えてみる

昨今、2chに貼られる画像が平気で1メガとかある。アニメgifだと5メガ超えてくる。 原因としてはimgur.comが大きいサイズの画像に対応してしまっていること、リサイズしないこと、アニメgifに対応してしまっていること、そしてそれらの画像がスマホで撮った写…

コーディングスキル低すぎワラタ

ITプログラマ・エンジニア向け転職・就活・学習サービスのpaizaとかいうサイトで、就職用なのかコーディングスキルのテストが出来るのですが、それやってみたら自分の能力の低さに驚く。 ていうか、これなぜ失格なのかわからないのがヤキモキする。まぁ、テ…

ついに業を煮やしてGAEに課金を始める

ちょっと前なら、ミニマムチャージで月800円位かかってた(らしい)のが、昨今(いつからかしらんが)最安で課金されるらしい。 というわけで、ちょうどチューニングにうんざりしてきたところ、特にDatawriteについてはどうにもならなく、memecache使えばいいっ…

GoogleIMEにAV女優の名前はどれくらいあるのか?

有名人の名前に強いと言われているGoogleIMEだが、たまにAV女優の名前で変換できないことがある、変わった読み方多いしね。中には変換できるものもあるので、有名どころは登録されているのだろうか。というわけで、調べてみてある程度使えそうなら、辞書にし…

GAEのpython 2.7 移行でハマる

このページを参考に2.7移行を試みる Migrating to Python 2.7 | App Engine standard environment for Python | Google Cloud Platformはまったのが、'Using WSGI'の項目 例のとおりにやっても ImportError: No module named myapp のエラーが。 どうやら、…

野田さんが困ってるpaizaのハッカソンに挑戦してみる

新人女子プログラマの書いたコードを直すだけの簡単なお仕事です!|paizaオンラインハッカソンVol.1 が何か流行ってるみたいなので、pythonで挑戦。 野田さんと言っても、この人 http://www.nhk.or.jp/noda/ ではないが。最初、馬鹿正直に適当に書いたらテ…

ドメインキングでpython + mysqlが使えない件

以前にpythonのバージョンが古すぎて(2.4)sqliteが使えないことがわかった ドメインキングのpythonのバージョンが2.4で愕然とする - 近現代史再考察 ので、仕方なしにmysqlで繋ぐことにする。 しかし、mysqlとつなぐライブラリがない事が判明。 試したもの i…

確かにプログラミングを知っておいたほうがいいというのはあるが

code.orgとやらが作った、「すべての国民にプログラミングの習得を推奨する映画(?)」とやらの評判がいいらしい。 ビル・ゲイツやらザッカーバーグやらコンピューター業界の大物から、意外なセレブ(will i amとか)までもがプログラミングを並んた「初体験」…

ドメインキングのpythonのバージョンが2.4で愕然とする

エラーログが [Fri May 17 08:08:46 2013] [error ] [client ] PythonHandler mod_python.cgihandler: File "/usr/lib/python2.4/site-packages/mod_python/apache.py", line 299, in HandlerDispatch\n result = object(req) で、2.4で問題なのが [Fri May …

scraperwikiは使えない、という結論

everydayを指定しているのに、この有様。毎日cronしろって指定してるのに、3日以上待たされてる。フランス人か。 おそらくキューに溜まってるのであろうですが、ブログにも「世界のためになってるどうたらこうたら」ばかりでトラブル情報はなし。 そろそろ、…

scraperwikiでのdeleteの際のTips

deleteしてもデータが消えてくれないので困ってたら。 scraperwiki.sqlite.commit() 入れたら動いた。deleteのみだとauto commitにならないのね。

dmmがweb apiはじめたので遊ぶ

トップ - DMM Web APIサービス 本来はアフェリエイト用の商品情報の提供らしい。価格コムがwebサービスの提供やめてしまったので*1、こういう遊べるサイトは貴重。で、少し触ってみたんですが、戻ってくるxmlがeuc-jpでpythonのxmlパーサが xml.parsers.expa…

scraperwikiの調子がたまに悪い

viewを表示しようとすると、 No output received from view. そのviewをeditする画面でrunすると、結果は表示されずに internalwarning: が出る。 blogでもtwitterでも不具合報告出てないので、うちだけで出る現象なのだろうか。

メモがわりに残しておいた日記が役に立つこともある

BeautifulSoupでこんなエラーが出た HTMLParser.HTMLParseError: bad end tag: u'', at line 363, column 114 ソース追ったら、こんな邪悪なソースというか、何か対策なんだろうか、mlb.com。 <script type="text/javascript"> if (typeof urlDecode == "undefined") document.writeln("<scr"+"ipt src='/scripts/util.js' type='text/javascript' ></scr"+"ipt>"); …

scraperwikiで同一ユーザー内のコピーの場合のテーブル名

scraperwikiにはcopyというかforkというかbranchみたいな機能があるんですが、それが同一ユーザー内でもできるわけです。 で、そうなった場合、DBのテーブル名ってどうなるんだろう、ネームスペースの問題は?って小一時間ほど悩んでしまったんですが、プロ…

メール着信を知らせるUBSガジェットで遊ぶ

以前から、画面の外で何かを表示するガジェットに興味があったので、dealextreamで面白そうなのを見つけた。 コメント欄を読むと、解析が進んでいてLEDの状態をプログラミングで操作できるらしい。 といわけで、買ってみた。1ドル83円換算で600円くらい。 多…

バックアップしたiPhoneのSMS、MMSを読もう

ひょんなことから、iPhoneをiTunesでバックアップしたファイルからメールの内容を取り出す作業が必要になる。 iMessageのバックアップファイルを読み解こうと試みる - ROOT MX127 を参考にしながらSQL文をガリガリ書くも、他社(SB以外)とのMMS取得がなんか怪…

growlを有効利用するべく努力してみる

Macでは割りとお馴染みの通知システムのgrowl。windowsにもあるので、うまく使えば便利かなと考えていたらハマる。まず、growlの通知システムはプロトコルが公開されていて、それをgntp(Growl Notification Transport Protocol)と呼ぶらしい。で、その標準化…