Devlog♡
トップ 追記

Devlog♡

2002|11|12|
2003|01|02|03|05|06|07|08|09|10|11|
2004|01|02|

2004-02-17

_ [Ruby][Nora] LIRSに問題

','と'\'のエスケープ処理がまずかった。リリースしたばかりだが、修正版出さないといけないな。

_ [Ruby][Nora] FTPサポート

HTTPプロクシ経由でFTPのファイルをGETするには、どう書けば良いんだろう?

"GET ftp://host/path/file HTTP/1.1"をPROXYに投げればいいのは、わかるんだがnet/httpでやる方法がわからない。

本日のリンク元 | 4 | 4 | 3 | 3 | 2 | 1 | 1 | 1 | 1 | 1 |

2004-02-16

_ [Ruby][Nora] Web::Agent

POSTのテストをしてたらシンプル掲示板が壊れちゃった。帰ったら直さないと(^^;

_ LIRSも解釈できるようにしてみようかな。RSSはRuby標準添付されたので解釈できるし。

lirs = Web::Agent::LIRS.new
open('lirs.gz') {|f|
  lirs.parse(f)
}
lirs.each {|rec|
  print rec.to_s
}

_ いちおうオプショナルな部分は除いて実装できました。

_ ほかのLIRSとのマージ機能も作りました。

_ hina-diも対応させてみるかな。

_ hina-diも読み書きできるようになった。

_ Web::Agent::LIRS,Web::Agent::Hina_diも出来たことだしリリースしてみるかな。

_ Web::Agentで取ってきたHTMLのフォームに値を埋めてPOST出来るようにしたいなぁ。Web::Agent::Forms開発開始。

_ htreeの使い方がわからない。attributeの値の取得はどうやればいいのだ?

_ GETしてフォームの値を変更してPOSTができた。

MoonWolf RWikiのSandboxで試してみた。

原理的にはWiki荒らしが自動化できるな(汗)

_ [Ruby][Nora] Nora 0.0.20040216 released

簡単にHTTPのGET/POST/HEADが出来るWeb::Agentを追加

クッキーにも対応しています。

将来的にはFTP/HTTPSにも対応する予定です。

_ robots.txtの解析、判定クラスを追加(Web::Agent::Robots)

_ アンテナ情報フォーマット(LIRS/hina-di)の読み書きクラスを追加(Web::Agent::LIRS,Web::Agent::Hina_di)

_ Webフォームの読み書きに対応(Web::Agent::Forms)

※要htree(http://cvs.m17n.org/cgi-bin/viewcvs/htree/htree.tar.gz?tarball=1&cvsroot=ruby)

本日のリンク元 | 45 | 27 | 26 | 22 | 9 | 7 | 5 | 5 | 3 | 3 |

2004-02-14

_ [Ruby][Nora] Web::Agent

GETはほぼ完成なので、HEAD,POSTに着手。

query,formのエンコードメソッドを書いてみた。

本日のリンク元 | 42 | 41 | 21 | 16 | 8 | 7 | 7 | 5 | 4 | 4 |

2004-02-13

_ [Ruby][Nora] Web::Agent

HTTPから実装していこう。

_ Location:,Refresh:ヘッダ、<meta http-equiv="refresh">によるリダイレクトに対応した。

_ CookieManagerを作りはじめた。これが出来れば、Webのかなりの部分が自動化できるようになる。

WebUnitでも使えるかも。セッション維持できるし。

_ 保存方法(RDB,File)は考えないことにしよう。必要ならPStore使えばいいんだし。

_ CookieManager出来たっぽい。今夜あたりNoraリリースしてみるか。

_ gzip,deflateにも対応した。天泣記もGETできた。

_ BASIC認証くらいには対応させようか?

そうするとPasswordManagerが必要になるな。

_ schemeが変わるリダイレクトもあるんだったな。ロジック考え直そう。

本日のツッコミ(全1件) [ツッコミを入れる]

_ なひ [ちなみにhttp-access2のCookieManagerは、高橋さんの http://www.rubycolor.org/arc/のWebagentからもらったものです。 ネーミングは似るものなのか。]

本日のリンク元 | 74 | 33 | 28 | 15 | 13 | 11 | 10 | 8 | 7 | 4 |

2004-02-12

_ [Ruby][Nora] robots.txt解析クラス(Web::Agent::Robots)

A Standard for Robot Exclusion(rfc-draft)を参考に組んでみたが、どうもおかしい。

Disallow:の値が空に出来ないのだ。

disallowline = "Disallow" ":" *space path [comment] CRLF
comment      = *blank "#" anychar
space        = 1*(SP | HT)
path         = fsegment *( "/" segment )
fsegment     = 1*pchar
segment      =  *pchar

_ A Standard for Robot Exclusionベースで作ったほうがいいんだろうか?

Allow:使ってるrobots.txtが無いようなら、rfc-draftベースは止めよう。

_ パースと書き出しが出来るようになった。次は本題のAllow:,Disallow:のチェック機能だな。

_ チェック機能も出来た。テストを書いてみよう。

12 tests, 60 assertions, 0 failures, 0 errors

_ テスト完了

_ [Net] メールアドレス収集ロボット対策

ハニーポット的な考え。

アクセスすると"moonwolf-spam-"+REMOTE_ADDRを暗号化した文字列+"@moonwolf.com"という文字列を表示するCGIを仕込んでおく。

~/.qmail-spamに来たIPアドレスからのアクセスを禁止していけば、そのうちアドレス収集ボットから逃れられるようになる?

_ 各地に分散して配置してRBL(Realtime Blackhole List)みたくしてやると効果があがるかも。

本日のツッコミ(全2件) [ツッコミを入れる]

_ ただただし [そのロボット対策はなかなか面白いと思う]

_ otsune [望月明夜さんのサイトとかで実践されていたり。 あとhttp://spam.h1r.org/spambot/で紹介されている方法と似ていると思いました。 rblsmtpdで収集したアドレスをDNS参照できるようにすれば実現可能かも? で...]

本日のリンク元 | 26 | 17 | 17 | 6 | 5 | 5 | 4 | 4 | 4 | 3 |

2004-02-10

_ [Net] SEE.KZ/FUN.KZ/WOR.KZ DNS修正

DNSの移行を忘れてた。帰ったらZoneEditで修正しとこう。

_ 特にSEE.KZは検索エンジンとして使うから早めにやっとこう。

_ [Ruby] HTTPエージェント

単純なgetは出来るようになった。

_ リダイレクトの対応をしないといけないな。

Locationヘッダ、Refreshヘッダ、<meta>タグによるRefreshに対応しよう。

無限ループの検出もしないと。

_ [Ruby] SUZAKU

マニュアルが見えね~。

no-ip.comにしかマニュアルがないのはキツイよ~。

本日のリンク元 | 55 | 36 | 20 | 13 | 10 | 8 | 5 | 5 | 3 | 3 |

2004-02-06

_ [Net] b.root-servers.net の IP アドレス変更について (IANA アナウンス)

うちのサーバはどうしてたかな? 帰ったら確認しよう。

_ /etc/bind/db.rootを修正してbindをrestartした。

_ リリース中のURLにスペルミスがあってあせった(^^;

rs.ineternic.netなんてねぇよ。

本日のリンク元 | 81 | 55 | 20 | 18 | 18 | 14 | 8 | 5 | 3 | 3 |

2004-02-05

_ [Ruby] Ruby/Chasen

Chasenのバージョンによる問題か?

Cygwin上でもchasen-2.3.3.tar.gzとChasen1.6.tar.gzの組み合わせでextconf.rbがlibchasenを認識しなかった。

_ chasen-2.2.9.tar.gzをインストールしたら、Chasen1.6のインストールが正常に完了した。

_ chasen-2.3.0から導入されたdartsのあたりから問題になっているのか?

_ このへんから古いChasenをインストールすればなんとかなりそうだな。

_ ツッコミありがとうございまず。extconf.rbにhave_library("stdc++")を追加したらうまくいきました。

_ [Net] 自前でサーチエンジンを作ろう(see.kz)

現在の候補はSUZAKUNutch

_ Nutchの実行にはJavaが必要なのででびあんじゃばをメモっておく。

Nutchにはクローラーが用意されていない。自分で組んでみるかな?

_ [Ruby] Nora

Crawler向けにAgentを書いてみよう。MakiさんのWebAgentとかぶった物になる。

_ Web::RequestがCGI/1.1の環境変数のSERVER_*とかSCRIPT_NAMEに対応してなかったので追加しよう。

本日のツッコミ(全1件) [ツッコミを入れる]

_ 通りすがり [これでしょうか? http://chasen.aist-nara.ac.jp/ml/chasen-users/msg00310.html ]

本日のリンク元 | 53 | 33 | 29 | 28 | 11 | 10 | 6 | 6 | 6 | 4 |

2004-02-04

_ [病気] 歯が痛い

神経までいっちゃってるらしい。しばらく歯医者通いだな。

_ [Ruby] にちゃんねる風掲示板

開発着手した。

_ DB設計は完了。

_ *.datをインポートするプログラムを作ってテストしてみよう。

_ [Ruby] Ruby/DBI

$KCODEによって、エラーが発生することがある。

_ $KCODE='s'でUTF-8をDBIに渡すとSyntax Errorになる。

正規表現で文字コードが指定されていないのが原因か?

_ 正規表現リテラルを探して全部//nに書き換えよう。

_ [Ruby] Ruby/Chasen1.6

SUZAKUを使おうと思ってChasenを入れようとしたら、うまくいかない。

 $ ls /usr/lib/libchasen*
/usr/lib/libchasen.a   /usr/lib/libchasen.so    /usr/lib/libchasen.so.0.0.1
/usr/lib/libchasen.la  /usr/lib/libchasen.so.0
 $ ruby extconf.rb
 checking for chasen_getopt_argv() in -lchasen... no
 creating Makefile

_ なぜ?/usr/libにはlibchasen.aがちゃんとあるのに。

_ [Ruby] MySQL/Ruby

ホームページが繋がらない。うーむ(^^;

本日のツッコミ(全1件) [ツッコミを入れる]

_ たむら [今繋がりましたぜ age>tmtm.org]

本日のリンク元 | 28 | 27 | 21 | 21 | 10 | 8 | 5 | 4 | 4 | 4 |

2004-02-02

_ [Net] SmartFilter

会社から*.tdiary.netが閲覧不可になった。抜け道はないかな?

_ [Net] 元祖しゃちょう日記

にちゃんねるのひろゆきのblog?

_ read.cgiのRubyバージョンを書いてみたいなぁ。

mwupみたくNora+Web::Controller::Simple使って、tDiaryテーマ互換にして。

_ 昔作ったdat2htmlを読み直してみよう。

本日のリンク元 | 50 | 36 | 35 | 9 | 9 | 5 | 3 | 3 | 3 | 3 |