WEBクローラーの気持ちになってWEBサイトを作ってみる

俺作RSSリーダ「BlogPad」は、RSSやATOMなんかのフィードの情報、XMLファイルの分析というか解析は自前でコーディングしている。今時はそんなライブラリとか関数とかあるような気がするけど自前。やってることは単純に取ってきたXML情報を最初から1byte単位で取り出して、解読。

解読の基本は"<"があればここからタグだよ、">"だとここでタグ終わり、"</"であれば終了タグで、"/>"だと単独で閉じてるタグ。という感じで1byte単位で頭から見ていく。">"が来たらその手前の"<"の場所を覚えておいて、その間にある文字列からタグの要素や属性や属性値なんかを拾っていく・・てな感じの動き。

とにかく"<"と">"はタグの構造を見るための最低限の分岐点だから、"<<"なんてなってるとプログラム的にいきなり困ってしまう・・わけだ。

BlogPadでは、RSSやATOMの情報を見るだけじゃなくって、WEB Browser コントロールに表示されているページのHTMLを抜き出して、そ中にmetaタグで記述されたrssへのリンクがないかどうかも見ている。RSSとかATOMなんかのXMLの場合はそういうことはめったに無いのだけど、こっちは大変。HTML4.01かXHTML 1.0か、とかによって書き方が違うし、たとえそう宣言されてても、実際にそうなってない、とか。

なので現実的には、開始タグがあるのに終了タグがない、とかイリーガルな場合に、親切にそれを理解してあげるロジックを組むしかない。

・・けっこうめんどくさい。

なので"</head>"が来たら、おかしな点があっても解読をあきらめる、というような動作をさせている。

W3C準拠ってのは、WEBブラウザやWEBクローラーへの負担を減らすことになるんだろうけど、気持としておかしな動きさせたWEBの評価は下げてやれぇ！とかきっとしたくなるよなぁ。

最近、某ベンチャーのWEBサイトを再構成しながら、WEBクローラーの気持ちってのもたぶんそんなんだよなぁ、WEBクローラーの気持ちになればいいんだ、とかおもた。

テーマ:SEO対策 - ジャンル:コンピュータ

<<ポルトガリアというアメリカ総領事館の近くの店で昨日は食ってきた | ホーム | ダイハツ　コペン by WONDA　プルバックオープンカーコレクション>>

コメントの投稿

トラックバック

トラックバックURLはこちら: http://nsoft.blog60.fc2.com/tb.php/1685-27812447; この記事にトラックバックする(FC2ブログユーザー)

javaでWEBクローラの作り方

java で書かれたwebクローラはこれらなどがあります。以下は、自作したいような人が読んで下さい。 HTML parser 参考 htmlファイル中のリンクタグは、 LinkTagクラスで表現します。 getLink() で、リンク先URLを取得し、 getLinkText(...

2008/05/18(日) 10:14:35 |
研究開発

プロフィール

N-Soft

Author:N-Soft
N-Softの雑記帳です

ダウンロード

N-Soft製のフリーソフトです

●BlogPad
3ペイン型のRSS/ATOMリーダ、白黒になるブラウザーを備えた「こっそり」ブログを読む為の必須アイテム！
●めむおぷと
空き物理メモリを増やし、心に癒しを提供するソフト
●窓の影
アクティブウィンドウに「影」をつけるソフト
●窓の鍵
キーボードとマウスの入力を一時的にロックするソフト
●NIV(N-Soft Image Viewer)
ウィンドウフレーム無しで画像を表示する画像ビューア
●めるちゃか
スパムの手動削除を目的としたマルチアカウントメールチェッカー(APOP,SSL対応)
●PWEXE
デスクトップのクリックなどで起動する軽量メニュー型ランチャー
●PopForward
サービスとしてバックグラウンドでも動作可能なメール転送ソフト

最近のトラックバック

月別アーカイブ

リンク１

さくら店長のわんわん日記
 ドッグフード・ペットフードのグッド・ワン

N-Soft　雑記場所

ミニカーのブログ・・じゃないんだと書いてみる