電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2008-06-20 13:50
[招待講演]100億規模のWebページ収集とその活用
山名早人早大
技報オンラインサービス実施中
抄録 (和) インターネット上のWebサーバから発信されるWebページ数は,2005年10月時点で537億ページと推測されている.我々は文部科学省のe-Societyプロジェクトの一環として,2004年1月~2006年7月末の間に,全世界の5,548万台のWebサーバからユニークWebページ数として14,456,201,906ページを収集した.収集にあたっては,高速収集の実現と相手Webサーバへの負担軽減といった相反する事項の両立が重要である.本プロジェクトでの実験を通じて,Webサーバへのリクエスト間隔の動的な調整,アクセスコントロール等,様々なノウハウを蓄積することができた.また,収集済Webページの約107億ページを対象に,記述言語分布,トップレベルドメイン分布,Webサーバの地理的位置の解析,Webサーバ単位でのバックリンク解析やPageRank計算を進めてきた.本講演では,これまでの経験を踏まえ,大規模なWebページ収集を行うためのクロール技術とWebページの活用について述べる. 
(英) The number of Web pages distributed from Web servers is estimated about 53.7 billion as of Oct. 2005. We had gathered 14,456,201,906 Web pages from 5,548 Web servers during Jan. 2004 to July 2006. It had been conducted as part of e-Society project which is one of MEXT, Ministry of Education, Culture, Sports, Science and Technology, leading projects. Speedup of crawling Web pages conflicts with Web-site friendly crawling, however, both are indispensable for gathering Web pages. In the project, we have studied and proposed a dynamic delay adjustment scheme for accessing Web servers to prevent hammering them. Moreover, many know-how including access control for Web servers have been studied. As for the analysis, written language distribution, top level domain distribution and geographical location distribution of 10.7 billion of Web pages were calculated. Besides that, back-link analysis and PageRank calculation among Web servers were done. In this talk, I will introduce a crawling technique for gathering large amount of Web pages and applications for best use of gathered Web pages.
キーワード (和) Webリポジトリ / Webクローラ / Web解析 / リンク解析 / / / /  
(英) Web repository / Web crawler / Web analysis / Link analysis / / / /  
文献情報 信学技報, vol. 108, no. 93, DE2008-17, pp. 95-96, 2008年6月.
資料番号 DE2008-17 
発行日 2008-06-12 (DE, PRMU) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 PRMU DE  
開催期間 2008-06-19 - 2008-06-20 
開催地(和) 小樽市民会館 
開催地(英) Otaru-Shimin-Kaikan 
テーマ(和) 膨大なデータから学ぶもの 
テーマ(英)  
講演論文情報の詳細
申込み研究会 DE 
会議コード 2008-06-PRMU-DE 
本文の言語 日本語 
タイトル(和) 100億規模のWebページ収集とその活用 
サブタイトル(和)  
タイトル(英) Gathering Over 10 Billion of Web Pages and its Applications 
サブタイトル(英)  
キーワード(1)(和/英) Webリポジトリ / Web repository  
キーワード(2)(和/英) Webクローラ / Web crawler  
キーワード(3)(和/英) Web解析 / Web analysis  
キーワード(4)(和/英) リンク解析 / Link analysis  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 山名 早人 / Hayato Yamana /
第1著者 所属(和/英) 早稲田大学 (略称: 早大)
Waseda University (略称: Waseda Univ.)
第2著者 氏名(和/英/ヨミ) / /
第2著者 所属(和/英) (略称: )
(略称: )
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2008-06-20 13:50:00 
発表時間 50 
申込先研究会 DE 
資料番号 IEICE-DE2008-17,IEICE-PRMU2008-35 
巻番号(vol) IEICE-108 
号番号(no) no.93(DE), no.94(PRMU) 
ページ範囲 pp.95-96 
ページ数 IEICE-2 
発行日 IEICE-DE-2008-06-12,IEICE-PRMU-2008-06-12 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会