secubell の情報の取得（secubell-feed）について

読むもの

読むのは次の 2 つです。

• 監視：公的機関・開発元などが公開している配信（RSS・Atom）、公開データ（CSV・JSON）、公式の API。配信の無い 1 か所だけは、報道発表の一覧のページを 1 枚読みます。
• 原典のページ：配信や検索で見つけた発表・記事を、事件のレポートを作るときに 1 件ずつ読みます。利用条件で禁止されている媒体は読みません。

ページの中のリンクをたどって、サイトを次々に読み進める取得はしていません。

robots.txt

監視でも原典のページを読むときでも、取得の前に、そのホストの robots.txt を確かめ、Disallow で止められている場所は取得しません。当てるのは、User-agent に secubell-feed（または secubell）と書かれた節で、無ければ * の節です。robots.txt は 1 日おぼえておき、その後に読み直します。

User-agent: secubell-feed
Disallow: /

robots.txt が無いとき（4xx）や読めないときは、取得してよいものとして扱います。

robots.txt で止められている原典のページは読みません。レポートには、配信などで公開されている題とリンクだけを出典として示すことがあります。

取り込む内容

• 監視で取り込むのは、項目ごとの見出し・要旨（配信に載っている要約）・出典の URL・公開の日時です。報道の配信・API からは、見出しと URL だけを取り込み、要旨も保存しません。
• 記事の全文を再配布することはありません。会員に届けるレポートは secubell が作る文章で、元の発表・記事は出典のリンクで示します。
• 事件の候補にならなかった項目は、90 日で消します。