Webサイトで古い記事や調査資料を読んでいると、参照先が「404 Not Found」あるいは「410 Gone」になっていた…という事態に遭ったことがない方の方が少ないのではないでしょうか。
このようなWeb上での参照情報が得られない問題は、ページがなくなってしまい、閲覧できない場合以外でも起きます。
例えば、URLへアクセスできても、別のページへ一律に転送されていたり、公開当時とは異なる内容に書き換えられていたりすれば、以前の記事が示した根拠を確かめられないようなこともあります。
近年は、サービス、制度、ソフトウェア、受け手の価値観が変わる速度も上がっています。公開したコンテンツが役割を保てる期間が短くなれば、更新、統合、削除の機会も増えるでしょう。この変化はリンク切れの件数が必ず増えることを意味しませんが、参照先を失う原因の一つにはなります。
悪いケースでは、ドメインの所有者が変わり、全く違うサイトになっているケースもあります。また、サービスそのものが終わってしまうこともありますね、ヤフージオシティーズなど…。
そこでこの記事では、404や410ふくめ、なぜそのようなことが起きるのか。URLが開いても根拠を確かめられない状態、Webアーカイブで分かること、サイト運営者が将来の私たちのために残すべき情報などについて、まとめていきます。
404と410の背後で、コンテンツに何が起きているのか
リンク切れのページへアクセスした時、よく目にするのが「404 Not Found」です。HTTPのセマンティクスを定めたRFC 9110では、404はオリジンサーバーが対象リソースの現在の表現を見つけられなかった、またはその存在を明らかにしたくない状態を示します。
一方、「410 Gone」は、対象リソースへのアクセスがオリジンサーバーで利用できなくなり、その状態が恒久的である可能性が高いことを示します。サイト運営者が意図的に410を返せば、リソースを削除したという判断を機械にも利用者にも伝えやすくなります。
404と410は、アクセスした時に現れる結果です。なぜページが消えたのかまでは、この数字だけでは分かりません。背景には、次のような事情があります。
- サービスや事業が終了した
- CMSを移行し、URLの構造が変わった
- 複数のサイトや記事を一つに統合した
- キャンペーンやイベントの終了後にページを削除した
- 古い統計、仕様、制度説明を新しい資料へ置き換えた
- サイトの運営主体やドメインの所有者が変わった
文脈が変わると、同じ文章でも役割が変わる
コンテンツの寿命は、鮮度とも関係があります。事実の新旧だけでなく、周辺の文脈も。価値観は変わるのでないようによっては注釈が必要。
公開当時は一般的だった表現が、制度や社会的な価値観の変化によって、そのままでは通用しなくなることがあります。ソフトウェアの操作方法、広告商品の仕様、プライバシーに関する説明も、数年たてば前提から変わっているかもしれません。
このようなコンテンツは、削除するか、全面的に更新するか、当時の資料として残すかを判断する必要があります。このようなことを考えた時に「削除する」というのは一つの判断ではあります。リスク回避です。
HTTPコード別、見られない原因
| 表示される状態 | 技術上の例 | 私たちに起きる問題 |
|---|---|---|
| ページが見つからない | 404 Not Found | 元の資料を読めない |
| 恒久的に削除された | 410 Gone | 削除されたことは分かるが、後継資料が分からない |
| 別のページへ転送される | 301、308など | 転送先がトップページの場合、必要な資料を探せない |
| 正常なページとして応答する | HTTP 200 | 「ページがありません」と表示するソフト404の場合がある |
| 同じURLで内容が変わる | HTTP 200 | 公開当時に参照された文章を確かめられない |
| ドメインの所有者が変わる | HTTP 200 | 元の発行主体とは無関係な内容が表示される |
ソフト404は、機械にも人にも分かりにくい
ページが存在しないにもかかわらず、サーバーがHTTP 200を返す状態は、一般にソフト404と呼ばれます。見た目には「お探しのページはありません」と表示されていても、技術上は正常なページとして応答している状態です。
Google Search Centralは、存在しないページには404または410を返し、移転先がある場合は適切なリダイレクトを使う考え方を示しています。サイト内の全ての削除ページをトップページへ転送しても、私たちが探していた情報へ近づけるとは限りません。
URLが残っても、内容が変われば意味がない・薄い
同じURLの内容が時間とともに変化することもあります。統計資料のPDFを毎年同じファイル名で上書きした場合、現在の私たちは最新版を読めますが、過去の記事が引用した数値を確かめられません。
URLが消えるリンク切れに対して、URLは残っているものの内容が変わる現象は、参照内容の変化として区別して考える必要があります。どちらも、以前の記述を検証できなくなる点では共通しています。
Webアーカイブで分かることと、分からないこと
消えたページを探す時に役立つのがWebアーカイブです。国内では、国立国会図書館がインターネット資料収集保存事業（WARP）を運営し、国の機関、自治体、大学、法人などのWebサイトを収集、保存しています。
また、Internet ArchiveのWayback Machineには、世界各地のWebページが保存されています。元のURLを入力すると、保存された日時ごとのページを閲覧できる場合があります。後はWeb魚拓などもありますね。megarodon。
保存日時を含めて読む
Webアーカイブでページを見つけた時は、本文だけでなく保存日時も見ましょう。記事が参照した日より後の保存版しかなければ、引用当時の内容と同じであるとは限りません。
確認したい項目は次の通りです。
- 保存された日時
- 元のURL
- ページ名と著者名
- 発行主体
- 記事が引用した文章や数値
- 添付PDFや画像も保存されているか
完全に再現できるとは限らない
Webアーカイブに記録があっても、当時のページを完全に再現できるとは限りません。WARPのヘルプにも、自動収集では取得できないファイルや、保存したページを正常に表示できない場合があることが示されています。JavaScriptで後から読み込む内容、外部サーバーに置かれた画像、会員限定ページ、検索結果、フォームなどは、正常に表示されない場合があります。
保存版を見つけたことと、その内容が正式な現行資料として保証されていることも別です。制度、法律、製品仕様を調べる場合は、保存版だけで判断せず、発行主体が現在公開している資料も確かめる必要があります。
Web参照の保存状況を調べた2011年の研究では、調査対象となった学術文献の参照URLについて、現存していても将来のために保存されていないものや、すでに失われていたものが報告されました。Mementoを利用した研究は、リンク先の保存を偶然に任せるだけでは、将来の検証可能性を確保できないことを示す材料になります。
また、明示的にWaybackMachineによる保存を拒否することもできます。
古い参照先を探す時の順序
参照先が消えていた場合、アーカイブ以外にも見つけることはできるかもしれません。それも含めて以下のような探し方が一般的です。ただ、すべての情報を公開者が永久に公開する義務はありませんから、あくまで限界はあります。
- 元の情報を控える
URL、ページ名、著者、発行主体、公開日、参照されていた文章を記録します。 - 発行主体の現行サイトを探す
サイト内検索や資料一覧から、移転先、改訂版、後継制度の説明を探します。 - Webアーカイブを探す
WARPやWayback Machineで、元URLの保存版を確認します。 - 保存日時と内容を照合する
引用時点に近い保存版か、ページ名や本文が一致しているかを確かめます。 - 現行資料と保存版を使い分ける
当時の出来事を示すなら保存版、現在の制度や仕様を説明するなら現行資料を優先します。
古い資料が見つからない場合も、検索結果に表示された断片だけを根拠にするのは避けたほうがよいでしょう。別の報道、官公庁資料、学術文献などから同じ事実を確かめられるか探した方が良いです。原本からの二次解釈は、二次解釈として扱う必要があります。
サイト運営者が参照価値を残す方法
コンテンツを長く活用したいなら、本文の品質だけでなく、公開後の参照可能性も管理する必要があります。
URLを変更しにくい設計にする
公開日、担当部署、カテゴリ名をURLへ細かく入れると、組織改編や分類変更のたびに移転が必要になる場合があります。将来の変更を考え、内容の識別に必要な範囲でURLを設計しましょう。
移転先がある場合は、関係の深いページへ転送する
古いページを削除した時にトップページへ一律転送すると、私たちは目的の情報を探し直さなければなりません。内容を引き継ぐページがあるなら、そのページへ個別に転送します。
終了日と後継資料を示す
サービスや制度が終了しても、以前に存在した事実まで消えるわけではありません。終了告知を残し、終了日、理由、後継サービス、問い合わせ先を示せば、過去の記事から来た私たちも状況を把握できます。
統計やガイドラインには版を残す
PDFを上書きするのではなく、発行年や版番号をファイル名とページ内に残します。最新版への導線を用意しながら、過去版も閲覧できる状態が望ましいでしょう。
外部リンクも定期的に見直す
コンテンツのメンテナンスでは、本文の誤字や情報の古さだけでなく、引用元と外部リンクも点検します。
チェック時には、次の項目を見ます。
- リンク先が表示できるか
- 発行主体が変わっていないか
- 引用した文章や数値が残っているか
- 改訂版や後継資料が公開されていないか
- アーカイブ版を補足する必要があるか
Webコンテンツは、公開すれば自動的に積み上がり続ける資産ではありません。受け手の価値観や周辺の文脈まで変化する以上、どこに何を公開し、現在も参照できるかを管理し続ける必要があります。
まとめ
404と410は、リンク先へアクセスした時に現れる代表的な結果です。しかし、リンク切れの背景には、事業終了、サイト移行、資料の改訂、運営主体の変更など、さまざまな事情があります。
さらに、URLが開いても、内容が差し替えられていれば、過去の記事が示した根拠を確かめられません。URLの生死と、参照内容が保たれているかどうかは分けて考える必要があります。
私たちは、発行主体の現行資料とWebアーカイブを使い分ける。サイト運営者は、URL、版、終了日、後継資料、外部リンクを管理する。この両方がそろって初めて、Web上の資料を将来の私たちへ引き継げます。
参考文献
- 国立国会図書館「国立国会図書館インターネット資料収集保存事業（WARP）」
https://warp.ndl.go.jp/ - 国立国会図書館「WARPヘルプ」
https://warp.ndl.go.jp/info/help - RFC Editor “RFC 9110: HTTP Semantics”
https://www.rfc-editor.org/rfc/rfc9110.html - Google Search Central「Google検索のクロールに関するエラーのトラブルシューティング」
https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors - Sanderson, Robert, Mark Phillips, and Herbert Van de Sompel. “Analyzing the Persistence of Referenced Web Resources with Memento.” 2011.
https://arxiv.org/abs/1105.3459
