PDFからの復元が正しいことの検査結果
原典はPDFだけで、CSVもExcelもAPIもありません。 PDFの表を機械で読むときに列が1つずれても、数字は一見もっともらしく並びます。 だから当サイトは、復元した表を原典自身が公表している数字と突き合わせてから載せています。 突き合わせに通らなかった年度は載せません。
何と突き合わせたか
| 記号 | 内容 | 通らなければ | 結果 |
|---|---|---|---|
| V1 | 「全 国」行1行+都道府県47行がコード順に並んでいる | その年度を載せない | 7年度すべて通過 |
| V2 | 典型7公害の「計」=大気汚染+水質汚濁+土壌汚染+騒音+振動+地盤沈下+悪臭 (低周波音は足さない) | その年度を載せない | 7年度 × 48行すべて一致 |
| V3 | 廃棄物投棄の「計」=生活系+農業系+建設系+産業系、 典型7公害以外の「計」=廃棄物投棄+その他 | その年度を載せない | 7年度 × 48行すべて一致 |
| V4 | 「合計」=典型7公害の「計」+典型7公害以外の「計」 | その年度を載せない | 7年度 × 48行すべて一致 |
| V5 | 47都道府県の列ごとの和=原典の「全 国」行 | その年度を載せない | 119列すべて一致(不一致 0) |
| V6 | 別のPDF(第31表 都道府県別公害苦情受付件数の推移)の同年度・同都道府県の件数=第32表の「合計」 | その年度を載せない | 336件すべて一致(不一致 0) |
| X1 | 3つの統計表(表1 全国の推移/第31表/第32表)の全国の件数が一致する | 記録して報告 | 11年度すべて一致(不一致 0) |
| S1〜S5 | 担当職員数の表:相談員の計=専任+兼任、相談員以外の計=専任+兼任、年度の計=相談員+相談員以外、増減数=当年度−前年度、47都道府県の和=「全 国」行 | その年度を載せない | 7年度すべて通過 |
V5 が通るというのは、47行×17列の数字の和が原典の公表値と一致するということです。 列が1つでもずれていれば通りません。これがPDF復元の正しさの根拠です。
V5 の実例(令和6年度)
| 区分 | 47都道府県の和(当サイトの計算) | 原典の「全 国」行 | 一致 |
|---|---|---|---|
| 合計 | 66,931 | 66,931 | 一致 |
| 典型7公害 計 | 47,622 | 47,622 | 一致 |
| 大気汚染 | 12,630 | 12,630 | 一致 |
| 水質汚濁 | 4,300 | 4,300 | 一致 |
| 土壌汚染 | 235 | 235 | 一致 |
| 騒音 | 18,811 | 18,811 | 一致 |
| 騒音(低周波音) | 261 | 261 | 一致 |
| 振動 | 2,460 | 2,460 | 一致 |
| 地盤沈下 | 30 | 30 | 一致 |
| 悪臭 | 9,156 | 9,156 | 一致 |
| 典型7公害以外 計 | 19,309 | 19,309 | 一致 |
| 廃棄物投棄 計 | 8,004 | 8,004 | 一致 |
| 廃棄物投棄 生活系 | 6,112 | 6,112 | 一致 |
| 廃棄物投棄 農業系 | 249 | 249 | 一致 |
| 廃棄物投棄 建設系 | 892 | 892 | 一致 |
| 廃棄物投棄 産業系 | 751 | 751 | 一致 |
| 典型7公害以外 その他 | 11,305 | 11,305 | 一致 |
原典のPDFで文字の位置がずれていた行(17行)
令和2年度のPDFには、数字の文字が列の枠の外に詰めて描かれている行があります。
たとえば第13表の山形県の行は、騒音のあとが 74- という1つの塊になり、
低周波音・振動・地盤沈下の3列が1列に潰れています(文字の位置からは切れません)。
担当職員数の表では、該当なしを表す「0」が同じように詰まっています。
こうした行は、切り方を全部出して、原典自身が公表している足し算に合うものが ちょうど1つのときだけ採用しています。2つ以上あるとき、または0個のときは採用せず、その年度を落とします。 さらに採用後も V5(47都道府県の和=原典の「全 国」行)と V6(別PDFとの一致)を通っています。 原典は4桁以上を必ずコンマ付きで書いているので、「コンマ無しの4桁」は1セルの値ではありえず、これが切り方を一意に決める手がかりになります。
| 年度 | 原典の表 | 行 |
|---|---|---|
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 山形県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 福島県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 長野県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 滋賀県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 長崎県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)1ページ目 | 沖縄県 |
| 令和2年度 | 第32表(都道府県別×公害の種類)2ページ目 | 上から33行目 |
| 令和2年度 | 第32表(都道府県別×公害の種類)2ページ目 | 上から36行目 |
| 令和2年度 | 第41表(職員数) | 岩手県 |
| 令和2年度 | 第41表(職員数) | 宮城県 |
| 令和2年度 | 第41表(職員数) | 山梨県 |
| 令和2年度 | 第41表(職員数) | 長野県 |
| 令和2年度 | 第41表(職員数) | 大阪府 |
| 令和2年度 | 第41表(職員数) | 兵庫県 |
| 令和2年度 | 第41表(職員数) | 徳島県 |
| 令和2年度 | 第41表(職員数) | 佐賀県 |
| 令和2年度 | 第41表(職員数) | 熊本県 |
載せられなかったもの
- 平成28年度・平成29年度。原典の年度ページには統計表が1表ずつのPDFで置かれておらず、 報告書全体のPDFしかありません(平成28年度のページのPDFリンクは8本、うち統計表の個別PDFは0本)。 都道府県別の表を単独で取れないため扱っていません。
- 平成27年度以前。原典の一覧ページからのリンクが国立国会図書館のアーカイブに向いており、 現行のサーバには置かれていません。アーカイブ経由での取得はしていません。
- 発生原因別・発生源別・用途地域別・被害の種類別の都道府県表。 これらは令和4年度以降の原典にしかなく(平成30年度〜令和3年度は表の構成が違う)、 7年度そろえられないため扱っていません。原典の年度ページから直接ご覧ください。
- 処理状況(取扱件数・処理件数・処理方法・行政上の措置など)。 令和元年度に区分が大きく変わっており(分類項目の変更)、当サイトでは扱っていません。
取得について
原典サーバ(www.soumu.go.jp)へは1.6秒以上の間隔をあけて取得しています。
robots.txt は全文 35 バイトで、次のとおりです。取得したパスはすべて許可範囲内です。
User-agent: ia_archiver
Disallow: /
取得したPDFは 44 本。
先頭5バイトが %PDF- であることと2,000バイト以上あることを確かめてから保存し、
サイズと sha256 を記録しています(出典一覧)。