公害苦情データベース 47都道府県×7年度(平成30年度〜令和6年度)/公害等調整委員会の公表値をそのまま

PDFからの復元が正しいことの検査結果

原典はPDFだけで、CSVもExcelもAPIもありません。 PDFの表を機械で読むときに列が1つずれても、数字は一見もっともらしく並びます。 だから当サイトは、復元した表を原典自身が公表している数字と突き合わせてから載せています。 突き合わせに通らなかった年度は載せません。

何と突き合わせたか

復元の検査(7年度ぶん)
記号内容通らなければ結果
V1「全 国」行1行+都道府県47行がコード順に並んでいるその年度を載せない7年度すべて通過
V2典型7公害の「計」=大気汚染+水質汚濁+土壌汚染+騒音+振動+地盤沈下+悪臭
(低周波音は足さない)
その年度を載せない7年度 × 48行すべて一致
V3廃棄物投棄の「計」=生活系+農業系+建設系+産業系、
典型7公害以外の「計」=廃棄物投棄+その他
その年度を載せない7年度 × 48行すべて一致
V4「合計」=典型7公害の「計」+典型7公害以外の「計」その年度を載せない7年度 × 48行すべて一致
V547都道府県の列ごとの和=原典の「全 国」行その年度を載せない119列すべて一致(不一致 0)
V6別のPDF(第31表 都道府県別公害苦情受付件数の推移)の同年度・同都道府県の件数=第32表の「合計」その年度を載せない336件すべて一致(不一致 0)
X13つの統計表(表1 全国の推移/第31表/第32表)の全国の件数が一致する記録して報告11年度すべて一致(不一致 0)
S1〜S5担当職員数の表:相談員の計=専任+兼任、相談員以外の計=専任+兼任、年度の計=相談員+相談員以外、増減数=当年度−前年度、47都道府県の和=「全 国」行その年度を載せない7年度すべて通過

V5 が通るというのは、47行×17列の数字の和が原典の公表値と一致するということです。 列が1つでもずれていれば通りません。これがPDF復元の正しさの根拠です。

V5 の実例(令和6年度)

令和6年度の47都道府県の和と、原典の「全 国」行
区分47都道府県の和(当サイトの計算)原典の「全 国」行一致
合計66,93166,931一致
典型7公害 計47,62247,622一致
大気汚染12,63012,630一致
水質汚濁4,3004,300一致
土壌汚染235235一致
騒音18,81118,811一致
騒音(低周波音)261261一致
振動2,4602,460一致
地盤沈下3030一致
悪臭9,1569,156一致
典型7公害以外 計19,30919,309一致
廃棄物投棄 計8,0048,004一致
廃棄物投棄 生活系6,1126,112一致
廃棄物投棄 農業系249249一致
廃棄物投棄 建設系892892一致
廃棄物投棄 産業系751751一致
典型7公害以外 その他11,30511,305一致

原典のPDFで文字の位置がずれていた行(17行)

令和2年度のPDFには、数字の文字が列の枠の外に詰めて描かれている行があります。 たとえば第13表の山形県の行は、騒音のあとが 74- という1つの塊になり、 低周波音・振動・地盤沈下の3列が1列に潰れています(文字の位置からは切れません)。 担当職員数の表では、該当なしを表す「0」が同じように詰まっています。

こうした行は、切り方を全部出して、原典自身が公表している足し算に合うものが ちょうど1つのときだけ採用しています。2つ以上あるとき、または0個のときは採用せず、その年度を落とします。 さらに採用後も V5(47都道府県の和=原典の「全 国」行)と V6(別PDFとの一致)を通っています。 原典は4桁以上を必ずコンマ付きで書いているので、「コンマ無しの4桁」は1セルの値ではありえず、これが切り方を一意に決める手がかりになります。

文字の位置がずれていて切り直した行(17行。いずれも令和2年度)
年度原典の表行
令和2年度第32表(都道府県別×公害の種類)1ページ目山形県
令和2年度第32表(都道府県別×公害の種類)1ページ目福島県
令和2年度第32表(都道府県別×公害の種類)1ページ目長野県
令和2年度第32表(都道府県別×公害の種類)1ページ目滋賀県
令和2年度第32表(都道府県別×公害の種類)1ページ目長崎県
令和2年度第32表(都道府県別×公害の種類)1ページ目沖縄県
令和2年度第32表(都道府県別×公害の種類)2ページ目上から33行目
令和2年度第32表(都道府県別×公害の種類)2ページ目上から36行目
令和2年度第41表(職員数)岩手県
令和2年度第41表(職員数)宮城県
令和2年度第41表(職員数)山梨県
令和2年度第41表(職員数)長野県
令和2年度第41表(職員数)大阪府
令和2年度第41表(職員数)兵庫県
令和2年度第41表(職員数)徳島県
令和2年度第41表(職員数)佐賀県
令和2年度第41表(職員数)熊本県

載せられなかったもの

取得について

原典サーバ(www.soumu.go.jp)へは1.6秒以上の間隔をあけて取得しています。 robots.txt は全文 35 バイトで、次のとおりです。取得したパスはすべて許可範囲内です。

User-agent: ia_archiver
Disallow: /

取得したPDFは 44 本。 先頭5バイトが %PDF- であることと2,000バイト以上あることを確かめてから保存し、 サイズと sha256 を記録しています(出典一覧)。