OpenStreetMap logo OpenStreetMap

nyampire's Diary

Recent diary entries

Are you familiar with the OpenStreetMap Statistics created by Piebro? It’s a handy tool that analyzes OSM changeset files and creates graphs from various perspectives.

user_statistics_japan

The project’s README also indicates that analysis can be performed for individual countries or regions. I analysed the Japanese region in my local environment, so I’ll summarize the procedure.

See full entry

Piebroさんが作成したOpenStreetMap Statisticsを知っていますか?

OSMのchangesetファイルを分析して、様々な角度からグラフを作成してくれるとても有益なツールです。

user_statistics_japan

プロジェクトのREADMEでも、それぞれの国や地域を対象に分析を実施することができる、と示されています。 私のローカル環境で、日本地域を対象にした分析を行うことができたので、手順をまとめておきます。

See full entry

OSM日本コミュニティでは、Plateau建物データのインポートを行うかどうかについて、議論を行ってきました。 user:nyampireは、コミュニティの意見を広く集めるためにアンケートを行い、その結果を公開しました。

全体的な結果についてはOSM wikiに記載されていますが、ここではその結果を少し深堀りしてみたいと思います。

反対・懸念表明の割合

アンケートのなかで、明確な反対、あるいは一定程度の懸念を表明している割合は、以下のとおりです。

票数 回答
4 条件付きで賛成
1 GMLファイルをOSMファイルに変換するcitygml-osmの仕様についてより煮詰め、かつOSM関係者に説明することを条件に賛成
6 タイムスタンプは活用すべきである。ソースの写真が古いというのは些細な事。むしろ新しい建築物がインポートで消える方が大ごとです。
4 第1バッチをさらに分割し、ナレッジを蓄積しながら第1バッチを段階的に実施するなら賛成する。
1 反対

合計16回答(全75回答, 21.3%)

今回は、これらの方々の属性や意見をもとに、簡単な分析をしてみたいと思います。

マッピング経験年数

反対・懸念を表明しているかたのペルソナを推測するべく、まずはマッピング経験年数から見てみましょう。

票数 割合 アンケート全体の割合 回答
3 19% 20.8% 10年以上
7 44% 29.2% 5年以上10年未満
3 19% 34.7% 1年以上5年未満
2 13% 9.7% 6ヶ月~1年未満
1 6% 5.6% 6ヶ月未満

Q5. 全体傾向

全体傾向と比較して、“5年以上10年未満”の方が多く(29% -> 44%)、 “1年以上5年未満”のかたが少ないことが見て取れます。(34% -> 19%) 10年以上などその他の選択肢は5%程度の違いであり、概ね許容誤差程度の範囲ですので、有意とは言えないでしょう。

5年以上10年未満といえば、だいたい2012年〜2017年頃になります。 これは東日本大震災が発生し、Yahoo!Japanデータインポートが一段落(2015年)した頃にスタートした方、ということです。 インポートによって作成された品質の低い道路の修正や、その頃まだそこまで高品質ではなかった衛星写真を利用して地道に建物を描いてきた方、ということができるでしょう。

そうした方々が建物形状の入れ替えについてどのような印象を持っているか、割合をみてみましょう。

建物形状入れ替えへの反応

票数 割合 アンケート全体での割合 回答
2 12.5% 44.4% 積極的に賛成(入れ替えて欲しい)
8 50.0% 44.4% どちらかといえば賛成
4 25.0% 8.3% 形状の入れ替えはNG、新規形状の追加やタグの追加はOK
1 6.3% 1.4% どちらかといえば反対
1 6.3% 1.4% 積極的に反対(入れ替えは絶対NG)

Q3. 全体傾向

“積極的に賛成(入れ替えて欲しい)”というかたが有意に少ない(44% -> 12%)ことが見て取れます。 また、“形状の入れ替えはNG、新規形状の追加やタグの追加はOK”、のかたが多くなっています。(8% ->25%) 反対の理由のひとつとして、少なくとも形状の入れ替えには、大小なりの抵抗があるようです。

See full entry

この記事は、Becky Candyさんによる素晴らしいブログ投稿 “Common Feedback I give while Validating Building Projects on HOT’s Tasking Manager” の翻訳です。(許諾済)

HOT Tasking Managerでタスクを確認する際のフィードバックが中心ではありますが、レビュー希望された変更セットへのコメントなど、主に初心者マッパーさんへ連絡を取る際にも大きく参考になると思います。


HOT Tasking Managerにおける検証作業では、データ品質を改善し、継続したマッピングを促すために、マッパーに対してフィードバックを行うことが重要です。初心者は極めて多くのミスをしますが、できるだけ早くミスをキャッチし、建設的なフィードバックを提供することで、ミスの量を制限し、正しい方向に導くことが可能です。これにより、データ品質が全体的に向上することとなります。

この記事では、建物のマッピングを含むプロジェクトを私が検証する際、マッパーに対して頻繁に行っているフィードバックと、そのコメントを行う際の重要なポイントを概説しました。

これらのコメントは、HOT Tasking Managerでの検証作業で自由にお使いいただいてかまいません。

See full entry

I’m working on repairing the forest multipolygon in Hokkaido. They are deleted/modified/destroyed badly for several weeks ago.

hokkaido

It is very hard to repair with revert or redrawing, because the damage is too serious and complex. So I would like to reuse the polygons from old planet files if possible.

But I’m facing versioning issues. Anyone has more easy solution?

  • Extract multipolygon relation using osmium: Like those command.

osmium getid -r ./hokkaido-190601.osm.pbf r1083877 -o r1083877.osm

  • Merge: Merging those polygon and current osm.org data using JOSM merge selection.
  • Upload: It causes numerous conflicts due to object version is smaller than osm.org’s current objects.

Should I tweak the xml file for versioning? (e.g. using sed or some other methods)

P.S. The vandal mapper is editing his edit ignoring my message/changeset comments. I already reported this with osm.org’s reporting feature.

He is deleting my repair works, so quite problematic…

Notes for Ichi-Sansho-Joho dataset

Posted by nyampire on 16 August 2019 in English. Last updated on 17 August 2019.

I’m now taking a look on Ichi-Sansho-Joho data from MLIT, Japan. This is quite powerful dataset about place name, and could be used as OpenStreetMap edits. (include imports, although it is not fully activated)

osm.wiki/JA:MLIT_ISJ

Seeing Japanese place/address name sample structure, some errors might be contained. This is a note for further works.

https://docs.google.com/spreadsheets/d/1eAE72mjCLoJVGZo5qRhCYK22UxVQ8bpbQSU9ZLHq40o/edit#gid=0

  • “11”,”埼玉県”,”11234”,”八潮市”,”112340013002”,”大字二丁目”,”35.821729”,”139.846276”,”0”,”3”

-> Code 3 could be error. Code 1 would be correct. This is quarter named “大字二丁目”. Despite of “丁目” is included.

  • “27”,”大阪府”,”27145”,”堺市南区”,”271450017000”,”竹城台四丁”,”34.498107”,”135.500217”,”0”,”1”
  • “27”,”大阪府”,”27145”,”堺市南区”,”271450035000”,”竹城台二丁”,”34.498169”,”135.505486”,”0”,”1”
  • “27”,”大阪府”,”27145”,”堺市南区”,”271450074000”,”竹城台三丁”,”34.493790”,”135.503225”,”0”,”1”
  • “27”,”大阪府”,”27145”,”堺市南区”,”271450075000”,”竹城台一丁”,”34.500963”,”135.510525”,”0”,”1”

-> Probably original structure is correct, but “n丁” should be devided in the case of use for OSM. Those are Code 1 column, but should be treated as variant of Code 3.

  • “04”,”宮城県”,”04103”,”仙台市若林区”,”041030090000”,”蒲町東”,”38.245498”,”140.932557”,”0”,”3”
  • “07”,”福島県”,”07207”,”須賀川市”,”072070142000”,”北山寺町”,”37.30542”,”140.364113”,”0”,”3”
  • “07”,”福島県”,”07207”,”須賀川市”,”072070143000”,”西山寺町”,”37.303127”,”140.358357”,”0”,”3”
  • “07”,”福島県”,”07207”,”須賀川市”,”072070144000”,”山寺町”,”37.302309”,”140.364716”,”0”,”3”

-> Code 3 might be error. I guess those lines should be Code 2.

And Code 3 lines (丁目) should be divided into 2 nodes. (quarter (町名) and neighbourhood (丁目).) Some quarter might be duplicated to Code 1 lines.

And it seems “釧路市昭和”(大字, quarter)and “釧路市昭和町” are same district, but need more check if it is correct.

Last week, MAFF (Ministry of Agriculture, Forestry and Fisheries, Japan) has published farmland data for entire Japan.

It is under MAFF original license, but it allows pretty similar to JP Gov’s Open License. (based on JP Gov’s default one, but seems more open) I guess it need to ask them if we could use/import them to OSM, but I hope we have a chance :)

Sample

See full entry

Mapping 1:25000 area in Japan [WIP]

Posted by nyampire on 30 July 2018 in English.

I’m preparing my new project regarding Japan region. Here is some memo.

Intro

In Japan region, we OpenStreetMapper may trace governmental map.

Especially, GSI map has pretty precise and having good accuracy.

GSI map is based on KibanChizuJoho (Fundamental Geo Data) data which is protected by Japanese Survey law. KibanChizuJoho is an aggregated geo data gathered from municipalities.

Accuracy of KibanChizuJoho is 1:2500 (for urban area) or 1:25000 (for country area). My idea is to cover this 1:25000 area with OpenStreetMap.

List of 1:25000 area

GSI has been publishing those area as following tiled format.

I’ve made a geojson using a script provided by my friend.

Here is a list of municipality which has 1:25000 area. Not perfect through.

This list indicates 800, out of around 1800, are target.

Challenge

Current available imagery resource is not so clear on country side. (Bing, Mapbox, DG or GSI ortho)

See full entry

Fake University has Fake OSM maps?

Posted by nyampire on 14 June 2018 in English.

Japanese famous (prank and imaginary *note) university “Shinsyu University of International” announces they have switched their access map to OpenStreetMap. It shows their campus in interactive map.

It was reported via twitter, and I have checked if it causes vandalism or something worse.

But curiously, there are no such a campus data on osm.org.

As checked html source of the page, I found they built their own map instance. From their html,

OSM本家に負荷をかけないよう、またまぜか国際信州学院大学が表示されない(おそらく知名度不足)ので12以上でズームしていてキャンパスの近くなら自前の地図で表示

In order to avoid harm to OSM website, and due to OSM does not show “Shinsyu University of International” in their map (Probably we are not so famous), so render our map if zoom level upper 12 and near the campus.

Nice joke, I’m tricked :)

*note: SUI claims they are REAL university.

First of all, thank you for participating to SotM 2017 Aizuwakmatsu!

Unfortunately I was not able to talk to every persons due to my staff work, but I could talk with Arun following idea. I would like to hear more broader suggestions & feedback.

Motivation

To establish peer review operation workflow especially regarding newbie mappers.

Approach & Tools

OSMCha has feature to detect specific #hashtag on changeset comments or specific tags on changeset. So my main idea to encourage mappers to add special meta data to the changeset if he/she want the edits to be peer reviewed. I guess it is possible to add comments e.g. #needreview on special changeset comment or need_review=yes or other information on changeset tag.

If those tags are set, it maybe possible to detect such a message through OSMCha easily.

Idea for iD Editor integration

Yes, it is too difficult to encourage newbie mappers to add such a information. Because they are a previous stage to understand how those messages are important.

So my suggestion to add a function to iD editor. At the commit (save) screen on iD, it is set a checkbox Need Review or Ask someone to Review to add above hashtag or changeset tags.

See full entry

This article is translation of pratikyadav’s diary

```

日本の道路改良シリーズのなかで最も重要なプロジェクトである、tasking managerを使って、東京近郊地域の主要道路地理院地図オルソ画像をもとに修正するという作業が完了しました。

本プロジェクトの内容: - 主要道路 (motorway, trunk, primary, secondary. 日本語では、それぞれ主に高速道路、国道、都道府県道を含む主要地方道) の位置修正とマージ作業 - 中央分離帯で分割された道路の二車線化と加速車線の修正、一方通行属性の修正

日本で行ってきたこれまでの道路改良プロジェクト (九州大阪水戸福島石川別府大分青森北陸奥) と比較し、東京地域は地理院地図オルソ画像と比較し、良好な位置精度を有していました。

See full entry

新年の抱負 2014

Posted by nyampire on 6 January 2014 in Japanese (日本語).

According to Japanese tradition, I write some plans of this year.

Fill the Missing

  • Municipality administration boundary re-import

Boundary data (Prefecture & City level) is completely broken by the result of reduction. So we could not get correct Nominatim search, nor extract from OverPass area query.

I really hope to rebuild of them.

Last year, I was discussed on talk-ja ML and got achievement about the structure refinment of address and place name in Japan. It’s time to go forward.

Challanges are…

  • Old data
  • should be deleted or conflated into new ones.
  • Data size
  • Dataset are a bit big to upload at once.
  • need upload each municipality separately, “then” stitch them on OSM?
  • Conflation with coastline?
  • boundary data from KSJ2 is not accurate on newly reclaimed land.
  • It’s better to merge with existing coastline data. (Optional or Mandatory?)

  • Forest on Kyusyu, Shikoku area
  • Method: Thinking of trace from Bing.
  • Re-import of KSJ2 Forest data is pending. Because of their accuracy (1/25000)
  • Problem is some “Out of Bing coverage” area.

  • Bracket on name tag
  • Discussed on talk-ja ML last year, bracket in name tag like “なにか (SOMETHING)” should not be added on newly edits.
  • Switching existing data (in another word, deleting bracket) is now pending, due to some mappers claim hardly some Multilingual supports.

OpenData anyway

As increasing activity for OpenData, some local government had started publishing their data under CreativeCommons or similar license. Even Japan Government has started “data.go.jp” as their catalog site.

We Japanese must make a guideline for using them in OSM. (as “reference information” not direct import)

Reducing Data Size

Old KSJ2 import data has too many useless tags (even on node!). It is better to purge them out.

Empower Community

I would like to hold more Mapping Party, or Hack Day.

And as a member of OSMFJ, I’ll maintenance “osm.jp” webpage as a hub site.

Hoping this year will be mappy :)