Biểu trưng OpenStreetMap OpenStreetMap

Cлонопотам по кличке osm2pgsql

Do Zkir đăng vào 19 tháng 12 năm 2023 bằng Russian (Русский). Cập nhật lần cuối cùng vào 21 tháng 12 năm 2023.

Запустил импорт планеты в postgis, чтобы посмотреть покрытия для всех стран, но osm2pgsql за сутки планету не переварил. Эх, osm2pgsql такая большая заноза :(

pic.1 pgsql

Причем даже не сказать, что комп нагружен.

pic.2 cpu workload CPU 8%, рабочий диск 45%. 8% – это значит что одно ядро нагружено из 12, а про диск вообще не понятно. Кто кого сдерживает? где здесь узкое место? Поможет ли RAID, которым хвастают в на вики бенчмарках?:

Ладно, ждем вторые сутки.

UPD.

Чуть подшаманив с параметрами, и разумеется начав всё с начала, таки удалось заставить пройти импорт планеты за ~15 часов.

Выяснилось, что с ключом –flat-nodes, т.е. с отдельным временным файлом для кэширования nodes, работает в 10 раз быстрее (Еще интересный вопрос, в 10 раз быстрее чем что. чем хранить точки в оперативной памяти\postgis?)

osm2pgsql -d gis -U XXX -W --create --slim  -G --hstore --tag-transform-script z:\home\zkir\src\openstreetmap-carto\openstreetmap-carto.lua -C 0 --flat-nodes d:\nodes.bin --number-processes 8 -S z:\home\zkir\src\openstreetmap-carto\openstreetmap-carto.style -r pbf "d:\_planet.osm\planet-231211.osm.pbf"

2023-12-20 17:08:00  osm2pgsql version 1.10.0
Password:
2023-12-20 17:08:04  Database version: 14.10 (Ubuntu 14.10-0ubuntu0.22.04.1)
2023-12-20 17:08:04  PostGIS version: 3.2
...
2023-12-21 08:05:45  osm2pgsql took 53860s (14h 57m 40s) overall.

Теперь посмотрим, пройдут ли скрипты с генерализацией, и сколько это займет.

Biểu tượng thư điện tử Biểu tượng Bluesky Biểu tượng Facebook Biểu tượng LinkedIn Biểu tượng Mastodon Biểu tượng Telegram Biểu tượng X

Thảo luận

Đăng nhập để nhận xét