第一步:准备一个大内存的服务器,磁盘PG大小根据实际导入的数据确定,全量数据1T,osm.pdf属于压缩文件,如果能下载,但下载很慢,可以尝试用迅雷下载。
osm.pdf下载
osm.pdf另外一个下载路径
全量数据下载
另一个全量数据瞎子啊
增量数据下载
第二步:拉取Docker 镜像(如果拉取失败,可以在另外一个服务器拉取,之后使用docker打包导出tar,之后导入的形式获取对应的docker镜像)
github镜像原码
docker pull mediagis/nominatim:4.4
第三步、启动容器(如果是剥离PG库,需要看第六步)
创建文件夹/data/nominatim/osm,上传osm.pdf文件数据。
cd /
mkdir data
cd data
mkdir nominatim
cd nominatim
mkdir osm
cd osm
sz abruzzo-latest.osm.pbf
docker run -d -e PBF_PATH=/nominatim/data/abruzzo-latest.osm.pbf -p 8081:8080 -p 5433:5432 -v /data/nominatim/osm:/nominatim/data --name nominatim mediagis/nominatim:4.4
容器内启动端口 8080,容器外端口 8081(接口调用端口)
PG库容器内端口5432,容器外使用的也是5433
映射路径 容器外 /data/nominatim/osm,容器内/nominatim/data(需要跟PBF_PATH路径相同),把下载的文件放在容器外路径下。
第四步:记录导入时长,占用空间
文件大小:76M
启动时间:2024-09-24 11:30:00
启动完成时间:2024-09-24 11:42:00
总计耗时:12分钟
PG库用户名密码:nominatim/qaIACxO6wMR3
PG库占用空间大小:SELECT pg_size_pretty(pg_database_size(‘nominatim’));
PG表大小:SELECT pg_size_pretty(pg_total_relation_size(‘table_name’));
PG数据库大小 = 1601M
第五步、查看服务是否正常启动,接口是否可以正常访问
第六步、指定外部PG路径(生产部署,剥离PG库,便于维护)
(一)、创建nominatim角色,必须要创建超级管理员,要有所有操作权限,需要用超级管理员创建,创建完成之后,需要把所有这个库的连接断开,否则启动报错;
(二)、安装PG(如果使用云厂商直接选择PG,版本14,查看是否可以选择PostGIS插件,如果可以就可以跳过安装);
(三)、第一次需要初始化表,需要指定外部的PG连接信息,启动之后,登录docker 容器,修改start.sh文件信息,注释掉跟PG有关的信息,之后docker commit ID mediagis/xxx-nominatim:4.4,之后的启动使用这个镜像,否则每次docker run 都会删除数据库;
(四)、安装插件PostGIS
登录PG库查询PostGIS插件版本
psql postgres -c "SELECT PostGIS_Version();"
安装PG插件(PostGIS,osm2pgsql)
PostGIS安装需要安装mysql客户端
yum install --nogpgcheck -y postgis2_14 postgis2_14-utils
如果报错没有mysql包,需要导入mysql
sudo yum install -y https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm
yum install -y mysql-community-client
#如果存在公钥未导入,需要导入公钥
wget https://repo.mysql.com/RPM-GPG-KEY-mysql -O /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
rpm -qa gpg-pubkey*
安装mysql客户端之后,重新执行
yum install --nogpgcheck -y postgis2_14 postgis2_14-utils
登录pg数据库,导入 PostGIS 插件
CREATE EXTENSION postgis;
查看是否导入成功,必须要导入成功PostGIS之后才能导入OSM数据
SELECT PostGIS_Version();
docker ps
docker stop id
docker run -d -e PBF_PATH=/nominatim/data/friuli_venezia_giulia-latest.osm.pbf -e NOMINATIM_TOKENIZER=icu -e NOMINATIM_DATABASE_DSN="pgsql:dbname=nominatim;host=172.26.10.92;port=5432;user=nominatim;password=qaIACxO6wMR3" -e PGHOST=172.26.10.92 -e PGPORT=5432 -e PGDATABASE=nominatim -e PGUSER=nominatim -e PGPASSWORD=qaIACxO6wMR3 -v /data/nominatim/osm:/nominatim/data -p 7070:8080 --name nominatim mediagis/nominatim:4.4
启动失败,可能需要删除前面的容器信息
docker rm xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
文件大小:76M
导入开始时间:2024-09-26 13:53:00
导入开始时间:2024-09-26 14:11:00
导入耗时:18分钟
备注:
1、这种方式并没有剥离内部的PG库,实际上还是会在容器里面创建一个PG库,只是在执行sql,导入等过程的时候,会使用覆盖的PG参数连接到远端的PG库,容器中的PG库没有数据,所以占用空间会很小;
2、剥离PG之后,比较了外部PG调用和Docker容器中PG调用耗时情况;基本相同
空间大小参照
3、容器重启成功之后,不能直接在外面重启容器,否者会执行删除库语句,除非修改docker容器,可以进入docker容器中,执行startapache.sh多次启动apache服务,但不能执行pg重启服务
sudo -E -u postgres psql postgres -c “DROP DATABASE IF EXISTS
nominatim”
第七步、增量更新(需要能连接上OSM,可以在国外的服务器上下载)
备份数据库
cp -R /path/to/nominatim/data /path/to/nominatim/data_backup
1、docker支持增量更新,如果FREEZE=true(默认false),就会冻结数据库,只能做查询操作,不能修改,所有的增量操作都做不了
远程拉取数据服务器
REPLICATION_URL=https://planet.osm.org/replication/hour
每24小时拉取一次更新数据(单位s)
NOMINATIM_REPLICATION_INTERVAL=86400
每12小时拉取检测一次是否有新的更新数据
NOMINATIM_REPLICATION_RECHECK_INTERVAL=43200
更新方式 smart/force/none 只能模式,根据网络和数据动态更新/强制更新,不管网络和数据情况/不更新
UPDATE_MODE=smart
2、下载增量包,通过osm2pgsql插件导入数据
(一)、安装osm2pgsql插件
sudo yum update
sudo yum install osm2pgsql
osm2pgsql --version
(二)、下载增量osc文件信息
#!/bin/bash
# 设置日期索引范围
START_NUMBER=374
END_NUMBER=400
#
DAY=004
# 目标目录
TARGET_DIR="/tmp/osc/$DAY"
# 创建目标目录
mkdir -p "$TARGET_DIR"
# 下载并解压文件
for NUMBER in $(seq -w $START_NUMBER $END_NUMBER); do
FILENAME="$NUMBER.osc.gz"
URL="https://planet.osm.org/replication/day/000/$DAY/$FILENAME"
wget -P "$TARGET_DIR" "$URL"
if [ $? -eq 0 ]; then
gunzip -c "$TARGET_DIR/$FILENAME" > "$TARGET_DIR/${FILENAME%.gz}"
rm -rf "$TARGET_DIR/$FILENAME"
echo "Downloaded and extracted: $FILENAME"
else
echo "Failed to download: $FILENAME"
fi
done
echo "download finish."
(三)、执行osc文件合并命令
#!/bin/bash
# 数据库信息
TABASE="nominatim"
HOST="172.26.10.92"
PORT="5433"
USERNAME="nominatim"
PASSWORD="qaIACxO6wMR3"
STYLE="/usr/share/osm2pgsql/default.style"
# OSC 文件列表
OSC_FILES=("changes_2024-09-02_2024-09-05.osc")
# 应用 OSC 文件
for osc_file in "${OSC_FILES[@]}"; do
# 检查表存在性
if psql -d "$DATABASE" -U "$USERNAME" -H "$HOST" -p "$PORT" -W "$PASSWORD" -tA -c "SELECT EXISTS(SELECT 1 FROM information_schema.tables WHERE table_name = 'planet_osm_line' AND table_schema = 'public');" | grep -q "t"; then
# 表存在,继续导入
osm2pgsql --append --database="$DATABASE" --host="$HOST" --port="$PORT" --username="$USERNAME" --password="$PASSWORD" --style="$STYLE" "/paas/nominatim/$osc_file"
echo "Applied changes from '$osc_file'"
else
# 表不存在,跳过
echo "Table does not exist, skipping '$osc_file'"
fi
done
echo "All changes applied successfully."
3、下载全量包
新建一个数据库,docker启动连接新库,新库导入完成,重启就的docker镜像,数据库指向新库。