Springboot集成ip2region离线IP地名映射-修订版

news2024/11/24 4:01:28

title: Springboot集成ip2region离线IP地名映射
date: 2020-12-16 11:15:34
categories: springboot
description: Springboot集成ip2region离线IP地名映射

1. 背景
2. 集成
- 2.1. 步骤
- 2.2. 样例
- 2.3. 响应实例DataBlock
- 2.4. 响应实例RegionAddress
3. 打开浏览器
4. 源码地址，如果觉得对你有帮助，请Star

springboot

1. 背景

前段时间因业务需要，客户提出根据每天外网访问进来IP地址，分析出来所属地区，并且针对一些热点区域的IP访问想做到事后预警与特殊处理。

目前主流根据IP地址翻译地区的做法主要有：在线查询和离线查询。

在线处理地址全，而且跟新频率快，准确性较高。目前国内提供在线主要有：淘宝IP地址库、IPIP.NET、138IP。
离线的方式就是根据IP的定义，自动翻译为所属地区。

但是考虑我们实际服务器都运行在内网，根据触及不到公网，而且就算开放公网，面临的风险还是很大，所以这种方案就被抛弃掉了。

而且他们在线翻译的还有一个弊端，就是可能会在高峰期对我们的请求进行限流。不利于我们业务处理。

最终只剩下于是想到用离线的方式来处理从网关发来的数据。找了下，看到个开源项目ip2region 官网上介绍，这是一个 离线IP 地址定位库和 IP 定位数据管理框架，可以提供 10微秒 级别的查询效率，并且提供众多主流编程语言的 X-DB 数据生成和查询客户端实现。

X-DB 概述：


X-DB 是一种基于大数据云架构时数据库，主要处理工业生产过程数据的数据库，具有 “海量数据” 处理能力，它的架构灵活，易于数据的部署、管理、扩充以及业务数据的集成；其数据可以分布在不同网络的服务器和磁盘上，可以根据需要对数据进行动态扩展以便支持更大的数据量和访问量，并且完全没有任何限制。

Ip2region参考1
ip2region参考2
XDB

使用起来相对成本较低，本着先用满足需求再说，虽然在性能上并不能满足海量IP的分析，还有提升的空间。

看作者的例子，较为简单，也不多说。先看下我的目录结构吧

war3-infi
+---src
|   +---main
|   |   +---java
|   |   \---resources
|   |       +---generator
|   |       +---ipdb
|   |   |   |   +---ip2region.xdb
|   |       +---mapper
|   |       +---application.yml

2. 集成

2.1. 步骤

在上述的样例中，我们将项目 Clone 到本地。

ip2region.xdb 这是需要下载，下载地址，这里提供 Csv、Txt、XDB 文件三种格式，根据需要自行选择。
ipdb这是我放db库文件的路径，当然可以自定义，只需要在application.yml 中配置即可。
application.yml 这个就不多说啦。

2.2. 样例

因我引入 Redis 此处可以弃用，将 Redis 注释即可。

server:
  port: 9090

spring:
  redis:
    database: 0
    host: 127.0.0.1
    port: 6379

ip2region:
  external: false
  index-block-size: 4096
  total-header-size: 8192
  location: classpath:ipdb/ip2region.xdb

例子如下,RegionAddress、DataBlock 两种结果返回封装，我们提供三种方式供选择性输入：

/convert/{ip}：
/region/{ip}：
/region/ip={ip}：


package xyz.wongs.drunkard.war3.web.controller;


import com.github.hiwepy.ip2region.spring.boot.IP2regionTemplate;
import com.github.hiwepy.ip2region.spring.boot.ext.RegionAddress;
import lombok.extern.slf4j.Slf4j;
import org.nutz.plugins.ip2region.DataBlock;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import xyz.wongs.drunkard.base.aop.annotion.ApplicationLog;
import xyz.wongs.drunkard.base.message.annoation.ResponseResult;
import xyz.wongs.drunkard.base.message.exception.DrunkardException;
import xyz.wongs.drunkard.war3.limit.RequestLimit;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

/**
 * @ClassName IndexController
 * @Description 
 * @author WCNGS@QQ.COM
 * @Github <a>https://github.com/rothschil</a>
 * @date 20/11/18 11:00
 * @Version 1.0.0
*/
@Slf4j
@RestController
@ResponseResult
public class IndexController {

    @Autowired
    IP2regionTemplate template;

    /** 根据输入IP地址，返回解析后的地址
     * @Description
     * @param ip
     * @return xyz.wongs.drunkard.base.message.response.ResponseResult
     * @throws
     * @date 2020/8/17 18:26
     */
    @GetMapping(value = "/convert/{ip}")
    public DataBlock convertDataBlock(@PathVariable String ip){
        DataBlock dataBlock = null;
        try {
            dataBlock = template.binarySearch(ip);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return dataBlock;
    }

    /** 根据输入IP地址，返回解析后的地址
     * @Description
     * @param ip
     * @return xyz.wongs.drunkard.base.message.response.ResponseResult
     * @throws
     * @date 2020/8/17 18:26
     */
    @RequestLimit(maxCount=3)
    @GetMapping(value = "/region/{ip}")
    public RegionAddress convert(@PathVariable String ip){
        RegionAddress regionAddress = null;
        try {
            regionAddress = template.getRegionAddress(ip);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return regionAddress;
    }


    /** 根据输入IP地址，返回解析后的地址
     * @Description
     * @param ip
     * @return xyz.wongs.drunkard.base.message.response.ResponseResult
     * @throws
     * @date 2020/8/17 18:26
     */
    @GetMapping(value = "/region/ip={ip}")
    public RegionAddress caseInsensitive(@PathVariable String ip){
        RegionAddress regionAddress = null;
        try {
            regionAddress = template.getRegionAddress(ip);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return regionAddress;
    }

}

2.3. 响应实例DataBlock


package org.lionsoul.ip2region;

/**
 * data block class
 * 
 * @author	chenxin<chenxin619315@gmail.com>
*/
public class DataBlock 
{
	/**
	 * city id 
	*/
	private int city_id;
	
	/**
	 * region address
	*/
	private String region;
	
	/**
	 * region ptr in the db file
	*/
	private int dataPtr;
	

}

2.4. 响应实例RegionAddress


public class RegionAddress {

    private String country;
    private String province;
    private String city;
    private String area;
    private String ISP;

    public RegionAddress() {
    }

    /**
     * Translate this string "中国|华东|江苏省|南京市|电信" to location fields.
     * @param region location region address info array
     */
    public RegionAddress(String[] region) {
        this(region[0], region[2], region[3], region[1], region[4]);
    }