聚类Clustering方法定位船舶站点

news2024/11/24 12:06:06

背景

现有船舶的航线中采样的数据库,采样的总时长为3个月,仅采样航速静止(小于1节)的数据,关键有效数据主要有经纬度/实时吃水量。

思路

基于站点附近轮船有停靠且航行速度慢,故取样点多的基础认识,计划使用聚类方法定位LNG站点位置,并基于船舶吃水量的变化判断站点的属性:进口/出口/停泊。

Step 1: 数据预处理

基于原始数据文件中的关键数据,分别对应经度(long)、纬度(lati)、吃水量(draft)。数据中相邻若干行两两之间若基于经纬度计算得到的距离小于5千米,则将这些数据视为同一个坐标点,位置信息存在取样误差,位置信息(经度、维度)取均值得到;若相邻行计算距离大于5km,则两个数据视为不同的有效坐标点。至此,位置信息处理完毕,后续基于吃水量变化情况判断船只行为。如果吃水量变大,则船只货物增多,标记为1,表示进站;反之如果吃水量减小,则船只货物减少,标记为-1,表示出站;若吃水量不变,则船只货物不变,标记为0,即船只正常航行或停泊。本段具体代码如下所示,

for i in range(len(df)):  

    cur_pt = [df.loc[i, attr] for attr in attr_list]

    # 5000m / 5km
    if haversine_distance(cur_pt,temp_pt) < 5: # not include into data, the position of adjacent line (in df) is so close, that regard it as the same position
        avg_pt[0] += cur_pt[0]
        avg_pt[1] += cur_pt[1]
        if cur_pt[2] != 0: # draft != 0 
            draft_valid.append(cur_pt[2])
        temp_pt = cur_pt
        count += 1
    else: # include into data
        if count != 0:
            data['long'].append(avg_pt[0] / count)
            data['lati'].append(avg_pt[1] / count)
            if len(draft_valid)>0:
                dif = draft_valid[-1]-draft_valid[0]
                if(dif>1): 
                    data['behavior'].append(1) # more carriage, 1 
                elif(dif<-1):
                    data['behavior'].append(-1) # less carriage, -1
                else:
                    data['behavior'].append(0) # carriage unchanged 
            else:
                data['behavior'].append(0)
        count = 0
        avg_pt = [0,0]
        temp_pt = cur_pt
        draft_valid = []

可视化结果如下所示,

 

Step 2: 聚类算法

在得到航迹中不同坐标的行为之后,计划采用聚类方法计算LNG站点位置。下面简要介绍各个算法的细节以及参数设置。

算法1:DBSCAN

DBSCAN定义的簇可以是任意形状,每个簇由一组彼此接近的核心样本组成。簇之外是一组与核心样本接近的非核心样本。定义核心样本的方式是数据集中一个样本的eps距离范围内,存在min_samples 个其他样本。任何不是核心样本并且和任意一个核心样本距离都大于eps 的样本将被视为异常值。min_samples取值越高或eps取值越低都表示形成簇的密度越高。

times = []
for i in range(10): # Simulate for 10 times, and calculate the average run time  
    start_time = time.time()
    # Model Training 
    clustering_dbscan = DBSCAN(eps=0.05, min_samples=3).fit(coord) 
    run_time = time.time() - start_time # Unit: s 
    times.append(run_time)
dic = results_process(clustering_dbscan, data, "DBSCAN", results_folder)
print("\nDBSCAN, which costs {:.4f} seconds (in average) for model fitting.".format(sum(times)/len(times)))
print("Amount of Stations / Central Points in clustering = ", len(set(clustering_dbscan.labels_)) - (1 if -1 in clustering_dbscan.labels_ else 0))
print("In detail,")
print("\tAmount of LNG import stations = ", len(dic["import"]))
print("\tAmount of LNG export stations = ", len(dic["export"]))
print("\tAmount of mooring stations = ", len(dic["mooring"]))

算法2:OPTICS

OPTICS算法是DBSCAN算法的推广,基本思路一致,主要变化是将eps从取值放宽至某个范围。因为OPTICS的eps为一个范围,所以计算拟合数据的时间远超DBSCAN算法。

算法3:AGNES

AGNES属于层次聚类方法,采用自底向上的策略,最初将每个对象作为一个簇,然后簇根据准则逐步合并,两个簇间的距离由两个簇中距离最短的数据点的相似度确定,合并过程不断反复进行直到所有对象满足簇数目n_clusters。结合本例实际,n_clusters设为650,探索不同数目的LNG站点分布,并兼顾模型性能。

聚类定位LNG站点的实验结果如下所示, 包含DBSCAN、OPTICS、AGNES三种聚类算法拟合数据效率、LNG站点的各项统计数据

基于AGNES聚类算法得到的LNG站点的可视化结果和json存档文件(部分)如下所示,

 

 后续工作

后续可以基于现有库定位站点的所属国家或地区。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/668494.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

正确的认识泥石流以及做好泥石流的防范

泥石流是山区沟谷中由暴雨、冰雪融水或地下含水层的渗入所形成的携带大量泥沙、石块等固体物质的特殊洪流&#xff0c;具有流量大、历时短、破坏力强等特征&#xff0c;泥石流携带的泥沙、石块等可高达数十米&#xff0c;并从山坡上倾泻而下&#xff0c;往往会形成一个“堰塞湖…

Python自动化测试利器selenium详解

Selenium是一种常用的Web自动化测试工具&#xff0c;支持多种编程语言和多种浏览器&#xff0c;可以模拟用户的交互行为&#xff0c;自动化地执行测试用例和生成测试报告。Selenium基于浏览器驱动实现&#xff0c;结合多种定位元素的方法&#xff0c;可以实现各种复杂的Web应用…

二进制搭建Kubernetes集群(一)——部署etcd集群和单master

单master集群架构图&#xff1a; 实验环境&#xff08;二进制搭建 Kubernetes v1.20&#xff09; 注意&#xff1a;生产环境中&#xff0c;etcd集群和master、node节点都应该部署在不同的机器上&#xff0c;此处为了实验方便&#xff0c;将三台etcd节点分别部署在了master和no…

探究Vue源码:mustache模板引擎(3) 通过编写简单正则了解mustache转换思路

我们会基本使用显然不够啊 我们要去了解mustache的原理 乃至自己去写一个mustache 首先 mustache 不是不能用简单的正则表达式来实现 但是 这里为了让大家理解 为什么不能 我们还是用简单正则写一下 我们创建一个 html文件 然后 编写代码如下 <!DOCTYPE html> <htm…

API性能监控 【ApiHelp】-- 组件Monitor 核心功能实现

上篇文章介绍了组件Monitor主要设计和功能Monitor组件设计&#xff0c;现在来具体看看Monitor组件的实现。 1、Java Agent实现AgentMain 前面已经介绍了Java Agent相关知识&#xff0c;现在来具体实现下。 实现AgentMain类&#xff1a; AgentMain为agent的入口类&#xff0c;程…

【C语言】项目实战——快速0基础上手五子棋游戏(内附源码)

君兮_的个人主页 勤时当勉励 岁月不待人 C/C 游戏开发 如果你是从现在关注的老粉的话&#xff0c;你可能会有点疑惑“how old are you&#xff1f;”(怎么老是你&#xff1f;) 唉&#xff0c;没办法我也不想的&#xff0c;但是月末了参加新星计划和2023年博客之星的评选只能更…

职业生涯规划书600字范文

职业生涯规划书600字范文篇1 记得高中时老师就告诉我们要认识自己&#xff0c;“认识自己”&#xff0c;仅仅四个字&#xff0c;实践起来是何等的艰难&#xff0c;古往今来那么多仁人志士为了能认识自己&#xff0c;不断实践&#xff0c;不断创新&#xff0c;可又有几个能在生命…

软件安全技术复习内容

软件安全技术 边复习边写的&#xff0c;有错误及时指正第一章 软件安全概述零日漏洞安全威胁分类CIA安全基本属性PDRR模型软件安全的主要方法和技术基本方法主要技术 第二章 软件漏洞概述概念软件漏洞成因分析软件漏洞分类基于漏洞成因的分类基于漏洞利用位置的分类基于威胁类型…

FPGA基础知识-编程语言接口

目录 学习目标&#xff1a; 学习内容&#xff1a; 1.PLI的使用 2.PLI任务的连接和调用 3.内部数据的获取 4.PLI库子程序 学习时间&#xff1a; 学习产出&#xff1a; 学习目标&#xff1a; 解释在Verilog仿真中如何使用PLI子程序。 描述PLI的用途。 定义用户自定义系…

DSIN(Deep Session Interest Network)详解

1. 提出动机 这个模型依然是研究如何更好地从用户的历史行为中捕捉到用户的动态兴趣演化规律。DIEN存在一个问题&#xff0c;就是只关注了如何去改进网络&#xff0c;而忽略了用户历史行为序列本身的特点&#xff0c;我们仔细去想&#xff0c;用户过去可能有很多历史点击行为&…

kafka硬件选择以及如何在生产中优化各个组件的参数

硬件选择&#xff1a; 1.求出一天kafka会产出大概多少的消息&#xff0c;然后平均到每一秒&#xff0c;要多少的消息&#xff0c;然后一条消息大概就是0.5-2k的大小&#xff0c;求出&#xff0c;每秒占用多少内存 2.求购买服务器数量(上边求出的效率 * 副本数/100)1 如果除不…

2022 开源社年度报告:打开新世界

2022 年被认为是充满挑战的一年&#xff0c;对于开源社而言也不例外。开源社同样面临着外部环境的不断变化&#xff0c;然而&#xff0c;正是开源的力量和开放协作的模式&#xff0c;让我们能够在这个极端情况下做出卓越的回应。 大家对于开源社的组织架构充满好奇&#xff0c;…

下载插件-4K Video Downloader

这款插件小编自己还是蛮喜欢的&#xff0c;有兴趣的小伙伴可以体验学习下。 一、简单介绍 提供视频下载服务&#xff0c;让您以高质量的方式获取所需内容。无论是视频、播放列表、频道还是字幕&#xff0c;您都可以轻松下载并保存为多种格式&#xff0c;如MP4、MKV、M4A、MP3、…

C++基础(8)——类和对象(多态)

前言 本文主要介绍了C中多态的基本知识 4.7.1&#xff1a;多态的基本概念和原理剖析 1&#xff1a;基本概念 静态多态&#xff1a;函数重载、运算符重载 动态多态&#xff1a;派生类和虚函数实现运行时多态 静态多态在编译阶段确定函数地址&#xff1b;动态多态在运行阶段…

RN 学习小记之使用 Expo 创建项目

本文Hexo博客链接&#x1f517; https://ysx.cosine.ren/react-native-note-1 xLog链接&#x1f517; https://x.cosine.ren/react-native-note-1 RSS订阅 &#x1f4e2; https://x.cosine.ren/feed/xml 由于业务需要&#xff0c;开始学习RN以备后面的需求&#xff0c;而虽然之…

《后端存储实战课》课程学习笔记(二)

创建和更新订单时&#xff0c;如何保证数据准确无误&#xff1f; 订单系统是整个电商系统中最重要的一个子系统&#xff0c;订单数据也就是电商企业最重要的数据资产。一个合格的订单系统&#xff0c;最基本的要求是什么&#xff1f;数据不能错。 首先&#xff0c;你的代码必须…

2023年度编程排行重磅发布,JS连续11年霸占榜一

编程语言千千万&#xff0c;你最喜欢用哪一个&#xff1f; 最近&#xff0c;在调研了全球超过9万名开发者之后&#xff0c;程序员社区 Stack overflow 重磅发布了《2023 Developer Survey》&#xff0c;从这份报告中&#xff0c;我们可以了解到当前最热门的工具、最主流的技术…

每日学术速递6.5

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Humans in 4D: Reconstructing and Tracking Humans with Transformers 标题&#xff1a;4D 中的人类&#xff1a;用变形金刚重建和跟踪人类 作者&#xff1a;Shubham Goel, Geor…

深入理解Linux虚拟内存管理(九)

系列文章目录 Linux 内核设计与实现 深入理解 Linux 内核 Linux 设备驱动程序 Linux设备驱动开发详解 深入理解Linux虚拟内存管理&#xff08;一&#xff09; 深入理解Linux虚拟内存管理&#xff08;二&#xff09; 深入理解Linux虚拟内存管理&#xff08;三&#xff09; 深入理…

STL容器——map的用法

0、概述 map翻译为映射&#xff0c;map可以将任何基本类型&#xff08;包括STL容器&#xff09;映射到任何基本类型&#xff08;包括STL容器&#xff09;。下面是map、multimap和unordered_map之间的差别。 注意这三种映射的底层实现&#xff0c;他决定了算法的时间复杂度。特…