大数据-TXT文本重复行计数工具

news2024/11/28 16:51:40

支持系统类型:Windows 64位系统 Linux 64位系统 苹果64位系统

硬盘要求:固态硬盘(有效剩余磁盘空间大小最低3倍于大数据文件的大小)

内存要求:最低8G(例如只有几百G数据) 如果处理TB级大数据文件最低需32G内存

大数据格式:M行1列 或M行N列          作者QQ:24759362

初次使用建议完全模仿截图里出现的文件夹和空记事本文件命名,日常使用时可以根据自己的喜好命名文件夹和空记事本文件

范例测试数据1:D:\testBigDataFile\test1BigData.txt

1000
1001
1001
1002
1003
1004
1004
1005
1006
1007
1007
1008
1009
1010
1011
1011
1012
1013
1013
1013
1013
1014
1014
1015
1016
1017
1017
1018
1019
1020
1021
1021
1022
1023
1023
1023
1023
1024
1024
1025
1026
1027
1027
1028
1029
1030
1031
1032
1033
1033
1033
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1043
1043
1043
1044
1045
1046
1047
1048
1049
1050
1051
1051
1052
1053
1054
1054
1055
1056
1057
1057
1058
1059
1060
1061
1062
1063
1063
1063
1063
1064
1065
1066
1067
1068
1069
1070
1071
1071
1072
1073
1073
1073
1073
1074
1074
1075
1076
1077
1077
1078
1079
1080
1081
1082
1083
1083
1083
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1093
1093
1093
1094
1095
1096
1097
1098
1099
2000

运行输出结果如下:

D:\resultBigDataFile\result1BigData.txt

1011
1077
1021
1054
1074
1051
1071
1007
1017
1027
1004
1014
1024
1057
1001

如果上面范例测试数据1运行后想输出如下结果:请勾选“显示输入重复次数

1011    1
1077    1
1021    1
1054    1
1074    1
1051    1
1071    1
1007    1
1017    1
1027    1
1004    1
1014    1
1024    1
1057    1
1001    1

 范例测试数据2:D:\testBigDataFile\test2BigData.txt

 Alan    436628269
Alan    436628269
Alan    436628269
Bill    611492701
Cana    1397118521
Dunn    2444556928
Connor    1998963357
Emma    2206666209
Gina    777284571
Gina    777284571
Gina    777284571
Gina    777284571
Ivin    970322252
Jack    1262597716
Jane    578355382
July    136208476
Lily    433285072
Onan    371221381
Owen    1266462145
Peni    130864920
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Sims    921827919
Tina    2561855784
Tony    2084111552
Voni    2587044445
Waco    423088657
Aidan    2010046647
Alvin    468664591
Anita    1956739105
Becky    1363871905
Becky    1363871905
Becky    1363871905
Becky    1363871905
Bowen    234135199
Casey    1548163632
Cathy    678234228
Chloe    1381166262
Dwana    2282473415
Edith    1967993078
Edith    1967993078
Elman    1560665871
Ethan    2267535885
Fiona    604587235
Haley    800961135
Jones    2344119816
Jones    2344119816
Joyce    1344843140
Kelly    2122606210
Kevin    1717469490
Laure    736740442
Mulki    566237493
Najma    2419841329
Najma    2419841329
Najma    2419841329
Randy    1502861227
Ricka    236260413
Rizza    1535082737
Robrt    196943032
Shawn    851297787
Susan    334018114
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Wasim    524075634
Water    90008183
Wendy    1164084217
Yilia    1466222253
Aazeen    1012146857
Anikah    443308821
Bladen    731124027
Brooke    92025515
Brynda    1110273669
Carlos    2196254518
Dillon    520140680
Easter    2712179738
Fallyn    1383225641
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hinson    149640852
Hinson    149640852
Hinson    149640852
Jackie    176340867
Johnny    888922082
Lauren    2414296053
Lunell    913395291
Madlin    1781194530
Martin    636062663
Nyonna    1422469714
Polina    2122873196
Pruitt    314428860
Quavon    689418797
Quavon    689418797
Sallie    800910135
Selina    1232437171
Sumiye    628112094
Summer    2278440448
Uniyah    1115416023
Vaiden    620408210
Winter    2695510343
Yasmen    961534555
Yoland    1291468531
Yusuke    2619560595
Abraham    2578725567
Addison    1332247227
Anthony    544174558
Bartley    1153366461
Blanche    101955333
Bullman    1529760215
Camille    1092452082
Charles    1664580393
Connor    2117335737
Crystal    1042531868
Destiny    1659408747
Hartlyn    2192622982
Jenicia    275384039
Lovinia    779964794
Madilee    400032052
Nicolle    559240963
Noython    2106815835
Quintin    2314360024
Ricayla    2347843740
Severin    1824633312
Solomon    606320831
Tanecia    1419387413
Tiffine    2033116728
Vallene    1492277709

 

运行输出结果如下:

D:\resultBigDataFile\result2BigData.txt

 

Edith    1967993078    1
Najma    2419841329    2
Gina    777284571    3
Hinson    149640852    2
Alan    436628269    2
Hammad    705756913    4
Rynn    2480931452    5
Becky    1363871905    3
Jones    2344119816    1
Tejah    676974423    8
Quavon    689418797    1

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1560407.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Matlab中的脚本和函数

Matlab中的脚本和函数 文章目录 Matlab中的脚本和函数脚本创建脚本代码注释函数创建函数局部函数嵌套函数私有函数匿名函数补充知识函数句柄测试环境:Win11 + Matlab R2021a 脚本 ​ Matlab脚本是最简单的程序文件类型。它们可用于自动执行一系列 Matlab 命令,如命令行重复执…

[linux初阶][vim-gcc-gdb] OneCharter: vim编辑器

一.vim编辑器基础 目录 一.vim编辑器基础 ①.vim的语法 ②vim的三种模式 ③三种模式的基本切换 ④各个模式下的一些操作 二.配置vim环境 ①手动配置(不推荐) ②自动配置(推荐) vim是vi的升级版,包含了更加丰富的功能. ①.vim的语法 vim [文件名] ②vim的三种模式 命令…

《权力》为什么只为某些人所拥有 - 三余书屋 3ysw.net

权力:为什么只为某些人所拥有 大家好,今天我们解读的书名是《权力》,副标题是“为什么只为某些人所拥有”。该书深入探讨了职场中的权力议题,强调获得权力是关键的职场技能之一。在激烈的职场竞争中,缺乏这一技能将使…

14 Games101 - 笔记 - 光线追踪(利用包围盒技术加速光线追踪(KD-Tree and BVH)

14 光线追踪(利用包围盒技术加速光线追踪(KD-Tree and BVH) 在上一节中,我们介绍了whited-style光线追踪的原理,以及实现细节。相比与光栅化中所使用的的Blinn-Phong模型,光线追踪显著了提升了图像质量&am…

《极客时间TonyBai go语言第一课》学习笔记

文章目录 前置篇显式组合并发 入门篇Go 包的初始化次序![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/1388d0d1bddd4a37b98eba5fcb41fc4d.png)初始化一个项目 大纲 前置篇 显式 在 C 语言中,下面这段代码可以正常编译并输出正确结果: #i…

C#.net8创建webapi,使用SqlSugar,仓储模式,DTO,服务层,控制层的综合应用(企业级)

本文源码地址: https://download.csdn.net/download/u012563853/89036104 源码中,也有详细的注释说明。 代码总览: 这是一个综合性比较强的文章,需要有一定的基础,没有基础的人,看了后,会全面的了解一下,有基础的人,看了后会加强认识,更加的巩固,直接在项目中去应…

人工智能时代:如何运用Excel函数与公式结合AI应用办公

前言 本文将结合人工智能的概念和Excel的高级功能,通过具体、详细的示例,展示如何利用Excel的函数与公式提升数据处理和分析的效率。博客内容涵盖基础函数的使用、高级公式的构建、以及如何通过编程接口与Excel进行交互,实现自动化和智能化的…

Python爬虫快速上手,知识介绍与实战demo

目录 前言 一、爬虫是什么? 二、爬虫的基本流程: 三、http协议 请求与响应 四、 request 五、 响应Response 六、总结 七、简单实战demo 前言 简单来说互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HT…

混合现实(MR)开发工具

混合现实(MR)开发工具是一系列软件和框架,它们使得开发者能够创建和优化能够在虚拟与现实世界之间无缝交互的应用程序。以下是一些在MR领域内广泛使用的开发工具。 1.Microsoft Mixed Reality Toolkit (MRTK) MRTK是一个跨平台的工具包&…

Yarn与Zookeeper的介绍

Yarn--三大调度策略 FIFO(先进先出): 目前几乎已经没有人使用了. 类似于: 单行道. 好处: 每个计算任务能独享集群100%的资源. 弊端: 不能并行执行, 如果大任务过多, 会导致小任务执行时间过长. Capacity(容量调度): 我们用…

idea Springboot 电影推荐系统LayUI框架开发协同过滤算法web结构java编程计算机网页

一、源码特点 springboot 电影推荐系统是一套完善的完整信息系统,结合mvc框架和LayUI框架完成本系统springboot dao bean 采用协同过滤算法进行推荐 ,对理解JSP java编程开发语言有帮助系统采用springboot框架(MVC模式开发)&…

亮数据,可视化数据采集强大利器

前言 随着信息技术的飞速发展,我们已经进入了一个以数据为中心的世纪。在这个时代,数据不仅仅是信息的载体,它已经成为了推动社会进步、创新科技、增强决策和驱动经济增长的关键资源。 在这个数据世纪中,掌握数据的能力等同于掌…

计算机网络—VLAN 间路由配置

目录 1.拓扑图 2.实验环境准备 3.为 R3 配置 IP 地址 4.创建 VLAN 5.配置 R2 上的子接口实现 VLAN 间路由 6.配置文件 1.拓扑图 2.实验环境准备 配置R1、R3和S1的设备名称,并按照拓扑图配置R1的G0/0/1接口的IP地址。 [Huawei]sysname R1 [R1]interface Giga…

希亦、洁盟、大宇超声波清洗机好用吗?比拼谁是性价比之王

在追求高效生活品质的今天,超声波清洗机以其独特的清洁技术和便捷的操作方式,成为了家用和商用清洁领域的新宠。尤其对于眼镜用户而言,一台高效的超声波清洗机不仅能够轻松去除镜片上的污渍和细菌,更能保护镜片不受损伤&#xff0…

提升Web开发安全性:分析JScrambler、JShaman等五款在线JavaScript加密混淆工具

摘要 本篇技术博客将介绍五款常用且好用的在线JavaScript加密混淆工具,包括 jscrambler、JShaman、jsfack、freejsobfuscator 和 jjencode。通过对这些工具的功能及使用方法进行详细解析,帮助开发人员更好地保护和加密其 JavaScript 代码,提…

学浪视频如何下载或者录屏

很多同学购买了学浪视频,可是不知道如何下载下来,用录屏,发现学浪PC学生版客户端有防止录屏,为了解决这个问题,我开发了学浪视频下载的客户端 大家有需要自己取一下,截止到4月1号,最新版本是2.…

《自动机理论、语言和计算导论》阅读笔记:p115-p138

《自动机理论、语言和计算导论》学习第 6 天,p115-p138 总结,总计 24 页。 一、技术总结 1.associativity and comutativity (1)commutativity(交换性): Commutativity is the property of an operator that says we can switch the order of its ope…

【TB作品】MSP430G2553,超声波倒车雷达PCB,单片机,超声波SR04,键盘,oled

题目 硬件:MSP430G2553、 SR04超声波传感器 、3*4键盘、 无源蜂鸣器、oled显示屏 软件 1 、实时显示测量得到的距离 2、按键设置一个报警门限数值,直接输入数值后确认 3、低于报警门限数值就开始报警,而且距离越近蜂鸣器的鸣叫频率越高 程序…

ctf题目

目录 1.文件包含的一道题目,没什么难度, 2.一道sql注入的题目,伪静态 3.限制只能本地访问。 1.文件包含的一道题目,没什么难度, 但是一个点就是它这里去包含的那个文件名就是flag,而不是flag.php也不是f…

基于BEV的自动驾驶会颠覆现有的自动驾驶架构吗

基于BEV的自动驾驶会颠覆现有的自动驾驶架构吗 引言 很多人都有这样的疑问–基于BEV(Birds Eye View)的自动驾驶方案是什么?这个问题,目前学术界还没有统一的定义,但从我的开发经验上,尝试做一个解释:以鸟瞰视角为基础…