第五届“泰迪杯”数据分析技能赛 经验代码分享

news2024/11/18 21:39:09

第五届“泰迪杯”数据分析技能赛 经验/代码分享

品牌:“泰迪杯”数据分析技能赛

组织单位:泰迪杯数据分析技能赛组织委员会、广东泰迪智能科技股份有限公司、广东省工业与应用数学学会、人民邮电出版社、北京泰迪云智信息技术研究院、网宿科技股份有限公司

数据+代码分享:

链接:https://pan.baidu.com/s/1D32jlIgXuSiJWNN-w1ZKqQ?pwd=xx78
提取码:xx78

在这里插入图片描述

(献丑奉上,,求个关注嘛,嘿嘿,拜托拜托~)

比赛时间:

2022-11-12 ~ 2022-11-13 每天早上8:00~晚上20:00

题目展示:

泰迪杯分析赛分AB两题,每题都单独评委评分,可以任选一题做或者两题都做,建议两个题都做。
在这里插入图片描述

在这里插入图片描述

获奖展示:

在这里插入图片描述

在这里插入图片描述

经验总结:

虽然比不上荣获“泰迪杯”的大佬队伍,但是获得两个一等奖也还算阔以,(嘿嘿)以下是我通过这场比赛的感悟总结(我们是进行“老带新”模式,大三带大二参赛)。

1、组队队友选择:

寻找另外两个队友时,最好寻找一男一女搭配,女生最好是文采比较好,有word撰写论文经验最佳,男生最好能基础编程,数据处理、简单可视化操作。

2、分工明确:

作为队长,在比赛一开始阅读完题目后,就需要合理分配任务,比如题目的前一,前二大题是数据处理和可视化,可以分配给男生,构思论文结构然后交代给女生,让她先搭建好论文框架,最后分工明确、层层把关。

3、队内队外勤交流

队内,每做完一题,需要和负责论文撰写的进行明确交流,必要的文字描述和结果截图都需要两人合作交流写在论文。

队外,可以与其他队交流难题,分享做题解决办法,加快做题速度。“互相帮助”。

解题流程和必备知识点技能:

对于解题流程和需要掌握的知识点以及必备技能,我整理了XMind思维导图文件如下:

XMind思维导图文件链接:https://pan.baidu.com/s/1L83550izPkVhy7VHZAmpoQ?pwd=xx78
提取码:xx78

在这里插入图片描述

泰迪杯一般处理流程

数据读取

读取方式

df=pd.read_csv(“df_train_a1.csv”)
df=pd.read_excel(“C:/Users/X/Jupyter_file/B题/附件/附件1.xlsx”,sheet_name=‘安徽省’)
dates = pd.read_csv(‘dates.txt’, names=[‘col1’,‘col2’], header=None)

  • df=pd.read_csv(“df_train_a1.csv”)
  • df=pd.read_excel(“C:/Users/X/Jupyter_file/B题/附件/附件1.xlsx”,sheet_name=‘安徽省’)
  • dates = pd.read_csv(‘dates.txt’, names=[‘col1’,‘col2’], header=None)

读取表格拼接

  • pd.concat([data,data1],axis=1)

  • pd.merge(data,data1,on=‘ID’)

数据处理、分析

数据整体查看

  • df.info()
  • df.isnull().sum()
  • df.describe()

重复值处理

  • df[df[‘MEMBER_NO’].duplicated()]
  • df.drop_duplicates()
  • df.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)

异常值处理

  • 箱线图展示大概离群值

    • import seaborn as sns
      sns.boxplot(x=data[‘sepal length (cm)’],data=data)
  • 详细显示离群临界点

    • print(np.percentile(df[‘basic_4’],99))
      print(np.percentile(df[‘basic_4’],1))

缺失值处理

  • 删除
  • 均值填充
  • 随机填充
  • 关联填充

各列特征数据展示

数据可视化

plt

pyecharts

tableau

  • 仪表盘数字大屏

特征工程

特征编码

  • sparse矩阵
  • one-hot编码

特征衍生

数据归一化、标准化

特征筛选

  • 删除低方差特征
  • 相关系数热力图
  • 模型的特征重要性展示选择

数据上采样、下采样

特征降维

  • PCA降维、反向随机特征选择

机器学习建模

数据集划分

建模

  • 监督学习

    • 分类

      • 随机森林
      • 决策树
      • KNN
    • 回归

      • 线性回归模型
      • 随机森林
      • 决策树
  • 无监督学习

    • 聚类

      • k-means

训练、预测

模型评估

  • 调参

  • 评估指标

  • 稀疏矩阵

    • 分类

      • 随机森林
      • 决策树
      • KNN
    • 回归

      • 线性回归模型
      • 随机森林
      • 决策树
  • 无监督学习

    • 聚类

      • k-means

训练、预测

模型评估

  • 调参
  • 评估指标
  • 稀疏矩阵

保存模型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/159884.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

内存管理详解

目录 一、C/C中内存分布 二、C语言的内存管理方式 三、C的内存管理方式 3.1 new/delete操作内置类型 3.2 new/delete操作自定义类型 3.3 operator new()和operator delete()函数 3.4 重载operator new()和operator delete() 四、new、delete的实现原理 4.1 内置类型 …

(02)Cartographer源码无死角解析-(50) 2D点云扫描匹配→相关性暴力匹配2:RealTimeCorrelativeScanMatcher2D

讲解关于slam一系列文章汇总链接:史上最全slam从零开始,针对于本栏目讲解(02)Cartographer源码无死角解析-链接如下: (02)Cartographer源码无死角解析- (00)目录_最新无死角讲解:https://blog.csdn.net/weixin_43013761/article/details/127350885 文末…

【论文速递】TPAMI2022 - 小样本分割的整体原型激活

【论文速递】TPAMI2022 - 小样本分割的整体原型激活 【论文原文】:Holistic Prototype Activation for Few-Shot Segmentation 获取地址:https://ieeexplore.ieee.org/document/9839487 CSDN下载:https://download.csdn.net/download/qq_36…

三十、RabbitMQ(1)

🌻🌻 目录一、 关于中间件的概述二、基于消息中间件的分布式系统的架构2.1 消息中间件应用的场景2.2 常见的消息中间件2.3 消息中间件的本质及设计2.4 消息中间件的核心组成部分2.5 小总结三、消息队列协议3.1 什么是协议3.2 网络协议的三要素3.3 AMQP 协…

JAVA 23种设计模式示例

目录 一.单例模式 二.工厂方法模式 三.抽象工厂模式 四.建造者模式 五.原型模式 六.享元模式 七.门面模式 八.适配器模式 九.装饰者模式 十.策略模式 十一.模板方法模式 十二.观察者模式 十三.责任链模式 十四.代理模式 十五.桥接模式 十六.组合模式 十七.命令…

openGauss数据库PostGIS 安装与使用

目录 概述 1.PostGIS 安装 1.1 GCC-7.3编译器安装 1.2PostGIS依赖库安装 1.3.安装Postgis 2.使用Extension 2.1创建PostGIS Extension 2.2使用Extension 2.3删除Extension 概述 PostGIS Extension是PostgreSQL的空间数据库扩展,提供如下空间信息服务功能&…

SpringBoot+VUE前后端分离项目学习笔记 - 【21 权限菜单 中】

1 新建了sys_dict表以及相应Dict类保存菜单menu的icon数据 2 新建了sys_role_menu表以及相应RoleMenu类保存前端Role页面传来的角色菜单ID的绑定关系 3 在MenuController里增加获取Dict里icon的方法 提供前端菜单页面显示 4 在RoleController增加Post接口,获取前台传…

66页3万字医疗行业大数据治理解决方案

【版权声明】本资料来源网络,知识分享,仅供个人学习,请勿商用。【侵删致歉】如有侵权请联系小编,将在收到信息后第一时间删除!完整资料领取见文末,部分资料内容: 目 录 1. 1、医疗行业大数据管…

分享116个PHP源码,总有一款适合您

PHP源码 分享116个PHP源码,总有一款适合您 116个PHP源码链接:https://pan.baidu.com/s/1dsupZiZbKqvHPmlpIAgWqA?pwdg52q 提取码:g52q import os import shutil import time from time import sleepimport requests from bs4 import Bea…

C++11静态断言static_assert

C11静态断言static_assert一、运行时断言二、静态断言的需求三、静态断言四、单参数版本的静态断言一、运行时断言 断言(assertion)是一种编程中常用的手段。在通常情况下,断言就是将一个返回值总是需要为真的判别式放在语句中,用…

Oracle No-Fee Terms and Conditions (NFTC)到底有啥条款?

1995年Sun微系统公司推出Java至今已有28年的历史,由于厂商持续升级优化,使用场景广阔,生态完善,Java目前仍然保持着非常旺盛的生命力。 付费许可 2019年java更新了许可政策 https://www.oracle.com/java/technologies/javase/ja…

【一文速通】机器学习样本不均衡/数据分布不同怎么办?

样本不均衡是什么意思样本(类别)样本不平衡(class-imbalance)指的是分类任务中不同类别的训练样例数目差别很大的情况,一般地,样本类别比例(Imbalance Ratio)(多数类vs少…

antd中Tree组件使用方法个人笔记

一、前言 最近在自己自学前端&#xff0c;不清楚学习路线&#xff0c;只能盯着公司的前端项目硬看。 公司的前端项目是react框架&#xff0c;Ant Design Pro。 之前刚把router.config.js的逻辑理顺&#xff0c;目前准备开发个简单的前端页面。 在此总结下antd中<Tree>…

【算法刷题 DAY04】剑指offer树3和队列与栈总结

JZ36 二叉搜索树与双向链表 描述 输入一棵二叉搜索树&#xff0c;将该二叉搜索树转换成一个排序的双向链表。如下图所示 注意: 1.要求不能创建任何新的结点&#xff0c;只能调整树中结点指针的指向。当转化完成以后&#xff0c;树中节点的左指针需要指向前驱&#xff0c;树中…

虹科新闻 | 虹科与weeve正式建立合作伙伴关系

近日&#xff0c;虹科与weeve正式建立合作伙伴关系&#xff0c;双方就工业应用自动化领域进行深入的交流与合作&#xff0c;未来将共同致力于为中国市场提供完整的物联网边缘服务解决方案&#xff0c;解决中国客户的物联网挑战。 虹科与weeve都表示十分期待这次的合作。“虹科…

day36【代码随想录】贪心算法之根据身高重建队列、用最少数量的箭引爆气球、无重叠区间

文章目录前言一、根据身高重建队列&#xff08;力扣406&#xff09;二、用最少数量的箭引爆气球&#xff08;力扣452&#xff09;三、无重叠区间&#xff08;力扣435&#xff09;前言 1、根据身高重建队列 2、用最少数量的箭引爆气球 3、无重叠区间 一、根据身高重建队列&…

魔改插线板,让电视控制周边设备开关机

一.我的需求 本人是一个极简主义风格的人&#xff0c;自从用了N1盒子刷了coreELEC 系统后&#xff0c;就不断的进行折腾&#xff0c;跟大家说下我的心路历程。 1.我家很少看电视&#xff0c;不想因为偶尔开一次电视就每个月交24块钱&#xff0c;所以把广电的机顶盒停掉了。 2.电…

TextView

1.简介 向用户显示文本的用户界面元素。 2.常见使用 2.1 设置文本内容 //xml 硬编码 <TextView android:text"文本"/> //xml 推荐放在string.xml,为了国际化考虑 <TextView android:text"string/app_name"/> //kotlin tv.text getStr…

零基础学员的shell脚本的写作思路详解

前言 这两天一直再批改学员的脚本作业&#xff0c;大多数学员写的很好&#xff0c;有的学员写的不太好。 还有一些还没有入门到学员不知道脚本该咋写。 不知道脚本怎么写的学员&#xff0c;绝大多数犯了一个错误&#xff1a;一上来就把脚本想的太复杂了。 我们今天单独聊聊这…

以研究用途搭建OpenStreetMap Virtualbox服务器

又到了新年伊始&#xff0c;下载OpenStreetMap全球数据的时候了。结果惊奇的发现&#xff0c;主站已经无法打开。仔细了解了原委&#xff0c;表示理解。好在PBF数据依旧可以获取&#xff0c;只是瓦片服务已经关停。 1.OpenStreetMap的主要问题 OpenStreetMap之所以被Blocked&…