大数据架构师岗位的主要职责概述(合集)

news2024/12/23 17:15:45

 

    大数据架构师岗位的主要职责概述1

    职责:

    1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

    2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

    3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

    5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

    6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

    任职要求:

    1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;

    2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

    3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

    4.熟悉制造企业信息化系统及相关数据库技术;

    5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

    6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

    7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

    大数据架构师岗位的主要职责概述2

    职责:

    1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;

    2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

    3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;

    4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;

    5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;

    6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;

    7、深入研究大数据相关技术和产品,跟进业界先进技术;

    【任职要求】

    1、统计学、应用数学或计算机相关专业大学本科以上学历;

    2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;

    3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;

    4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

    5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言

    6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先

    7、熟悉大数据可视化工具Tableau/echarts

    8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

    大数据架构师岗位的主要职责概述3

    职责:

    根据大数据业务需求,设计大数据方案及架构,实现相关功能;

    搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

    负责大数据业务的设计和指导具体开发工作;

    负责公司产品研发过程中的数据及存储设计;

    针对数据分析工作,能够完成和指导负责业务数据建模。

    职位要求:

    计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

    精通大数据主流框架(如 Hadoop、hive、Spark等);

    熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;

    熟悉hadoop/spark生态的原理、特性且有实战开发经验;

    熟悉常用的数据挖掘算法优先.

    大数据架构师岗位的主要职责概述4

    职责:

    1. 负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。

    2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。

    3. 结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

    4. 对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。

    任职要求:

    1. 熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;

    2. 掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

    3. 精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;

    4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;

    5. 熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;

    6.计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。

    大数据架构师岗位的主要职责概述5

    职责:

    1、大数据平台架构规划与设计;

    2、负责大数据平台技术框架的选型与技术难点攻关;

    3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;

    4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;

    5、培养和建立大数据团队,对团队进行技术指导。

    任职要求:

    1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

    2、精通Java,J2EE 相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

    3、精通SQL和Mapreduce、Spark处理方法;

    4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;

    5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;

    6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;

    7、具有较强的内外沟通能力,良好的团队意识和协作精神;

    8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、 具有能源电力行业工作经验者优先。

软件架构师岗位的工作职责概述

    软件架构师岗位的工作职责概述1

    (1)、规划:负责规划产品的技术路线,负责设计出产品的技术核心竞争力负责产品和项目全生命周期的软件架构演进。

    (2)、立项阶段:对接PD,理解业务需求,识别和梳理非功能性系统需求(性能、安全、高可用等)评估技术实现的可行性,估计难度和工作量,识别技术风险。

    (3)、总体设计阶段:结合人力、进度要求、系统重要性、扩展性、可维护性等因素,进行合理的总体架构设计,包括应用架构、技术架构、部署架构、数据架构等负责进行子系统/模块划分、模块交互设计、与其他系统的边界和接口定义等结合各个不同的项目和产品,识别出跨项目跨产品通用的技术组件,进行通用组件的设计和复用负责输出总体设计文档负责关键技术的分析和决策梳理

    与合作厂商系统之间的技术界面,确保整体可交付针对项目交付要求,与开发责任人一起制定开发联调的策略,包括子系统和模块的优先级等。

    (4)、项目技术支持:作为技术专家支持市场项目的技术交流。

    (5)、作为POC项目的技术支持。

    软件架构师岗位的工作职责概述2

    结合公司战略,研究业务领域内的行业***实践,引导业务部门进行变革;

    对公司业务流程进行诊断,分析问题根因;

    熟悉研发领域的业务流程与信息系统,主导进行研发领域内多业务模块的需求分析,或某一业务模块的复杂需求分析,并对用户需求进行引导;

    参与需求评审,根据需求分析文档,设计 IT 解决方案,并与开发人员澄清需求及进行需求进度把控,同时承担 IT 解决方案的测试、培训和验收;

    进行 IT 项目管理与维护,参与 IT 解决方案评审;

    结合公司战略,对公司端到端的业务流程进行优化;

    发现并分析跨业务领域的流程、系统问题,提出可行的优化改进建议和方案;

    深入研究行业 IT 应用趋势,对 IT 系统进行统筹规划,支撑公司战略落地;

    定期与业务部门交流,结合所负责领域的业务规划,制定相应的 IT 系统规划;

    软件架构师岗位的工作职责概述3

    职责:

    1.负责公司摄像机产品参考设计方案的整体系统分析设计

    2.参与对摄像机主控芯片的技术规格定义

    3.负责图像视频智能分析的架构设计

    4.负责智能前端产品解决方案的客户SDK架构设计

    5.负责公司视觉AI芯片产品技术支撑体系建设和团队建设

    岗位要求

    1.精通摄像机软件开发架构设计

    2.精通Linux或嵌入式平台相关业务开发

    3.熟悉图像视频智能产品业务、开发和软件架构

    4.熟悉基于海思,安霸,TI等芯片的开发框架

    任职资格

    1.本科以上学历,计算机、电子、软件等相关专业

    2.从事摄像机开发工作3年以上经历

    3.具有智能化产品开发经验

    4.具有很强的钻研能力,完整独立系统分析能力,勇于接受挑战

    软件架构师岗位的工作职责概述4

    职责:

    1. 理解产品及体验的业务需求,设计后台实现方案。

    2. 负责或参与微服务架构设计、技术调研和方案制定。

    3. 制订并遵守代码规范,参与新技术调研与引进。

    4. 负责或参与公司框架核心代码开发。

    5. 带领并指导团队成员。

    任职要求:

    1.4年以上JAVA开发经验,2年以上微服务实战工作经验。

    2.熟悉微服务相关概念、有构建微服务化应用程序的项目经验。

    3.熟练掌握Spring boot、REST API。

    4.熟练掌握Mysql、Redis/Mongodb/ElasticSearch数据的设计、研发、优化和部署

    5.对各种开源的框架、中间件如RabbitMq、Kafka,Spark等有深入的了解。

    6、具有大规模分布式系统的调优经验(如JVM调优、SQL调优、缓存优化、RPC优化等);

    7、熟悉Kubernetes、Docker容器基础之上开发微服务。

    8、良好代码编写风格, 有团队合作精神,有良好沟通能力和学习能力。

    软件架构师岗位的工作职责概述5

    职责:

    1、根据项目需求,分析,设计,并实现系统的架构方案。使系统架构具有合理性和可扩展性。

    2、负责海量数据采集、处理及存储、应用方案的技术选型及架构实现

    3、负责开发数据统计系统,各类统计程序报表,海量数据分析/查询、分布式存储、流式/实时计算等应用层架构搭建及核心代码实现

    4、追踪大数据和云计算技术的最新科技成果,并协调团队应用于内部业务实践

    5、参与代码的实现,并编写技术文档,对通用技术实现复用。

    任职要求:

    1、熟悉Hadoop底层文件系统,熟悉Hadoop分布式计算框架(HDFS、Hbase、Hive、Mapreduce、Spark、Storm、Flink等.

    2、精通Java, Scala, Python 至少两种编程语言,有较强的分布式计算基础和软件工程能力

    3、熟悉业界有影响力数据仓库和大数据领域的产品、解决方案形态和技术,熟悉OLAP、OLTP引擎和DB,熟悉主流数据整合、治理技术和工具;

    4、熟悉大数据和数仓领域的系统架构设计方法,有海量数据系统的安装部署维护经验,对大规模数据并行计算/传输/处理等有丰富的经验者优先;

    5、熟悉掌握通用大数据数据合并、建模、抽取、分析挖掘机、展示等挖掘算法,具有在实际项目中结合业务场景开发大数据算法的经验者优先;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/622846.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

10.无监督学习

10.1 无监督学习的定义 监督学习:我们有一些列标签,然后用假设函数去拟合它 无监督学习:给出的数据不带任何标签。对于无监督学习来说,需要做的就是将数据输入到算法中,让算法找到一些隐含在数据中的结构,通…

IDEA代码提示设置

1. 打开File -> setting -> Editor -> Live Templates 2. 点击中间框框中的右侧""号,选择 Template Group, 命名为MyGroup(随便起名字) 3. 选中 MyGroup 点击右侧""号,选择Live Template Abbreviation 快捷提示 Description 描述 Template tex…

探究核心技术最佳实践,云原生OLAP论坛火热开启!

2023/06/11,09:00-12:30,在DataFunSummit 2023:OLAP引擎架构峰会上,由阿里云资深技术专家,实时数仓 Hologres 研发负责人姜伟华老师出品的云原生OLAP论坛讲邀请来自阿里云、亚马逊云科技、三七互娱、聚水潭、诺亚财富的…

相机成像模型(二)

相机内参/外参 将上述公式整合到一起,得到世界坐标系中点(Xw,Yw,Zw)映射到像素坐标系中点(u,v)的计算过程,同时给出相机内参、外参的定义如下。 相机外参:描述世界坐标系与相机坐标系之间的变换关系,可将世界坐标系中的点变换至相机坐标系;依赖世界坐标系的定义。 相机内参…

ubuntu18.04LTS编译openssl库进行rsa加密解密

一、下载openssl库源码,下载地址:https://ftp.openssl.org/source/ 我下载的版本: 二、编译源码 1、解压源码: tar zxvf openssl-1.1.1u.tar.gz 2、进入到解压后的文件夹中: cd openssl-1.1.1u/3、执行配置&#x…

6.数组、排序和查找|Java学习笔记

文章目录 数组数组使用注意事项和细节数组赋值机制 排序查找相关链接 数组 数组可以存放多个同一类型的数据。数组也是一种数据类型,是引用类型。 数据类型 数组名[] new 数据类型[大小];int a[] 或者 int[] a 都可以。 int[] a {1,2,3};// 二维数组的声明方式有…

ThreeJS教程:山脉地形高度可视化

推荐:将 NSDT场景编辑器加入你的3D工具链 3D工具集: NSDT简石数字孪生 山脉地形高度可视化 一个山脉地形的高度可视化,具体说就是地形不同的高度设置不同的颜色值。有多种方式,下面就举一个设置顶点颜色.attributes.color的例子 …

魏副业而战:夸克网盘拉新如何引流推广?3个方法,让你多赚5W+

我是魏哥,与其在家躺平,不如魏副业而战! 夸克网盘拉新项目,相信大家都知道吧。 提到拉新,很多人不屑一顾,认为拉人头的项目,没什么前途。 这个想法,魏哥是反对的。 任何项目的存…

阿里巴巴 2023 版(Java 岗)面试突击手册,Github 已标星42K

程序员作为一个自带“高薪多金”标签的职业,收入要高于市场的平均薪资,即便是在 2023 年,程序员的薪资依然保持居高不下。 据拉勾发布的《2022 程序员群体职场洞察报告》显示计算机专业的应届本科生起薪普遍高于其他职业的平均薪资水平。77%的本科毕业生…

[数据库]数据库事务,管理等级,并发锁

1.数据库事务 数据库事务(transaction)是数据库的特性之一,在mysql数据库管理系统中,事务的管理是由引擎innordb实现的. 数据库事务可以理解为一个阶段中的活动,对于每一个窗口都有一个日志,日志中记录着本次事务中进行的改动(注意只是改动,查询不算).其中的两个指令commit,以…

ffplay设置延时

目录 理论 实验 不带参数 带参数 理论 使用ffplay播放视频源时,rtsp/rtmp等,会有一定的延时,这里我们可以通过设置ffplay播放参数将延时控制到最小。 ffplay.exe -i rtmp://xxxxxxx -fflags nobuffer 减少缓冲 也可以减少分析码流的时间…

chatgpt赋能python:Python就业岗位分析:机遇和挑战并存

Python就业岗位分析:机遇和挑战并存 Python是一种高级编程语言,它具有易于学习、易于阅读和维护的特点。自问世以来,Python一直是最受欢迎的编程语言之一,用于各种领域的开发、数据分析和科学计算等方面,因此Python岗…

【AI工具】 一款多SOTA模型集成的高精度自动标注工具(直接安装使用,附源码)

目录 高精度自动标注工具简介及其特性标注工具的安装开启自动标注 简介 X-AnyLabeling 是一款全新的交互式自动标注工具,其基于AnyLabeling进行构建和二次开发,在此基础上扩展并支持了许多的模型和功能,并借助Segment Anything和YOLO等主流…

Abp Vnext 搭建 ELK日志记录

ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana 安装 Elasticsearch Kibana 的方法我前面文章有写 Abp中加入Logstash Serilog.AspNetCore Serilog.Formatting.Elasticsearch Serilog.Sinks.Async Serilog.Sinks.Elasticsearchp…

算法与数据结构(四)

一、哈希表 1、哈希表在使用层面上可以理解为一种集合结构 2、如果只有key,没有伴随数据value,可以使用HashSet结构(C中叫UnOrderedSet) 3、如果既有key,又有伴随数据value,可以使用HashMap结构(C中叫UnOrderedMap) 4、有无伴随数…

【C++】4.多媒体库:SFML库入门

😏★,:.☆( ̄▽ ̄)/$:.★ 😏 这篇文章主要介绍SFML库使用。 学其所用,用其所学。——梁启超 欢迎来到我的博客,一起学习知识,共同进步。 喜欢的朋友可以关注一下,下次更新不迷路&#…

新能源车加速内卷,下一程拼什么

近日,一则长城汽车举报比亚迪的消息,瞬间刷爆了整个汽车圈,行业外对于这个事情多少有点懵,但业内对此却并不感到意外。如果说去年前年国内新能源汽车的“较量”,还是争夺入选资格的话,如今这种级别的“较量…

TensorFlow2进行CIFAR-10数据集动物识别,保存模型并且进行外部下载图片测试

首先,你已经安装好anaconda3、创建好环境、下载好TensorFlow2模块并且下载好jupyter了,那么我们就直接打开jupyter开始进行CIFAR10数据集的训练。 第一步:下载CIFAR10数据集 下载网址:http://www.cs.toronto.edu/~kriz/cifar-10…

【Vue.js】对Vue-element-admin做代理网关转发proxy配置

文章目录 环境配置配置vue.config.js演示为啥要这么做呢? 环境配置 .env.development # 开发环境 .env.production # 生产环境我们需要在两个环境变量文件中配置 VUE_APP_BASE_API /dev # 这里配置全局的API前置标识 开发环境我使用的/dev 生产环境用的是/prod V…

Word控件Spire.Doc 【其他】教程(8):在 Word 中嵌入多媒体文件

Spire.Doc for .NET是一款专门对 Word 文档进行操作的 .NET 类库。在于帮助开发人员无需安装 Microsoft Word情况下,轻松快捷高效地创建、编辑、转换和打印 Microsoft Word 文档。拥有近10年专业开发经验Spire系列办公文档开发工具,专注于创建、编辑、转…