加入收藏 | 设为首页 | 会员中心 | 我要投稿 温州站长网 (https://www.0577zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据架构师需要掌握哪些基础技能?

发布时间:2022-12-12 18:31:43 所属栏目:大数据 来源:转载
导读: 大数据架构就是:在总体框架的大数据处理中的组织。涵盖了数据源,存储格式,分析工具和报告方法。
想成为年薪50k的大数据架构师不是没有可能,只要你掌握了以下技能:
1)掌握分布式系统原

大数据架构就是:在总体框架的大数据处理中的组织。涵盖了数据源,存储格式,分析工具和报告方法。

想成为年薪50k的大数据架构师不是没有可能,只要你掌握了以下技能:

1)掌握分布式系统原理,熟悉主流云平台结构及技术特性,对存储、计算、消息队列、集群管理、虚拟化等技术有深入的理解和认识,对IaaS / PaaS/SaaS平台构架有深层次的了解;

2)系统设计&编码能力,追求优雅的设计和优秀的代码质量,高标准,快速行动;

3)思路清晰,具备生产系统快速 trouble-shooting 的经验和能力,擅长分析更深层次的原因;

4)存储方向:Ceph,Swift, HDFS, RocksDB,LevelDB大数据技术架构, memcache, redis,HBase,MySQL, Postgresql,mongoDB 其中的一项或多项;

5)计算方向:对 Spark,MapReduce,Storm,OLAP ,Flume, Kafka的一项或多项;

6)集群管理方向: YARN,Mesos 熟悉一项或多项;

7)虚拟化方向:KVM,XEN,VMvare,OpenStack,Cloud Stack 熟悉一项或多项;

8)了解上述技术的特性,具备按业务场景进行方案设计和核心模块研发的能力;

(编辑:温州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!