spark单机安装部署 想做数据工程师,需要重点学习哪些能力?

[更新]
·
·
分类:互联网
2615 阅读

spark单机安装部署

想做数据工程师,需要重点学习哪些能力?

想做数据工程师,需要重点学习哪些能力?

我是国内top4大学计算机系的大一生,想去Flag公司做数据工程师。请问我应该重点学习哪些能力?例如重点在哪一门语言?或者哪一些课程可以选择。当然基础技能我知道要打好,也在努力中。谢谢!

题主学历是够了,数据工程师这个方向也很好,未来也是主流。我就结合我自身的学习经验提几点吧,按需采纳。
环境工作时的程序都是在linux环境跑的,所以基本运维要熟悉,推荐使用centos7,熟练使用vi编辑器。熟练shell脚本。
容器技术不得不说,这个技术真是太尼玛方便了,让服务器运维变得那么和谐。先掌握单机docker,然后可以用用docker swarm,如果k8s会的话,就更牛逼了。
,python高级语言java的简单demo可以做做,安装环境要熟悉,hadoop的安装离不开java。python的一句名言,“人生苦短,我用python”,在我做了几年java后,突然接触python,体会的更深。python也是大数据分析的主流语言哦,比如深度学习,神经网络TensorFlow,就是用python的哦,学完python,做做图像识别会有很大成就感。
4.hadoop生态老牌大数据,相关资料也比较多,掌握hdfs,hive,hbase。
5.spark生态大数据网红,spark streaming,spark sql,如果了解了storm流式计算更好。
6.数学做牛逼的数据分析师,算法是核心,而算法的核心就是数学,有木有无招胜有招,大道至简的感觉。当然大部分人不用写啥算法,模型大牛们都写好了,更多的是组装调参。

学什么方向的计算机专业以后就业比较吃香?

这个需要看是男生还是女生了
如果是男生建议选择编程类的计算机专业:如课程包含了、C#、C 、单片机原理和技术以及数据库等,原因其实很简单:
第一、互联网时代,你能说你不懂一门计算机语言吗?或是不会简单的网络购物和图片处理吗?
第二、大学生毕业就等于失业,国家也提倡扶持大学生创业,而互联网行业是最容易创业也是基本上说是投入成本很低的一个行业吧;
第三、编程类的专业对于男生来说如果专业知识够扎实,到一些一线城市发展都是很不错的,而且也是能够快速累积一笔财富的方式;
第四、从事计算机语言编程开发类的工作等于是吃青春饭的,但是对于大学生来说,最多的就是时间了;
接下来就是女生了,女生其实建议选择偏平面设计类的或是数据库的也可以,原因如下:
第一、编程语言类的工作不是说女生不能做,但女生特殊的身体生理结构会给女生带来很多的不便,熬夜加班是常有的事情;
第二、平面设计或是前段的工作比较适合女生,因为本身上天就对女生赋予了美于水的天份,大部分男生不是色盲就是色弱所以有此类情况的肯定无法从事平面设计类的工作;
第三、平面设计类的工作的工作量不多,压力不大,可能需要多跟用户和老板沟通风格类;最后,最近这两年前端方向的工作机会其实蛮大的,女生也可以考虑。