java转行大数据要学习哪些技术

发布网友发布时间：2022-04-21 01:04

共5个回答

热心网友时间：2022-06-17 00:09

对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握Java语言是有一定优势的。
当然，hadoop核心价值在于提供了分布式文件系统和分布式计算引擎，对于大部分公司而言，并不需要对这个引擎进行修改。这时候除了熟悉编程，你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展，则你需要掌握更多的算法相关的知识。
对于数据挖掘工程师而言，虽然也需要掌握编程工具，但大部分情况下是把hadoop当做平台和工具，借助这个平台和工具提供的接口使用各种脚本语言进行数据处理和数据挖掘。因此，如果你是往数据挖掘工程方向发展，那么，熟练掌握分布式编程语言如scala、spark-mllib等可能更为重要。
Java程序员转大数据工程师的学习路线图：
第一步：分布式计算框架
掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等；
第二步：算法和工具
学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。
第三步：数学
补充数学知识：高数、概率论和线代
第四步：项目实践
1)开源项目：tensorflow：Google的开源库，已经有40000多个star，非常惊人，支持移动设备；
2)参加数据竞赛
3)通过企业实习获取项目经验
如果你仅仅是做大数据开发和运维，则可以跳过第二步和第三步，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。

热心网友时间：2022-06-17 00:09

大数据开发：

1、大数据基础：Linux基础、Maven基础

2、Hadoop生态体系：HDFS、MapRece、Yarn及其周边软件Hbase、Hive、Pig等；

3、Spark生态系统

4、项目实战

热心网友时间：2022-06-17 00:09

为啥要转大数据？大数据就拿北京这边的培训来说都没有几个能教得比较好的，能胜任企业的，到了企业也是做一些别的。

Java并不比其他任何编程语言差，而且，Java的整体学习课程里也有包含大数据的学习，除非你是真的不适合，不然是不建议你转。

最后建议你看看蛙课上的Java编程课程，编程的资源非常多，相当于程序员的编程百科全书，资料库。

热心网友时间：2022-06-17 00:10

大数据只是一个大体方向，，，，，，要看是做分析、还是依然写代码

~~~~~~~~~

热心网友时间：2022-06-17 00:11

第一阶段Java

第二阶段JavaEE核心

第三阶段Hadoop生态体系

第四阶段大数据spark生态体系

做了这么多年Java开发,如何快速转行大数据

1、会一门基础语言：java/python/scala：如果是java相关开发转大数据，那实在是太容易了，这一项就可以略过了。2、分布式存储及调度理论：hdfs、yarn的理论要理解且熟记，这些对于学习spark 或者hive 以及sql的优化是最最基础的知识。3、sql 框架要会一个：spark sql/hive sql ：如果对hive和spark都不...

java转行大数据要学习哪些技术

第一步：分布式计算框架掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等；第二步：算法和工具学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或...

大数据专业需要学习哪些技术大数据工程师需要学哪些技术?

1、大数据工程师要学习JAVA、Scala、Python等编程语言，不过这些语言都是相通的，掌握了一门编程语言其他的就很好学习了。大数据的学习需要掌握以下技术：Hadoop、spark、storm等核心技术。2、基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范...

大数据需要学习哪些技术?

学习大数据技术，需要掌握以下关键技术：首先，Java编程技术是大数据学习的基础。Java语言拥有跨平台能力，适合编写分布式系统、嵌入式系统等，是大数据工程师常用的编程工具。其次，Linux命令是大数据开发的必备技能。大数据通常在Linux环境下进行，Linux提供了更开放和强大的大数据软件支持。Hadoop是大数据开发的核心...

大数据开发都需要掌握哪些技术?

1. Java编程技术 Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具。2.Linux命令对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的...

程序员转行做大数据可以吗,会有什么困难吗?

需要学习的东西特别的多，大数据是包括多个方面的，比如说收集，储存，治理，组织，管理等等。而一个程序员只弄了一两个部分而已。很多东西你都是需要从零学起，当然你有基础，学习也比较快。刚刚接触一个新的行业，圈子里面的人不一样，所以自己以前的圈子里的人已经不能用了，需要重新树立一个圈子，...

想转行到大数据开发需要学习哪些技术?

如果要学习大数据，不管你是零基础，还是有一定的基础，都是要懂至少一种计算机编程语言，因为大数据的开发离不开编程语言，不仅要懂，还要精通！但这门编程语言不一定是java。比如说，如果你主攻Hadoop开发方向，是一定要学习java的，因为Hadoop是由java来开发的。如果你想要主攻spark方向，是要学习Scala语言...

大数据需要什么基础技能?

Java ：只要了bai解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和...

Java大数据需要学习哪些内容?

java语言基础部分的学习内容相对比较明确，由于Java语言本身的技术体系已经比较成熟了，所以学习过程也会相对比较顺利。JavaWeb开发不仅涉及到后端开发知识，还涉及到前端开发知识，整体的知识量还是比较大的，而且在学习的过程中，需要完成大量的实验。大数据开发包括Java基础，MySQL基础，Hadoop(HDFS,MapReduce,...

Java大数据主要学哪些内容?

首先大数据的学习难度还是比较大的，如果想要学习的话，建议是本科毕业之后再学，因为大数据的学习股哟称重可能会用到大学学习的高等数学。然后来讲讲大数据主要要学什么内容。大数据的主要课程内容包括：①JavaSE核心技术；②Hadoop平台核心技术、Hive开发、HBase开发；③Spark相关技术、Scala基本编程；④掌握...