产学互动,全民开展大数据

发布时间:[2016-6-14]     来源:     作者:     点击:

随着科学技术的迅速发展与网络信息技术的不断革新,大数据应用技术正处于蓬勃发展的上升时期,计算机行业对数据信息处理技术的创新发展提出了更高的要求,而大数据应用技术是近年来为了适应时代发展需求应运而生的新型数据技术。当前大数据技术正处于蓬勃发展的上升时期,而上海电力学院经济与管理学院目前缺乏大数据技术相关课程,缺少在该领域有深入研究的讲师。

基于以上背景,上海电力学院经济与管理学院委托上海计算机软件技术开发中心提供大数据应用技术培训服务。上海软件技术开发中心为了促进高校与企业合作,将企业项目开发比较流行的大数据应用技术引入高校教学中,从而提升学生的实践能力,提高就业竞争力。通过对Hadoop相关开发技术的理论学习和实际操作实战培训指导,使学生能够掌握Hadoop的基本原理与集群的安装部署,并能运用这些技术从事项目实践指导中。

上海计算机软件技术开发中心安排培训讲师1名,为上海电力学院经济与管理学院信息管理专业学生提供3次(每次为期一天)关于大数据Hadoop相关开发技术的培训服务,培训内容包括技术理论讲解、上机指导、项目实践指导等。

培训的具体内容如下:

1. Hadoop 应用基础篇之一:Hadoop原理介绍、Hadoop部署NN/JT节点部署、Hadoop部署DN/TT节点部署

主要讲解Hadoop 1.0.4 的生态环境介绍和基本原理;讲解Hadoop的集群部署,讲解如何部署NameNode、SNN,DataNode,TaskTracker节点的部署。

2.  Hadoop 应用基础篇之二:Hive架构与应用介绍、Hive安装与部署、Hive的基本操作、Hive的基本函数操作、部署Phphiveadmin

主要讲解介绍Hive的应用以及Hive与Hadoop、传统数据库的关系;介绍Hive的安装与部署,主要介绍Hive的基本HQL操作,使大家能够了解Hive的基本操作以及内部表,外部表和分区表各自的应用场景;介绍表分区,加载数据的方法以及相关HQL语句介绍;介绍Hive的相关函数 包括日期函数,条件函数,字符串函数等的相关介绍以及Hive的MapReduce过程介绍;安装的B/S架构的Hive客户端使用工具,方便业务人员使用。

3. Hadoop 应用基础篇之三:Sqoop的介绍与基本应用、Sqoop的命令使用介绍、Kafka的基本和原理介绍、Kafka的安装部署和集群部署

主要讲解Sqoop的基本介绍以及sqoop的import与export的过程与sqoop2的区别;主要集中在sqoop的import 以及 job 指令介绍;主要介绍kafka分布式消息队列的基本特征以及相关的应用场景;介绍kafka的不同的设计理念和特性;介绍kafka的如何安装与部署,分为单点,单broker 模式单点,多broker 模式(伪分布式集群)多点,多broker 模式(分布式集群);介绍kafka的集群部署模式,同时结合kafka的原理介绍集群模式的特性。

通过软件中心讲师对信息管理专业学生进行的Hadoop相关开发技术培训,学生了解了相关理论知识,提高了实践能力,此次大数据应用技术培训取得了良好的效果。

 

关键字: