手机版 欢迎访问it开发者社区(www.mfbz.cn)网站

当前位置: > 开发

Linux kylin中使用eclipse搭建scala环境

时间:2021/5/23 17:42:45|来源:|点击: 次

Linux kylin:16.04

eclipse 版本:3.8

java version:1.8

spark:2.4.5

spark安装参考(厦门大学林子雨老师博客):

http://dblab.xmu.edu.cn/blog/1307-2/

首先声明,eclipse是使用Ubuntu kylin software center 快捷安装的,所以我也不知道它安装到哪里了,网上的下载msi插件把ferture和plugins放到对应文件夹,我没有尝试。

接下来到了我自己看博客摸索的环节了:

打开help,我的help长这样,没有eclipse markerplace

点击install New Software,出现界面:

网页地址:

http://scala-ide.org/download/prev-stable.html

看了版本号之后,我选择的红线框住的地址:

输入之后显示:

第一次安装,啥也不懂,就全部都选择了,然后就是next,OK等一系列操作

然后软件重启,

新建程序file,new,other,scala Project:

正常创建即可,创建完成之后,右键project,点击build path选择Configure Build Path

选择添加jar包,把spark相关的jar包全部导入,把安装包spark-2.4.5-bin-hadoop2.6.tgz解压后的./jars/中jar包全部导入

之后点击选择project,创建scala类,测试代码:

object SimpleApp {  
  
   def main(args: Array[String]) : Unit={  
    println("Hello Scala!!!")  
  } 

}

得到结果:

测试hdfs代码:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object HDFSExample {
  
  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir", "/usr/local/hadoop/lib/native");  //设置对应的hadoop library
    val path = "hdfs://localhost:9000/user/file/local.txt"  //将此HDFS上文件的路径换成自己的相应的路径
    val conf = new SparkConf().setAppName("HDFS Example")
    val sc = new SparkContext(conf)
    val data = sc.textFile(path, 2).cache()
    val numAs = data.filter(line => line.contains("o")).count();  //统计包含字符'o'的单词
    println("Lines with o: %s".format(numAs))
  }
  
}

文件中只有一行hello world......

在运行之前,需要右击代码编辑框 --> Run as --> Run Configurations --> Arguments配置如下内容:

打开hdfs:

然后打开spark:

然后,run就行了,得到结果:

应该是大功告成了!

 

参考博客:(1条消息) Win下使用Eclipse开发scala程序配置(基于Hadoop2.7.3集群)_小太阳~-CSDN博客

Copyright © 2002-2019 某某自媒体运营 版权所有