通过编写WordCount来探索RDD编程,还是没能完全改成函数式编程,所以这里的代码主要使用了Java API,即使是函数式编程也是在Java1.8下的。没有在scala下。稍微有些不习惯scala下var和val自动定义变量类型。
Spark启动历史日志以及Web UI
在使用Spark的过程中,我们有时候会关注job的历史日志,但在spark的默认设置下,历史日志是关闭的。本篇记录如何启动spark的历史日志。
环境:
- 单机伪分布
- MacOS系统
- Hadoop-2.9.2
- Spark-2.4.3
Java网络编程基础
两台计算机连接通信两台计算机进行连接,总有一台服务器,一台客户端。服务器和客户端之间的通信通过端口进行。例如:ip地址是 192.168.1.100的服务器通过端口 8080与ip地址是192.168.1.189的客户端 的1087端口通信
获取本机ip地址
12345678910111213
...