Shao Guoliang的博客

未来不迎,当时不杂,过往不恋


  • Home

  • About

  • Tags

  • Categories

  • Archives

  • Sitemap

  • Search

Spark WordCount 探索RDD编程

Posted on 2019-08-06 | In 技术 |

通过编写WordCount来探索RDD编程,还是没能完全改成函数式编程,所以这里的代码主要使用了Java API,即使是函数式编程也是在Java1.8下的。没有在scala下。稍微有些不习惯scala下var和val自动定义变量类型。

Read more »

Spark启动历史日志以及Web UI

Posted on 2019-08-05 | In 技术 |

在使用Spark的过程中,我们有时候会关注job的历史日志,但在spark的默认设置下,历史日志是关闭的。本篇记录如何启动spark的历史日志。

环境:

  • 单机伪分布
  • MacOS系统
  • Hadoop-2.9.2
  • Spark-2.4.3
    Read more »

Java利用Log4J输出日志文件

Posted on 2019-08-04 | In 技术 |

学习Java Log4J日志文件

Read more »

Java反射机制

Posted on 2019-08-03 | In 技术 |

学习Java反射机制

Read more »

Java网络编程基础

Posted on 2019-08-02 | In 技术 |
两台计算机连接通信两台计算机进行连接,总有一台服务器,一台客户端。服务器和客户端之间的通信通过端口进行。例如:ip地址是 192.168.1.100的服务器通过端口 8080与ip地址是192.168.1.189的客户端 的1087端口通信 获取本机ip地址 12345678910111213 ...
Read more »

Scala语言学习汇总

Posted on 2019-07-31 | In 技术 |

参考http://dblab.xmu.edu.cn/blog/spark/ 林子雨老师的Spark入门教程中Scala语言的部分。

Read more »

Spark SQL, RDD 与 DataFrame

Posted on 2019-07-30 | In 技术 |

参考https://blog.csdn.net/lovehuangjiaju/article/details/48661847

Read more »

ROS 学习第三篇

Posted on 2019-07-29 | In 技术 |

ROS 学习笔记第三篇。参考https://rsl.ethz.ch/education-students/lectures/ros.html ROS教程

Read more »

C++ Priority Queue的使用

Posted on 2019-07-25 | In 技术 |

刷LeetCode中用到的Priority Queue使用

Read more »

ROS 学习第二篇

Posted on 2019-07-25 | In 技术 |

ROS 学习笔记第二篇。参考https://rsl.ethz.ch/education-students/lectures/ros.html ROS教程

Read more »
<i class="fa fa-angle-left"></i>1…567…10<i class="fa fa-angle-right"></i>
Shao Guoliang

Shao Guoliang

99 posts
10 categories
55 tags
GitHub E-Mail
© 2020 Shao Guoliang
Powered by Hexo
|
Theme — NexT.Pisces v6.0.0