Shao Guoliang的博客

未来不迎,当时不杂,过往不恋


  • Home

  • About

  • Tags

  • Categories

  • Archives

  • Sitemap

  • Search

Hadoop Yarn 初步

Posted on 2019-06-21 | In 技术 |

什么是YARN

YARN = Yet Another Resource Negotiator 是Hadoop集群资源管理系统。YARN在Hadoop2被引入,最初是为了改善MapReduce的实现,但具有足够的通用性,同样可以支持其他的分布式计算模式。

YARN提供请求和使用集群资源的API,但这些API很少直接用于用户代码。用户代码中的分布式计算框架提供的更高层API,这些API建立在YARN之上并向用户隐藏了资源管理细节。

Read more »

SSH 远程登录

Posted on 2019-06-21 | In 技术 |

ssh远程登录连接

Read more »

虚拟机网络的设置模式

Posted on 2019-06-21 | In 技术 |

虚拟机网络设置

以Virtual Box为例,VirtualBox有4种网络模式:NAT, Bridged Adapter, Internal, Host-only。

Read more »

NUSRI专利申请培训

Posted on 2019-06-11 | In 随笔 |

技术交底书(Invention Disclosure Preparation guide/note)

  • 专利保护的是技术方案,专利文件是定义发明创造的一个文件,并赋予专利发明人相关权利。
  • 专利是一个交换:
    1. 贡献给公众技术方案(通过说明书,和附图,摘要)。主张教会别人,让人能看懂。
    2. 主张专利保护权益(通过权利要求书)。
  • 专利要呈现:新颖性Novelty,创造性Inventiveness(非显而易见性),实用性
  • 关于技术方案的描述要包含:
    1. 具体实施方案详细说明(基本要求一个人按照技术交底书能够复现该技术方案,需要提供丰富的内容)
    2. 结构、功能、方法
    3. 附图(黑色线图)
  • 在专利申请之前,如果以任何形式为公众所知,都会影响新颖性:Publications。公开的东西就已经是公开的了,拿不回来。
Read more »

CentOS 7 安装图像化界面使得能够使用浏览器

Posted on 2019-06-06 | In 技术 |

CentOS 7 图形化界面安装

Read more »

Hadoop HDFS 初始与操作

Posted on 2019-06-06 | In 技术 |

什么是HDFS

什么是HDFS(Hadoop Distributed File System)?当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中多态计算机存储的文件系统成为分布式文件系统(distributed filesystem)。HDFS是Hadoop自带的分布式文件系统。

Read more »

Hadoop下载与安装(源码安装)

Posted on 2019-06-05 | In 技术 |

本安装教程基于:

  1. 海牛部落Hadoop系列教程(四):编译Hadoop源码 http://www.hainiubl.com/topics/82
  2. Hadoop权威指南中文版

安装环境:

  • 物理机 MacOS 10.13.6
  • 虚拟机 VirtualBox
  • 虚拟机系统 CentOS 7

在安装的过程中查询很多博客,会发现采用安装文件安装后期会有很多问题,所以采用了Hadoop源码安装,其安装需要通过Maven管理来实现。

Read more »

Welcome to My Github Blog

Posted on 2019-06-01 | In other |
这是一个Test页面博客中连接站内文章可以采用post_link这个工具 1{% post_link 文章文件名(不要后缀) 文章标题(可选) %}
Read more »

Hello World Test

Posted on 2019-01-01 | In other |
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in ...
Read more »
<i class="fa fa-angle-left"></i>1…910
Shao Guoliang

Shao Guoliang

99 posts
10 categories
55 tags
GitHub E-Mail
© 2020 Shao Guoliang
Powered by Hexo
|
Theme — NexT.Pisces v6.0.0