Shao Guoliang的博客

未来不迎,当时不杂,过往不恋


  • Home

  • About

  • Tags

  • Categories

  • Archives

  • Sitemap

  • Search

Jekyll 模板撰写博客 相关设置

Posted on 2019-07-01 | In 随笔 |

博主是javascript盲,想要使用jekyll来进行文档管理和分享。这篇是记录在使用jekyll 建立Github博客的时候出现的问题。(后来博主弃用jekyll改用了hexo)

  1. 正常markdown编译下表格在kramdown编译中的显示问题
  2. 对页面进行布局之后,markdown插入的图片超过了页面布局
  3. markdown在于jekyll一起使用时支持content block横向滚动
Read more »

动态规划 Dynamic Program算法

Posted on 2019-06-28 | In LeetCode |

动态规划英文 Dynamic Programming,是求解决策过程最优化的数学方法,后来沿用到了编程领域。

动态规划的大致思路是把一个复杂的问题转化成一个分阶段逐步递推的过程,从简单的初始状态一步一步递推,最终得到复杂问题的最优解。

动态规划解决问题的过程分为两步:

  • 寻找状态转移方程
  • 利用状态转移方程式自底向上求解问题
Read more »

Hadoop IO接口

Posted on 2019-06-28 | In 技术 |

Hadoop IO接口相关操作包括:文件压缩,序列化

Read more »

LeetCode 两排序数组中点

Posted on 2019-06-27 | In LeetCode |

记录在LeetCode上遇到的反常规思路的题。

Read more »

使用maven编译MapReduce程序-统计每年最小温度 MinTemp

Posted on 2019-06-27 | In 技术 |

MapReduce程序

参考《Hadoop权威指南》,依旧是MapReduce基本框架。
在NCDC记录中每一行是一条数据记录,每一行不同的偏移量代表不同的内容。

Read more »

Maven 初步

Posted on 2019-06-26 | In 技术 |

Maven 进行Java项目构建

Read more »

执行第一个WordCount MapReduce 例程

Posted on 2019-06-25 | In 技术 |

基本要求

  1. 完成Hadoop配置,参考https://floodshao.github.io/posts/hadoop_zookeeper_hbase_setup
  2. MapReduce基本了解。
    Read more »

MyEclipse 安装

Posted on 2019-06-24 | In 技术 |

本安装仅供学习交流使用,如继续使用请支持正版购买。

安装系统: Mac

默认已经安装了Java jdk1.8,并设置好了环境变量。如果没有设置好,请参考mac jdk1.8安装
安装文件下载:
链接: https://pan.baidu.com/s/1dKuEMdzjwPitjxdzubTxZA
密码: 334l MyEclipse2017CI9-Mac

Read more »

Hadoop + ZooKeeper + HBase 分布式集群搭建

Posted on 2019-06-23 | In 技术 |

Hadoop + ZooKeeper + HBase 分布式集群搭建

Read more »

Hadoop ZooKeeper初步

Posted on 2019-06-21 | In 技术 |

Hadoop zookeeper

zookeeper是Hadoop的分布式协调服务,可以用来构建一般的分布式应用。

写分布式应用的主要困难在于会出现”部分失败“。当一条消息在网络中的两个节点之间传送时,如果出现网络错误,发送者无法知道接收者是否已经收到这条消息。接收者可能在网络出错之前已经收到了这条消息,也有可能没收到,或者接收者进程已经死掉。发送者能够获得真实情况的唯一途径就是重新连接接收者,并发送询问。这种情况就是部分失败。

部分失败是分布式系统固有的特征。zookeeper提供一组工具,使你的构建分布式应用时能够对部分失败进行正确处理。

Read more »
<i class="fa fa-angle-left"></i>1…8910<i class="fa fa-angle-right"></i>
Shao Guoliang

Shao Guoliang

99 posts
10 categories
55 tags
GitHub E-Mail
© 2020 Shao Guoliang
Powered by Hexo
|
Theme — NexT.Pisces v6.0.0