本月更新:17 篇 最新发布

Linux

centos7安装jupyter并配置多个Python版本切换

封尘网  - 发布于 16-12-29

Python语法简洁清晰,具有丰富和强大的库,已经成为运维开发人员居家旅行必备的工具了;而jupyter工具又是一个非常友好的Web界面的Python IDE工具;至于详细的介绍请参考度娘吧! 其它...

Linux

让Hive跑在tez上

封尘网  - 发布于 16-12-23

Tez是从MapReduce计算框架演化而来的通用DAG计算框架,可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎,它天生融入Hadoop 2.0中的资源管理平台YARN。 Tez有以下几个特色: (1) 丰富的数据...

数据库

Hive匿名用户导致的权限问题

封尘网  - 发布于 16-12-19

在上次的Hive集群中变动后,跑起任务时出了个异常,数据在Mysql抽取到Hive时正常,但在进行维度分析、数据统计时就报错了: Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securi...

Linux

NameNode宕机引的思考

封尘网  - 发布于 16-12-17

Hadoop集群由6个节点。24核心、64G的小群集;上线已经运行了近200天了;一直还算稳定,但问题就在于前几天集群中断断续续的报了一个异常信息; Hadoop集群-Hd2 os process 警告 too more pro...

数据库

Mysql利用Innodb的表压缩节省空间

封尘网  - 发布于 16-12-17

如今的数据库容量增长一天一个变化,随着不断变大的数据,很容易出现以下两个问题; 问题1:IO问题。DB由于数据量过大,内存缓冲池不能完全cache数据,IO瓶颈制约DB整体性能; 问题...

Linux

以Docker方式运行的Jenkins

封尘网  - 发布于 16-12-16

在使用Docker之后发现真的方便很多了,以前创建个虚机测试环境,安装系统,克隆,快照,更重要的是多个虚机开启时机器内存吃得快。自从用了Docker后机器没那么卡了,腰也不疼了,...

Linux

让Nginx日志更个性化

封尘网  - 发布于 16-12-10

日志对于日常工作排错,安全预警非常重要;所以日志分析有利于我们掌握系统的全面信息,本次仅记录关于Nginx的日志配置和切割方法,目前在公司环境中使用的; nginx有一个非常灵活...

Linux

Nginx+Tomcat+Redis实现session共享

封尘网  - 发布于 16-12-05

最近都在使用Red Hat Enterprise Linux Server release 7.0 (Maipo) 系统作为测试环境, 在安装完系统后使用yum命令时都会遇到这样的提示: Loadedplugins:fastestmirror,product-id,subscription-manager Thissystemis...

Linux

Centos6.5下安装Python3.5并配置虚拟环境

封尘网  - 发布于 16-11-28

CentOS 6.5 系统默认自带的Python是2.6.6版本,由于yum服务也是依赖于python的;所以不能直接覆盖;利用virtualenv很好的解决了这个多版本的问题; 1、CentOS6.5 安装Python 的依赖包 [如果安装系...