Linux

centos7安装jupyter并配置多个Python版本切换

封尘网  - 发布于 2016-12-29

Python语法简洁清晰,具有丰富和强大的库,已经成为运维开发人员居家旅行必备的工具了;而jupyter工具又是一个非常友好的Web界面的Python IDE工具;至于详细的介绍请参考度娘吧! 其它...

让Hive跑在tez上

封尘网  - 发布于 2016-12-23

Tez是从MapReduce计算框架演化而来的通用DAG计算框架,可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎,它天生融入Hadoop 2.0中的资源管理平台YARN。 Tez有以下几个特色: (1) 丰富的数据...

hadoop-2.7.3源码编译:支持snappy压缩

封尘网  - 发布于 2016-12-20

hadoop2.7.3是一个小版本发布,基于hadoop2.7.2稳定版本;本次编译主要是支持snappy压缩功能; 下面是hadoop2.7.3主要功能和改进概述: Common 1.当使用HTTP 代理服务器的时候,认证改进。当通过...

NameNode宕机引的思考

封尘网  - 发布于 2016-12-17

Hadoop集群由6个节点。24核心、64G的小群集;上线已经运行了近200天了;一直还算稳定,但问题就在于前几天集群中断断续续的报了一个异常信息; Hadoop集群-Hd2 os process 警告 too more pro...

以Docker方式运行的Jenkins

封尘网  - 发布于 2016-12-16

在使用Docker之后发现真的方便很多了,以前创建个虚机测试环境,安装系统,克隆,快照,更重要的是多个虚机开启时机器内存吃得快。自从用了Docker后机器没那么卡了,腰也不疼了,...

让Nginx日志更个性化

封尘网  - 发布于 2016-12-10

日志对于日常工作排错,安全预警非常重要;所以日志分析有利于我们掌握系统的全面信息,本次仅记录关于Nginx的日志配置和切割方法,目前在公司环境中使用的; nginx有一个非常灵活...

Nginx+Tomcat+Redis实现session共享

封尘网  - 发布于 2016-12-05

最近都在使用Red Hat Enterprise Linux Server release 7.0 (Maipo) 系统作为测试环境, 在安装完系统后使用yum命令时都会遇到这样的提示: Loadedplugins:fastestmirror,product-id,subscription-manager Thissystemis...

Centos6.5下安装Python3.5并配置虚拟环境

封尘网  - 发布于 2016-11-28

CentOS 6.5 系统默认自带的Python是2.6.6版本,由于yum服务也是依赖于python的;所以不能直接覆盖;利用virtualenv很好的解决了这个多版本的问题; 1、CentOS6.5 安装Python 的依赖包 [如果安装系...

简单快捷给全站加把锁:Nginx添加SSl认证

封尘网  - 发布于 2016-11-24

简单快捷给全站加把锁:Nginx添加SSl认证 https 是 http over ssl(Secure Socket Layer),简单讲就是 http 的安全版本,在 http 的基础上通过传输加密和身份认证保证了传输过程中的安全性。你通常...

Tomcat静态资源导致Session失效

封尘网  - 发布于 2016-10-24

今天开发更新了项目代码,并更新到服务器上,项目发布后开发就没跟进了,由于测试环境通过了。但是在正式服务器上居然被测试发现了一个重大问题。就是用户登陆后,Session只在首...

Hive创建表时添加中文注释后乱码问题

封尘网  - 发布于 2016-10-10

hive的注释中文乱码的问题,在Hive创建表时添加COMMENT时的中文注释就会出现乱码,如下: 解压思路: 1、 查看存放 Hive 元数据信息的数据库表字符集;是否因为字符集问题 mysql showcreat...

基于Java+Tomcat的Docker镜像

封尘网  - 发布于 2016-09-07

基于Java+Tomcat的Docker镜像 Docker镜像好不好并不完全是大小的问题,我喜欢自己动手制作自己的镜像这样感觉比较安全;更加适合自己。 系统环境:Centos6.5 制作工具:febootstrap 1、搭建一...

Docker监听远程端口实现远程调用API

封尘网  - 发布于 2016-09-01

网上关于Docker如何修改配置实现HTTP API调用。但是由于Docker近来版本更新快,但是大致还是差不多配置方法: 系统:Centos7 Docker 1.12.0 的配置方法: 查找Docker包: [root@test~]#rpm-qa|grepdoc...

Centos6.5升级内核安装Docker

封尘网  - 发布于 2016-08-23

Docker最近太火,升级也快,在Centos6.5系统上直接yum安装后导致无法正常启动;于是升级内核到4.7.2-1.el6.elrepo.x86_64后再安装。 1、内核升级的Yum方法,编译的话时间要太久了;线上还是建...

Centos7 搭建Docker V2 支持SSL认证

封尘网  - 发布于 2016-08-11

系统环境: 版本:CentOS Linux release 7.2.1511 (Core) 64位 PIP:pip 8.1.2 Docker版本:1.11.2 Docker-compose 版本:1.7.0rc1 实验机器: 主机名 IP地址 用途 test.registry.com 192.168.18.54 Docker 仓库 docker 192.16...

Tomcat以普通户用运行在80端口

封尘网  - 发布于 2016-08-06

Tomcat以普通户用运行在80端口 默认情况下,Tomcat是以root权限运行的,这样权限太大了;对于开发人员必须要降权运行;建立一个普通用户供开发人员发布项目及重启服务等; 建立普通...

安装shipyard中文版管理Docker

封尘网  - 发布于 2016-08-02

系统环境: Server:192.168.18.54 Docker:1.11.2 添加Docker官方源: cat /etc/yum.repos.d/docker.repo EOF [dockerrepo] name=Docker Repository baseurl=https://yum.dockerproject.org/repo/main/centos/7/ enabled=1 gpgcheck=1 gpgkey=h...

搭建Docker registry私有仓库(容器方式)

封尘网  - 发布于 2016-07-26

目前网上搭建Docker Registry私有仓库的资料确实很多,但是大部门看着一步步走,最终也可能不成功。原因可能是系统,Docker的版本问题所致。 本次我使用的版本为:docker registry 2.2 doc...

sonarqube 整合Jenkins

封尘网  - 发布于 2016-07-23

sonarqube 整合Jenkins Jenkins已经在环境中使用了三个多月了。但是一直都没有做到代码质量的检查,网上找到了sonarqube 它是一个开源平台,用于管理源代码的质量。Sonar 不只是一个质量数...

gitlab 通过Forgot your password 修改密码

封尘网  - 发布于 2016-07-21

公司使用GitLab作为代码管理,由于上一位运维已经开溜了,刚成为接盘手的我,对于上面搭建的配置无从下手,更重要的是连管理员的帐号密码都不知道;添加新项目时怎么操作呢?...