最新文章列表
-
Hadoop Hive 集群 Operation category READ is not supported in state standby 故障解决
测试反馈 Hive 环境异常,登录服务器执行 hive 命令时报错: 详情如下: Hive 所在的测试集群环境可以参考 Hadoop 生产环境规格的配置,这是一个 NameNode HA 双节点加 3 个 DataNode 的 Hadoop 集群。 初步判断是由于 HA 节点中处于 standby 状态造成的异常,首先执行 hdfs haadmin -getServiceState 节点名称 来确 -
发布本地项目和源码到 maven 私服中
有时候我们会使用第三方包到我们的项目中,但是想看源码的时候,需要下载源码查看,十分麻烦。 不如把源码上传到maven私服中,这样查看源码的时候就可以直接从mvaen nexus下载直接查看了。 方法如下: 1、在setting.xml文件中增加用户名和密码配置 特别注意这里的ID。 2、在项目的pom.xml中增加以下内容 3.执行Maven build的deploy命令 正常情况下,如果是发布新 -
Maven 最佳实践:Maven 配置使用第三方仓库的几种方法
什么是 Maven 仓库 在不用 Maven 的时候,比如说以前我们用 Ant 构建项目,在项目目录下,往往会看到一个名为 /lib 的子目录,那里存放着各类第三方依赖 jar 文件,如 log4j.jar,junit.jar 等等。每建立一个项目,你都需要建立这样的一个 /lib 目录,然后复制一对 jar 文件,这是很明显的重复。重复永远是噩梦的起点,多个项目不共用相同的 jar 文件,不仅会 -
collabNet Subversion Edge 按用户和分组分别设置权限
按用户设置权限 按组设置权限 注意 对单个用户设置权限,不需要加 @ 符号。对一组用户设置权限,需要在组名前加 @ 符号。(@ 前的组名必须存在,否则,会出错误) 当分别设置某一代码库下,不同文件夹的不同权限时,在设置子文件夹权限时,用户必须拥有该文件夹的父文件夹的权限,否则,用户仍然没有子文件夹的相应权限。 -
【MySQL经典案例分析】 Waiting for table metadata lock
本文由云+社区发表 一、 问题是这样来的 2018 年某个周末,接到连续数据库的告警,告警信息如下: 二、 苦逼的探索过程 1、总体的思路 看到 too many connection 的报错信息,基本上可以把问题定位在: (1)机器负载飙升,导致 SQL 执行效率下降,导致连接推积 (2)业务访问量突增(或者有 SQL 注入现象),导致连接数打满 (3)出现“死锁”或者锁竞争严重,导致大量 SQ -
配置 MariaDB 主从同步
MariaDB 主从同步 MariaDB/MySQL 内建的复制功能是构建大型,高性能应用程序的基础。将 MySQL 的数据分布到多个系统上去,这种分布的机制,是通过将 MySQL 的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环。这 -
使用 Merge 存储引擎实现 MySQL 或 MariaDB 分表
分表就是把 N 条记录的表,分成若干个分表,各个分表记录的总和仍为 N。分表的方法有很多,用 merge 来分表是最简单的一种方式。 Merge 表有点类似于视图。使用 Merge 存储引擎实现 MySQL 分表,这种方法比较适合那些没有事先考虑分表,随着数据的增多,已经出现了数据查询慢的情况。 这个时候如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码。所以使用 Merge 存储引擎实现 -
在 Vue 中使用全局样式
有时候基于 Vue 的单文件组件开发项目时,不得不使用全局样式,这时有一些需要注意的地方。 当遇到需要使用全局样式时,下列几种情况样式在项目各处均有使用;样式只在当前组件内的 DOM 上使用;样式需要应用到当前组件 DOM 的外部下面详细记录一下需要注意的问题:样式在项目各处均有使用如果样式需要在项目各处均有使用,例如:reset.css,tiny-trim.css 等等。 这时推荐在项目入口文件 -
NetCat (nc) 使用指南
Netcat是什么 nc(netcat)被称为网络工具中的瑞士军刀,体积小巧,但功能强大。 nc 主要功能:nc 可以在两台设备上面相互交互,即侦听模式/传输模式 Telnet 功能 获取 banner 信息 传输文本信息 传输文件/目录 加密传输文件,默认不加密 远程控制 加密所有流量 流媒体服务器 远程克隆硬盘 具体参数介绍 在此之前,先看看参数说明。 -c shell commands sh -
Flink(二)CentOS7.5 搭建 Flink1.6.1 分布式集群
一. Flink 的下载 安装包下载地址:http://flink.apache.org/downloads.html,选择对应 Hadoop 的 Flink 版本下载 Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。 二. Local 模式 对于 Local 模式来说,JobManager 和 TaskManager 会公用一个 -
基于 vue-cli3 SSR 程序实现热更新功能
前沿 通过上一篇文章 通过vue-cli3构建一个SSR应用程序 我们知道了什么是 SSR,以及如何通过 vue-cli3 构建一个 SSR 应用程序。但是最后遗留了一些问题没有处理,就是没有添加开发时的热更新功能,难道要每次更新代码都要重新编译打包吗?显然不是很合理。那接下来我们将为该SSR程序添加热更新的功能。 1、解决思路 我们知道SSR程序每次打包编译完成后,都会生成这两个文件 vue-s -
Vue SSR 入门级指南
前言 最近接手一个老项目,典型的 Vue 组件化前端渲染,后续业务优化可能会朝 SSR 方向走,因此,就先做些技术储备。如果对 Vue SSR 完全不了解,请先阅读 官方文档。 思路 Vue 提供了一个 官方 Demo,该 Demo 优点是功能大而全,缺点是 对新手不友好,容易让人看蒙。因此,今天我们来写一个更加容易上手的 Demo。总共分三步走,循序渐进。 写一个简单的前端渲染 Demo(不包含 -
Eclipse 高亮显示选中的相同变量
写代码的时候选中一个变量或者类型,然后查看同一个文件中其它地方的引用或者定义是常用的,而且很重要,这也是使用集成开发工具带来的好处之一。 在 eclipse 中使用快捷键或其他原因,不小心按错了,使得变量的高亮显示没了,一开始没找到。 通用解决方法 菜单选择:windows-> preferences->java->Editor->Mark Occurences 选择最上的复选框,下面的就有很多设 -
通过vue-cli3构建一个SSR应用程序
1、前沿 1.1、什么是SSR SSR(服务端渲染)顾名思义就是将页面在服务端渲染完成后在客户端直接展示。 1.2、客户端渲染与服务端渲染的区别 传统的SPA模式 即客户端渲染的模式 Vue.js构建的应用程序,默认情况下是有一个html模板页,然后通过webpack打包生成一堆js、css等等资源文件。然后塞到index.html中 用户输入url访问页面 -> 先得到一个html模板页 -> -
Spark2.X干货(一) 之前世今生
Spark2.X干货(一) 之前世今生 人若能转世,世间若真有轮回,那么,我的爱,我们前生曾经是什么? 席慕容 《前缘》 概述 Spark是什么? Spark,是一种通用的大数据计算框架,正如传统大数据技术 Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架:比如Spa -
HiveServer2 添加自定义用户名密码验证
配置 在 hive-site.xml 中加 设置 server2 验证方式是 CUSTOM;并指定自定义验证类是 org.apache.hadoop.hive.contrib.auth.XXXXPasswdAuthenticator。 完成自定义验证类 org.apache.hadoop.hive.contrib.auth.XXXXPasswdAuthenticator,继承 org.apache -
springcloud(八):配置中心服务化和高可用
在前两篇的介绍中,客户端都是直接调用配置中心的server端来获取配置文件信息。这样就存在了一个问题,客户端和服务端的耦合性太高,如果server端要做集群,客户端只能通过原始的方式来路由,server端改变IP地址的时候,客户端也需要修改配置,不符合springcloud服务治理的理念。springcloud提供了这样的解决方案,我们只需要将server端当做一个服务注册到eureka中,cli -
springcloud(七):配置中心svn示例和refresh
上一篇 springcloud(六):配置中心git示例 留了一个小问题,当重新修改配置文件提交后,客户端获取的仍然是修改前的信息,这个问题我们先放下,待会再讲。国内很多公司都使用的 svn 来做代码的版本控制,我们先介绍以下如何使用 svn+Spring Cloud Config 来做配置中心。 svn 版本 同样先示例 server 端的代码,基本步骤一样。 1、添加依赖 需要多引入 svnk -
mysql max_allowed_packet 参数配置
MySQL 根据配置文件会限制 Server 接受的数据包大小。有时候大的插入和更新会受 max_allowed_packet 参数限制,导致大数据写入或者更新失败。 配置 查看目前配置: max_allowed_packet 的单位为字节: 修改方法1-配置文件修改 可以编辑 my.cnf,在 [mysqld] 段或者 mysql 的 server 配置段进行修改。 修改 my.cnf,配置要重 -
ES6 关于 Promise 的用法
Node的产生,大大推动了 Javascript 这门语言在服务端的发展,使得前端人员可以以很低的门槛转向后端开发。 当然,这并不代表迸发成了全栈。全栈的技能很集中,绝不仅仅是前端会写一些 HTML 和一些交互,后台熟悉数据库的增删查改。 想必接触过 Node 的人都知道,Node 是以 异步(Async)回调 著称的,其异步性提高了程序的执行效率,但同时也减少了程序的可读性。如果我们有几个异步操