首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
hadoop
相关资讯
热门
最新
后端
01-01 08:00
后端
Hadoop中namenode和secondarynamenode工作机制讲解
Hadoop中namenode和secondarynamenode工作机制讲解,今天小编就为大家分享一篇关于Hadoop中namenode和secondarynamenode工作机制讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧1)流程2)FSImage和Editsnodenode是HDFS的大脑,它维护着整个文件系统的目录树,以及目录树里所有的文件
128
百科问答
01-01 08:00
百科问答
hadoop搭建步骤(spark和hadoop的区别)
hadoop搭建步骤(spark和hadoop的区别)1.虚拟机环境准备1) 克隆虚拟机2) 修改克隆虚拟机的静态ip3) 修改主机名4) 关闭防火墙5) 创建atguigu用户6) 配置atguigu用户具有root权限以上6条内容详见《尚硅谷大数据技术之Linux》文档。 7)在/opt目录下创建文件夹(1)在/opt目录下创建module、software文件夹[atguigu@hadoop101 opt]$ sudo mkdir modul
128
代码人生
01-01 08:00
代码人生
Hadoop - macOS 上编译 Hadoop 3.2.1
Hadoop - macOS 上编译 Hadoop 3.2.1 目录 1 - 为什么要自己编译 Hadoop 一般个人安装使用的都是 Apache 的 Hadoop(还有 CDH Hadoop等等)。 从 Apache 官网下载的安装包是在一些特定的机器上编译而来的,并不能兼容所有的环境,尤其是本地库(用来压缩,支持C程序等等),不同平台有不同的限制。 2 - 准备编译环境 1)本机系统:macOS Big Sur
127
后端
01-01 08:00
后端
Hadoop-3.1.3(五)spring boot 集成HDFS操作
配置环境 我使用的不是直接在Hadoop官网下载的和安装的hadoop对应hadop版本的解压包,我是用 winutils-master 的,包整个大小只有6M左右,里面提供了对hadoop 在wi...
122
代码人生
01-01 08:00
代码人生
hadoop集群部署(Ubuntu系统)
hadoop集群部署(Ubuntu系统) 创建hadoop用户 首先安装Ubuntu操作系统 装 Ubuntu 的时候如果不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。(因为后续实验需要频繁用到用户名) 首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 sudo useradd -m hadoop -s /bin/bash 接着使
119
代码人生
01-01 08:00
代码人生
hadoop web console配置基于用户名访问
hadoop web console配置基于用户名访问 1、配置core-site.xml文件 添加如下配置 <property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.Authentic
117
后端
01-01 08:00
后端
Hadoop MapReduce 保姆级吐血宝典,学习与工作必读此文!
Hadoop MapReduce 保姆级吐血宝典,学习与工作必读此文!,Hadoop涉及的知识点如下图所示,本文将逐一讲解:本文档参考了关于Hadoop的官网及其他众多资料整理而成,为了整洁的排版及舒适的阅读,对于模糊不清晰的图片及黑白图片进行重新绘制成了高清彩图。目前企业应用较多的是Hadoop2.x,所以本文是以Hadoop2.x为主,对于Hadoop3.x新增的内容会进行说明!二、MapRe
114
后端
01-01 08:00
后端
hadoop基于Linux7的安装配置图文详解
hadoop基于Linux7的安装配置图文详解,这篇文章主要介绍了hadoop基于Linux7的安装配置,本文通过图文并茂的形式给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下如上图准备好该准备的食材(ps:其中的hadoop-3.1.2-src更改为hadoop-3.1.2src为源文件的意思?反正就是换了大家注意一下后面截图有错的地方有空我再改吧肝疼)安装好centos7桌面
112
代码人生
01-01 08:00
代码人生
Hadoop基础(三十五):Zookeeper API 应用 客户端模式
Hadoop基础(三十五):Zookeeper API 应用 客户端模式 1 Vscode 环境搭建 1.1.创建一个 Maven 工程 参照 1.2.添加 pom 文件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>j
107
后端
01-01 08:00
后端
hadoop格式化HDFS出现错误解决办法
hadoop格式化HDFS出现错误解决办法,这篇文章主要介绍了hadoop格式化HDFS出现错误解决办法的相关资料,hadoop格式化HDFS报错java.net.UnknownHostException,这里提供解决办法,需要的朋友可以参考下hadoop格式化HDFS出现错误解决办法报错信息:1host:java.net.UnknownHostException:centos-wang:cent
101
«
1
2
3
4
5
6
7
8
»