exp_MapReduce windows添加Hadoop环境变量 下载群中软件包:hadoop-3.1.0 到 本地某个目录中—我是直接放在了C盘下 在环境变量–系统变量中添加 变量名:HADOOP_HOME 变量值:C:\hadoop-3.1.0 (注意替换为实际安装目录,上述为本人路径) 在Path中添加 %HADOOP_HOME%\bin 修改后最好重启电脑进行下一步操作 MapReduce搭建创建Mav 2022-12-11 大数据导论实验 #大数据导论实验 #CentOS 7
huawei_MapReduce Output 3.3.2 使用组件管理这一步出现问题了,华为云手册已经过时了 组件管理标签里并没有MapReduce,而是要前往Manager登录之后才能看到 资源清理释放释放 MapReduce 服务 释放对象存储服务 OBS 释放弹性公网 IP Bigdata购买桶 购买ECS云服务器 中间的所有配置都是按照实验手册做的,这里就省略了 spark 2022-12-05 大数据导论实验 #大数据导论实验 #CentOS 7
HBase HBase启动hdfs1start-all.sh # 启动hdfs 启动hbase12start-hbase.sh # 启动hbasehbase shell # 启动hbase shell jps Master: NameNode查看HBase 2022-12-05 大数据导论实验 #大数据导论实验 #CentOS 7
Redis和MongoDB 姓名:张家亮 学号:19020031106 班级:2019级计算机科学与技术2班 授课老师:刘洁、刘艳艳 实验名称:Redis和MongoDB的应用 完成日期:2022年12月5日 Redis下载安装123456789101112131415161718192021#下载网址,网速不好也可以直接下载,然后winscp上传到服务器 建议到/opt/module目录下#下面命令不好用 2022-12-05 大数据导论实验 #大数据导论实验 #CentOS 7
大数据导论实验二——熟悉常用的Linux操作和Hadoop操作 常用的Linux命令cd命令:切换目录 切换到目录 /usr/local 12[root@namenode ~]# cd /usr/local[root@namenode local]# 去到目前的上层目录 12[root@namenode local]# cd ..[root@namenode usr]# 回到自己的主文件夹 12[root@namenode usr]# cd ~[ 2022-10-10 大数据导论实验 #大数据导论实验 #CentOS 7
大数据导论实验一——搭建Hadoop集群 安装Centos7很容易,不解释,建议最小安装 创建Hadoop用户12su #以root用户登录useradd -m hadoop -s /bin/bash #创建用户hadoop 修改hadoop用户的密码: 1passwd hadoop 为hadoop用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题,执行: 1visudo 找到下图处并修改为: 安装ssh和open 2022-09-25 大数据导论实验 #大数据导论实验 #CentOS 7
大文件编辑神器————PilotEdit 前言最近在做NLP相关的实验,有几个文本文件需要预处理一下,但是这几个txt文件大小上百M到一个G不止,根本打不开啊!于是在经过一番搜寻之后找到了一款特别有用的大文件编辑器——[PilotEdit](PilotEdit - Edit and Compare Large Files) 可以看到提供了三个选择,这里选择Lite版本即可,支持10GB的文件大小,够用了。 打开上百MB的txt文件只用了 2022-05-25 实用教程 #PilotEdit
2022年美赛记录 小声2022年的MCM/ICM比赛成绩出了,这是我第一次参加美赛,也是我第二次参加数学建模比赛。2021年国赛我获得了山东赛区的三等奖,比较垃圾,也是我第一次参加数学建模比赛,这次美赛我获得了H奖,也比较一般吧,主要这次的C题很戳我癖好,队友也喜欢,就选了C题。下面祭出获奖证书: 下面给出一些参赛的经验吧,我自己总结的,有问题希望指正······ 预备知识 高等数学 Matlab基本知识 Exc 2022-05-07 数学建模 #MCM/ICM #美赛
CentOS Stream 8配置Nginx301重定向 前言备案的时候我提交的域名是 http://gandz.top ,所以想将这个域名重定向到这个地方 http://www.gandz.top ,也就意味着每次访问 http://gandz.top 都会跳到 http://www.gandz.top ,方便网站数据不会被搜索引擎重复记录两次。查到Nginx可以设置301重定向跳转。 具体操作找到Nginx.conf文件并修改: 1vim /etc/ 2022-03-01 Linux #Linux #Nginx #CentOS Stream 8
将CentOS 8无缝更新到CentOS Stream 8 前言最近上我的云服务器搞点东西,结果发现yum没法用了,一直提示 1mirrorlist: No URLs in mirrorlist 不查不知道,一查吓一跳,原来官方已经在2021/12/31停止了对CentOS 8的支持,那我就试着更新yum源试试,这里使用的是阿里的yum镜像源 将源文件备份 1cd /etc/yum.repos.d/ && mkdir backup & 2022-02-23 Linux #Linux #CentOS Stream 8