https://wiki.swarma.org/index.php?action=history&feed=atom&title=%E5%9C%A8linux%E4%B8%8B%E6%8E%A7%E5%88%B6hadoop 2026-11-03T02:16:34Z 本wiki的该页面的版本历史 MediaWiki 1.35.0 https://wiki.swarma.org/index.php?title=%E5%9C%A8linux%E4%B8%8B%E6%8E%A7%E5%88%B6hadoop&diff=34787&oldid=prev 2024-05-21T08:45:31Z

<p></p> <table class="diff diff-contentalign-left diff-editfont-monospace" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="zh-Hans-CN"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">←上一版本</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">2024年5月21日 (二) 08:45的版本</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l63" >第63行：</td> <td colspan="2" class="diff-lineno">第63行：</td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>rp-hadooop fs scp -r 对方机器地址 ./文件夹</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>rp-hadooop fs scp -r 对方机器地址 ./文件夹</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[[Category:<del class="diffchange diffchange-inline">旧词条迁移</del>]]</div></td><td class='diff-marker'>+</td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>[[Category:<ins class="diffchange diffchange-inline">待润色</ins>]]</div></td></tr> </table>

13944556914 https://wiki.swarma.org/index.php?title=%E5%9C%A8linux%E4%B8%8B%E6%8E%A7%E5%88%B6hadoop&diff=15136&oldid=prev 2020-10-14T13:25:02Z

<p>创建页面，内容为“==一般格式== 这里讲的是在公司内使用linux本地机器远程操控hadoop集群。将Hadoop安装到linux本地后（本笔记特别适用Red hat版本…”</p> <p><b>新页面</b></p><div>==一般格式==<br /> <br /> 这里讲的是在公司内使用linux本地机器远程操控hadoop集群。将Hadoop安装到linux本地后（本笔记特别适用Red hat版本），可将hadoop运行地址设定为缩写，例如rd-hadoop，命令一般采用rd-hadoop fs -xx 格式。-xx往往是linux命令加上“-”，例如查看当前文件夹下的文件列表为rd-hadoop fs -ls<br /> <br /> ==中断linux任务==<br /> <br /> ctrl+c<br /> <br /> 注意，如果hadoop命令正在集群上运行，需要使用kill命令才能终止集群命令。ctrl+c只能终止linux本地命令。<br /> <br /> <br /> ==从hadoop上将当前文件夹的某个文件数据下载到本地==<br /> <br /> rd-hadoop fs -get xxx ./xxx<br /> <br /> ==文件夹下批量下载==<br /> <br /> rd-hadoop fs -get ./* ./*<br /> <br /> ==执行shell时记录文件的执行日志==<br /> <br /> sh start.sh &gt; log.log <br /> <br /> ==在本地文件上测试hadoop==<br /> <br /> head -500 xxx | python map.py | python reduce.py<br /> <br /> 测试时，对map的结果进行排序再reduce，并且只查看reduce运行结果的一部分<br /> <br /> head -500 xxx | python map.py | sort| python reduce.py |less<br /> <br /> 排序的时候先按第一列排序，再按第二列排序...,列与列之间是tab分隔<br /> <br /> head -500 xxx| python map.py| sort -t&quot;先Ctrl+v然后Ctrtl+I&quot; +0 -1 +1 -2 +2 -3 +3 -4 <br /> <br /> 其中的+0 -1 代表第一个分隔符<br /> <br /> 如果要按数字排序而不是字符串排序则写n，例如+2 -3 变为+2n -3意思是第三列按数字排序<br /> <br /> ==在执行map时要读取一个本地数据，例如一个过滤白名单list.txt==<br /> <br /> 保证本文件夹中已经包含list.txt<br /> <br /> 在map.py或者reducer.py中引用这个文件进行过滤<br /> <br /> 在run.sh文件中调用这个文件<br /> <br /> ==在后台执行==<br /> <br /> 在后台执行可以保证即使本地linux机器断网hadoop集群上的命令也可以执行<br /> <br /> nohap bash start.sh &amp;&gt; log.log&amp;<br /> <br /> ==查看当前运行的hadoop进程==<br /> <br /> jobs<br /> <br /> ==以GB查看文件大小==<br /> <br /> rd-hadoop fs -dus -h xxx<br /> <br /> ==从另外一台linux机器上将数据下载到hadoop集群文件夹==<br /> <br /> rp-hadooop fs scp -r 对方机器地址 ./文件夹<br /> [[Category:旧词条迁移]]</div>

Thingamabob