Я видел, как многие люди сталкиваются с проблемой установки хаопа. Я просмотрел все связанные с ним вопросы, связанные с stackoverflow, но не смог исправить эту проблему.
Проблема в:
If you are reading this blog, I assume that you already have Hadoop (v 2.4.1) installed on your OS X machine and that you are bit annoyed by the following error message WARN util.NativeCodeLoader. Sep 11, 2016 It is fairly easy to use the native hadoop library: Review the components. Review the supported platforms. Either download a hadoop release, which will include a pre-built version of the native hadoop library, or build your own version of the native hadoop library. Whether you download or build, the name for the library is the same: libhadoop.so.
- NativeCodeLoader: Unable to load native-hadoop library for your platform. NativeCodeLoader: Unable to load native-hadoop library for your platform.
- Hadoop 'Unable to load native-hadoop library for your platform' warning hadoop, hadoop2, java, java.library.path, linux / By Olshansk I'm currently configuring hadoop on a server running CentOs.
Я использую ubuntu 16.04, и я загрузил стабильную версию 2.7.2 от Apple Apache:
http://apache.spinellicreations.com/hadoop/common/Я уже установил java и ssh.
который java
java -/usr/bin/java
который javac
javac is/usr/bin/javac
который ssh
ssh -/usr/bin/ssh
echo $ JAVA_HOME
/USR/Library/JVM/Java-9-OpenJDK -a md64
Заметка:
переменные среды hadoop в ~/.bashrc
экспорт JAVA_HOME =/usr/lib/jvm/java-9-openjdk -a md64 export HADOOP_INSTALL =/home/bhishan/hadoop-2.7.2 export PATH = $ PATH: $ HADOOP_INSTALL/bin export PATH = $ PATH: $ HADOOP_INSTALL/SBIN экспорт HADOOP_MAPRED_HOME = $ HADOOP_INSTALL экспорт HADOOP_COMMON_HOME = $ HADOOP_INSTALL экспорт HADOOP_HDFS_HOME = $ HADOOP_INSTALL экспорт YARN_HOME = $ HADOOP_INSTALL экспорт HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_INSTALL/Lib/родной экспорт HADOOP_OPTS = '-Djava.library.path = $ HADOOP_INSTALL/Библиотека'
export PATH = $ PATH: $ HADOOP_HOME/binМодификация файла:
/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
В конце добавлена одна строка:
Ссылка на hadoop-env.sh в пастебине находится здесь:
http://pastebin.com/a3iPjB04
Затем я создал несколько пустых каталогов:
/home/bhishan/hadoop-2.7.2/tmp/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/hdfs/home/bhishan/hadoop-2.7.2etc/hadoop/hadoop_store/hdfs/datanode/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/hdfs/namenode
Изменения в файле:
/home/bhishan/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
Ссылка в пастебине такова:
http://pastebin.com/cha7ZBr8
- Изменения в файле:
/home/bhishan/hadoop-2.7.2/etc/hadoop/core-site.xml
является следующее:
hadoop.tmp.dir
/home/bhishan/hadoop-2.7.2/tmp База для других временных каталогов.
fs.default.name
hdfs://localhost: 54310 Имя файловой системы по умолчанию. URI, схема и полномочия которого определяют реализацию FileSystem. Схема uri определяет свойство config (fs.SCHEME.impl), называя класс реализации FileSystem. Власть uri используется для определения хоста, порта и т.д. Для файловой системы.
Ссылка на pastebin для core-site.xml такова: http://pastebin.com/D184DuGB
- Модификация файла приведена ниже:
/home/bhishan/hadoop-2.7.2/etc/hadoop/mapred-site.xml
mapred.job.tracker
localhost: 54311 Хост и порт, на которых работает Tracker задания MapReduce. Если 'local', то задания запускаются в процессе как одна карта и уменьшают задачу.
Ссылка на пастебин:
http://pastebin.com/nVxs8nMm
когда я набираю имя хоста в терминале, он говорит, что BP
cat/etc/hosts
127.0.0.1 localhost BP
127.0.1.1 localhost:: 1 ip6-localhost ip6-loopback
fe00 :: 0 ip6-localnet
ff00 :: 0 ip6-mcastprefix
ff02 :: 1 ip6 -a llnodes
ff02 :: 2 ip6 -a llroutersЯ также отключил ipv6
cat/etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1описания описаний
версия hadoop
Hadoop 2.7.2который имеет
hasoop -/home/bhishan/hadoop-2.7.2/bin/hadoopкоторые hdfs
hdfs -/home/bhishan/hadoop-2.7.2/bin/hdfsПерезапуск hadoop
cd/home/bhishan/hadoop-2.7.2/sbin
stop-dfs.sh
stop-yarn.shcd/home/bhishan/hadoop-2.7.2/tmp && rm -Rf *
хаоп namenode -formatstart-dfs.sh
start-yarn.shТеперь возникает ошибка
hdfs dfs -ls
16.09.26 23:53:14 WARN util.NativeCodeLoader: не удалось загрузить библиотеку native-hadoop для вашей платформы... используя встроенные классы Java, где это применимо ls: .: Нет такого файла или каталога
проверка jps
JPS
6688 sun.tools.jps.Jps
3909 SecondaryNameNode
3525 NameNode
4327 NodeManager
4184 ResourceManager
3662 DataNodechecknative
контрольно-пропускной пункт -a
16/09/27 09:28:18 WARN util.NativeCodeLoader: не удалось загрузить библиотеку native-hadoop для вашей платформы... используя встроенные классы Java, где это возможно. Проверка исходной библиотеки:
hadoop: false
zlib: false
snappy: false
lz4: false
bzip2: false
openssl: false
16/09/27 09:28:18 INFO util.ExitUtil: Выход со статусом 1Затем я установил недостающие библиотеки:
a), который hasoop дает Hadoop 2.7.2
b) sudo apt-get install --reinstall zlibc zlib1g zlib1g-dev
Из синаптического менеджера я вижу следующие библиотеки:
zlib1g, zlib1g-dev, zlib1g: i386, zlibc
c) Устанавливается мгновенно и быстро.
d) В синаптическом менеджере я могу увидеть lz4 liblz4-1, liblz4-tool, python-lz4, python3-lz4
e) bzip2 уже установлен.
Hadoop Native Library
f) openssl уже установлен.
- Все checknative являются ложными, и я не могу запустить hdfs dfs -ls Я до сих пор не мог найти никаких ошибок. Любая помощь будет оценена.
Кроме того, я пытаюсь запустить hadoop в одном ноутбуке с четырьмя ядрами. Версия 2.7.2. Как версия 3.0. Если мне нужно переустановить хаоп из Scratch, возможно, мне стоит пойти с hadoop3. Предложения будут приветствоваться.
Hadoop Native Library Ubuntu
Ссылки по теме:
Результат команды hdfs dfs -ls
hdfs dfs ls не работает после настройки нескольких узлов
hadoop fs -ls не работает
Namenode не запускается
Нет Namenode или Datanode или SecondaryNameNode для остановки
Hadoop 2.6.1 Предупреждение: WARN util.NativeCodeLoader
Hadoop 2.2.0 Setup (псевдораспределенный режим): ERROR//Warn util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop
Команда 'hadoop fs -ls'.не работает
Hadoop Native Library Linux
А также,
hasoop fs -mkdir не удалось удалить соединение
Настройка кластера Hadoop - java.net.ConnectException: соединение отклонено
Hadoop (локальный и хост-адресат не соответствует) после установки улья
Помощь будет по-настоящему оценена!