1. Hadoop Native Library
2. Hadoop Native Library Ubuntu
3. Hadoop Native Library Linux

Я видел, как многие люди сталкиваются с проблемой установки хаопа. Я просмотрел все связанные с ним вопросы, связанные с stackoverflow, но не смог исправить эту проблему.

Проблема в:

If you are reading this blog, I assume that you already have Hadoop (v 2.4.1) installed on your OS X machine and that you are bit annoyed by the following error message WARN util.NativeCodeLoader. Sep 11, 2016 It is fairly easy to use the native hadoop library: Review the components. Review the supported platforms. Either download a hadoop release, which will include a pre-built version of the native hadoop library, or build your own version of the native hadoop library. Whether you download or build, the name for the library is the same: libhadoop.so.

1. NativeCodeLoader: Unable to load native-hadoop library for your platform. NativeCodeLoader: Unable to load native-hadoop library for your platform.
2. Hadoop 'Unable to load native-hadoop library for your platform' warning hadoop, hadoop2, java, java.library.path, linux / By Olshansk I'm currently configuring hadoop on a server running CentOs.

1. Я использую ubuntu 16.04, и я загрузил стабильную версию 2.7.2 от Apple Apache:
   http://apache.spinellicreations.com/hadoop/common/

2. Я уже установил java и ssh.

   который java
   java -/usr/bin/java
   который javac
   javac is/usr/bin/javac
   который ssh
   ssh -/usr/bin/ssh
   echo $ JAVA_HOME
   /USR/Library/JVM/Java-9-OpenJDK -a md64

Заметка:

3. переменные среды hadoop в ~/.bashrc

   экспорт JAVA_HOME =/usr/lib/jvm/java-9-openjdk -a md64 export HADOOP_INSTALL =/home/bhishan/hadoop-2.7.2 export PATH = $ PATH: $ HADOOP_INSTALL/bin export PATH = $ PATH: $ HADOOP_INSTALL/SBIN экспорт HADOOP_MAPRED_HOME = $ HADOOP_INSTALL экспорт HADOOP_COMMON_HOME = $ HADOOP_INSTALL экспорт HADOOP_HDFS_HOME = $ HADOOP_INSTALL экспорт YARN_HOME = $ HADOOP_INSTALL экспорт HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_INSTALL/Lib/родной экспорт HADOOP_OPTS = '-Djava.library.path = $ HADOOP_INSTALL/Библиотека'
   export PATH = $ PATH: $ HADOOP_HOME/bin

4. Модификация файла:
   /home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

В конце добавлена одна строка:

Ссылка на hadoop-env.sh в пастебине находится здесь:
http://pastebin.com/a3iPjB04

5. Затем я создал несколько пустых каталогов:

   /home/bhishan/hadoop-2.7.2/tmp/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/hdfs/home/bhishan/hadoop-2.7.2etc/hadoop/hadoop_store/hdfs/datanode/home/bhishan/hadoop-2.7.2/etc/hadoop/hadoop_store/hdfs/namenode

6. Изменения в файле: /home/bhishan/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

Ссылка в пастебине такова:
http://pastebin.com/cha7ZBr8

7. Изменения в файле: /home/bhishan/hadoop-2.7.2/etc/hadoop/core-site.xml

является следующее:

hadoop.tmp.dir
/home/bhishan/hadoop-2.7.2/tmp База для других временных каталогов.

fs.default.name
hdfs://localhost: 54310 Имя файловой системы по умолчанию. URI, схема и полномочия которого определяют реализацию FileSystem. Схема uri определяет свойство config (fs.SCHEME.impl), называя класс реализации FileSystem. Власть uri используется для определения хоста, порта и т.д. Для файловой системы.

Ссылка на pastebin для core-site.xml такова: http://pastebin.com/D184DuGB

8. Модификация файла приведена ниже: /home/bhishan/hadoop-2.7.2/etc/hadoop/mapred-site.xml

mapred.job.tracker
localhost: 54311 Хост и порт, на которых работает Tracker задания MapReduce. Если 'local', то задания запускаются в процессе как одна карта и уменьшают задачу.

Ссылка на пастебин:
http://pastebin.com/nVxs8nMm

9. когда я набираю имя хоста в терминале, он говорит, что BP

   cat/etc/hosts
   127.0.0.1 localhost BP
   127.0.1.1 localhost

   :: 1 ip6-localhost ip6-loopback
   fe00 :: 0 ip6-localnet
   ff00 :: 0 ip6-mcastprefix
   ff02 :: 1 ip6 -a llnodes
   ff02 :: 2 ip6 -a llrouters

10. Я также отключил ipv6

    cat/etc/sysctl.conf
    net.ipv6.conf.all.disable_ipv6 = 1
    net.ipv6.conf.default.disable_ipv6 = 1
    net.ipv6.conf.lo.disable_ipv6 = 1

11. описания описаний

    версия hadoop
    Hadoop 2.7.2

    который имеет
    hasoop -/home/bhishan/hadoop-2.7.2/bin/hadoop

    которые hdfs
    hdfs -/home/bhishan/hadoop-2.7.2/bin/hdfs

12. Перезапуск hadoop

    cd/home/bhishan/hadoop-2.7.2/sbin
    stop-dfs.sh
    stop-yarn.sh

    cd/home/bhishan/hadoop-2.7.2/tmp && rm -Rf *
    хаоп namenode -format

    start-dfs.sh
    start-yarn.sh

13. Теперь возникает ошибка

hdfs dfs -ls

16.09.26 23:53:14 WARN util.NativeCodeLoader: не удалось загрузить библиотеку native-hadoop для вашей платформы... используя встроенные классы Java, где это применимо ls: .: Нет такого файла или каталога

14. проверка jps

    JPS
    6688 sun.tools.jps.Jps
    3909 SecondaryNameNode
    3525 NameNode
    4327 NodeManager
    4184 ResourceManager
    3662 DataNode

15. checknative

    контрольно-пропускной пункт -a
    16/09/27 09:28:18 WARN util.NativeCodeLoader: не удалось загрузить библиотеку native-hadoop для вашей платформы... используя встроенные классы Java, где это возможно. Проверка исходной библиотеки:
    hadoop: false
    zlib: false
    snappy: false
    lz4: false
    bzip2: false
    openssl: false
    16/09/27 09:28:18 INFO util.ExitUtil: Выход со статусом 1

16. Затем я установил недостающие библиотеки:
    a), который hasoop дает Hadoop 2.7.2

b) sudo apt-get install --reinstall zlibc zlib1g zlib1g-dev
Из синаптического менеджера я вижу следующие библиотеки:
zlib1g, zlib1g-dev, zlib1g: i386, zlibc

c) Устанавливается мгновенно и быстро.

d) В синаптическом менеджере я могу увидеть lz4 liblz4-1, liblz4-tool, python-lz4, python3-lz4

e) bzip2 уже установлен.

Hadoop Native Library

f) openssl уже установлен.

17. Все checknative являются ложными, и я не могу запустить hdfs dfs -ls Я до сих пор не мог найти никаких ошибок. Любая помощь будет оценена.

Кроме того, я пытаюсь запустить hadoop в одном ноутбуке с четырьмя ядрами. Версия 2.7.2. Как версия 3.0. Если мне нужно переустановить хаоп из Scratch, возможно, мне стоит пойти с hadoop3. Предложения будут приветствоваться.

Hadoop Native Library Ubuntu

Ссылки по теме:
Результат команды hdfs dfs -ls
hdfs dfs ls не работает после настройки нескольких узлов
hadoop fs -ls не работает
Namenode не запускается
Нет Namenode или Datanode или SecondaryNameNode для остановки
Hadoop 2.6.1 Предупреждение: WARN util.NativeCodeLoader
Hadoop 2.2.0 Setup (псевдораспределенный режим): ERROR//Warn util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop
Команда 'hadoop fs -ls'.не работает

Hadoop Native Library Linux

А также,
hasoop fs -mkdir не удалось удалить соединение
Настройка кластера Hadoop - java.net.ConnectException: соединение отклонено
Hadoop (локальный и хост-адресат не соответствует) после установки улья

Помощь будет по-настоящему оценена!