Error unexpected exception exiting abnormally org apache zookeeper server zookeeperservermain

Support Questions

• Subscribe to RSS Feed
• Mark Question as New
• Mark Question as Read
• Float this Question for Current User
• Bookmark
• Subscribe
• Mute
• Printer Friendly Page

Created on ‎08-05-2015 07:39 AM — edited ‎09-16-2022 02:36 AM

• Mark as New
• Bookmark
• Subscribe
• Mute
• Subscribe to RSS Feed
• Permalink
• Print
• Report Inappropriate Content

I am trying to implement Kerberos security on cloudera CDH-5.3. In kerberos implementation wizard it generates principals for all the services.

The prinicpal generated are as follows —

But when i try to start all the services in the cluster it gives following error —

Failed to start namenode.
java.io.IOException: Login failure for hdfs/01hw310845.india.abc.com@INDIA.ABC.COM from keytab hdfs.keytab
at org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(UserGroupInformation.java:947)
at org.apache.hadoop.security.SecurityUtil.login(SecurityUtil.java:242)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:560)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:579)
at org.apache.hadoop.hdfs.server.namenode.NameNode. (NameNode.java:754)
at org.apache.hadoop.hdfs.server.namenode.NameNode. (NameNode.java:738)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1427)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1493)
Caused by: javax.security.auth.login.LoginException: Client not found in Kerberos database (6) — CLIENT_NOT_FOUND
at com.sun.security.auth.module.Krb5LoginModule.attemptAuthentication(Krb5LoginModule.java:763)
at com.sun.security.auth.module.Krb5LoginModule.login(Krb5LoginModule.java:584)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at javax.security.auth.login.LoginContext.invoke(LoginContext.java:762)
at javax.security.auth.login.LoginContext.access$000(LoginContext.java:203)
at javax.security.auth.login.LoginContext$4.run(LoginContext.java:690)
at javax.security.auth.login.LoginContext$4.run(LoginContext.java:688)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.login.LoginContext.invokePriv(LoginContext.java:687)
at javax.security.auth.login.LoginContext.login(LoginContext.java:595)
at org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(UserGroupInformation.java:938)
. 7 more
Caused by: KrbException: Client not found in Kerberos database (6) — CLIENT_NOT_FOUND
at sun.security.krb5.KrbAsRep. (KrbAsRep.java:82)
at sun.security.krb5.KrbAsReqBuilder.send(KrbAsReqBuilder.java:319)
at sun.security.krb5.KrbAsReqBuilder.action(KrbAsReqBuilder.java:364)
at com.sun.security.auth.module.Krb5LoginModule.attemptAuthentication(Krb5LoginModule.java:735)
. 20 more
Caused by: KrbException: Identifier doesn’t match expected value (906)
at sun.security.krb5.internal.KDCRep.init(KDCRep.java:143)
at sun.security.krb5.internal.ASRep.init(ASRep.java:65)
at sun.security.krb5.internal.ASRep. (ASRep.java:60)
at sun.security.krb5.KrbAsRep. (KrbAsRep.java:60)
. 23 more

The problem seems to be that principal name that cloudera uses to authenticate is in SMALL LETTERS of FQDN while the generated princpals are

in CAPITAL LETTERS.

How to ensure that cloudera generates the principals(domain name) from — /etc/host file without converting it into small case

Источник

Проблемы с Apache Kafka Quickstart

Я новичок в Kafka и, похоже, у меня несколько проблем с руководством по быстрому запуску для Apache Kafka, которое можно найти здесь: https://kafka.apache.org/quickstart#quickstart_kafkaconnect

В конечном итоге я пытаюсь научиться загружать очередь kafka множеством сообщений kafka, поэтому часть Шага 7 этого руководства по быстрому запуску казалась актуальной.

Я установил двоичную загрузку (Scala 2.11 — kafka_2.11-1.1.0.tgz), которую можно найти здесь: https://kafka.apache.org/downloads

Сначала я пытался перейти прямо к шагу 7, но понял, что после того, как нашел этот вопрос (Ошибки реализации Kafka Connect), мне пришлось сделать несколько шагов до этого.

Поэтому я успешно выполнил первый шаг:

Затем я выполнил шаг 2:

Но я получаю ошибку

Но когда я запускаю следующую команду на том же этапе:

Кажется, что сервер Kafka успешно работает?

Итак, я попытался перейти к шагу 3, чтобы создать тему:

Но это вызывает ошибку:

Затем попробуйте шаг 4:

Кажется, это работает, и я могу написать сообщение, но затем получаю сообщение об ошибке подключения (что, вероятно, связано с тем, что предыдущие шаги не сработали успешно)

Кто-нибудь знает, почему возникают эти проблемы и как их исправить? Я не могу найти больше информации об этих проблемах в этом руководстве.

Вам нужно будет сначала запустить zookeeper, прежде чем запускать сервер kafka, я думаю

@nitnamby да, я понимаю, что большинство последующих проблем, вероятно, связаны с тем, что команда bin/zookeeper-server-start.sh config/zookeeper.properties работает некорректно

Как следует из ошибки, у вас что-то работает на порту по умолчанию для ZK. Либо закройте его, либо измените файл свойств zookeeper, чтобы использовать другой порт.

Адрес localhost:2181 уже используется. Поскольку Zookeeper не запускается, брокеры Kafka тоже не запускаются. replication-factor должен меньше или равно количеству доступных брокеров, и, поскольку брокер недоступен, будет выдана следующая ошибка (даже если вы используете —replication-factor 1 ).

Вам нужно либо остановить процесс, который выполняется в 2181, либо изменить порт ZK по умолчанию на порт, который в настоящее время не используется.

Чтобы узнать, что работает (PID) в порту 2181, запустите

Если вы хотите убить этот процесс, запустите

где PID — это идентификатор процесса, который вы можете получить из команды lsof .

Источник

ZooKeeper does not recover from crash when disk was full

Details

Ubuntu 12.04, Amazon EC2 instance

Description

The disk that ZooKeeper was using filled up. During a snapshot write, I got the following exception

2013-01-16 03:11:14,098 — ERROR [SyncThread:0:SyncRequestProcessor@151] — Severe unrecoverable error, exiting
java.io.IOException: No space left on device
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:282)
at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:65)
at java.io.BufferedOutputStream.flush(BufferedOutputStream.java:123)
at org.apache.zookeeper.server.persistence.FileTxnLog.commit(FileTxnLog.java:309)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.commit(FileTxnSnapLog.java:306)
at org.apache.zookeeper.server.ZKDatabase.commit(ZKDatabase.java:484)
at org.apache.zookeeper.server.SyncRequestProcessor.flush(SyncRequestProcessor.java:162)
at org.apache.zookeeper.server.SyncRequestProcessor.run(SyncRequestProcessor.java:101)

Then many subsequent exceptions like:

2013-01-16 15:02:23,984 — ERROR [main:Util@239] — Last transaction was partial.
2013-01-16 15:02:23,985 — ERROR [main:ZooKeeperServerMain@63] — Unexpected exception, exiting abnormally
java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:375)
at org.apache.jute.BinaryInputArchive.readInt(BinaryInputArchive.java:63)
at org.apache.zookeeper.server.persistence.FileHeader.deserialize(FileHeader.java:64)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.inStreamCreated(FileTxnLog.java:558)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.createInputArchive(FileTxnLog.java:577)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.goToNextLog(FileTxnLog.java:543)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:625)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.init(FileTxnLog.java:529)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator. (FileTxnLog.java:504)
at org.apache.zookeeper.server.persistence.FileTxnLog.read(FileTxnLog.java:341)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:130)
at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
at org.apache.zookeeper.server.ZooKeeperServer.loadData(ZooKeeperServer.java:259)
at org.apache.zookeeper.server.ZooKeeperServer.startdata(ZooKeeperServer.java:386)
at org.apache.zookeeper.server.NIOServerCnxnFactory.startup(NIOServerCnxnFactory.java:138)
at org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:112)
at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:86)
at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:52)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)

It seems to me that writing the transaction log should be fully atomic to avoid such situations. Is this not the case?

Источник

Zookeeper для Apache-Kafka: проблемы с портом 2181 на сервере Ubuntu 18.04.01

Я пытаюсь понять, как успешно завершить это руководство по установке и первому запуску Apache-Kafka: Как установить Apache Kafka в Ubuntu 18.04 LTS

После уничтожения ранее запущенного экземпляра zookeeper я снова попытался запустить сервер zookeeper снова, но когда процесс достигает фазы привязки порта, он останавливается навсегда . KafkaActivationFailed

Проблема в том, что перезагрузка zookeeper кажется активной:

Но при попытке запустить кафку .

В чем проблема? и что вы имеете в виду под «смотрителем зоопарка»? Вы имеете в виду, что в файл журнала больше не записываются журналы?

Привет @GiorgosMyrianthous. Проблема в том, что после перезагрузки при попытке запустить сервер kafka он говорит: ERROR Неожиданное исключение, аварийный выход (org.apache.zookeeper.server.ZooKeeperServerMain) java.net.BindException: Адрес уже используется

Тогда вам нужно включить эту ошибку в свой вопрос. Как ты убил процесс zookeeper?

Но когда я делаю marco @ PC: / usr / local / kafka $ systemctl status zookeeper, он кажется активным: ● zookeeper.service — LSB: централизованная служба координации Загружено: загружено (/etc/init.d/zookeeper; сгенерировано) Активно: активно (покинул) с Вт 2018-09-04 15:51:24 CEST; 1ч 14мин назад Документы: man: systemd-sysv-generator (8) Процесс: 1919 ExecStart = / etc / init.d / zookeeper start (code = exited, status = 0 / SUCCESS) 04 сен, 15:51:24 PC systemd [ 1]: Запуск LSB: служба централизованной координации . Sep 04 15:51:24 PC systemd [1]: Запуск LSB: служба централизованной координации. marco @ ПК: / usr / local / kafka $

затем перед завершением процесса запустите systemctl stop zookeeper. после убийства идентификатора (может не понадобиться) запустите systemctl start zookeeper

Теперь кажется, что нет активного zookeeper: marco @ PC: / usr / local / kafka $ sudo systemctl stop zookeeper marco @ PC: / usr / local / kafka $ sudo lsof -i: 2181 marco @ PC: / usr / local / кафка $

После остановки zookeeper я снова попытался запустить kafka с помощью marco @ PC: / usr / local / kafka $ bin / zookeeper-server-start.sh config / zookeeper.properties, но активация kafka снова останавливается на этой строке: [2018- 09-04 17: 11: 24,572] Привязка INFO к порту 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)

Это то, что я имею в виду под остановку запуска / активации сервера kafka drive.google.com/open?id=1hFa-5PfLdbSbX71V4hoii3qT9Bo4dD_4

Это нормально началось, если вы посмотрите логи

[2018-09-04 12:18:14,636] INFO binding to port 0.0.0.0/0.0.0.0:2181
(org.apache.zookeeper.server.NIOServerCnxnFactory)

И это сообщение будет оставаться там, пока клиент Zookeeper, такой как Kafka, не подключится к Zookeeper.

Когда вы говорите, что «пытаетесь запустить kafka», вы снова запускаете zookeeper-server-start , а не kafka-server-start , поэтому Zookeeper уже привязан к порту 2181 и не запускает второй.

Привет @ cricket_007. После удаления zookeeper и kafka я переустановил их. Затем я выполнил шаги, указанные здесь: idroot.net/linux/install-apache-kafka-ubuntu-18-04-lts. На шаге 4 запустите сервер Kafka: cd / usr / local / kafka bin / zookeeper-server-start.sh config / zookeeper.properties. На самом деле там написано «[2018-09-05 08: 43: 16,719] Привязка INFO к порту 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)», но, как вы можете видеть отсюда: drive.google.com/open?id=1bKtnn6hoyh9jdel5ToCEzUmQ0AQ5_vBT на этом фаза активации останавливается.

Здесь нет ошибки, и этот результат ожидается . Zookeeper теперь работает и ожидает подключения, а не «зависает». Вам нужно открыть терминал новый и запустить Kafka

Источник

ZooKeeper cluster unavailable due to corrupted log file during power failures — java.io.IOException: Unreasonable length

Details

Normal ZooKeeper cluster with 3 nodes running Linux

Description

I am running a three node ZooKeeper cluster.

When a new log file is created by ZooKeeper, I see the following sequence of system calls:

1. creat(new_log)
2. write(new_log, count=16) // This is a log header I believe/
3. truncate(new_log, from 16 bytes to 16 KBytes) // I have configured the log size to be 16K.

When the above sequence of operations complete, it is reasonable to expect the newly created log file to contain the header(16 bytes) and then filled with zeros till the end of the log.

But when a crash occurs (due to a power failure), while the truncate system call is in progress, it is possible for the log to contain garbage data when the system restarts from the crash. Note that if the crash occurs just after the truncate system call completes, then there is no problem. Basically, the truncate needs to be atomically persisted for ZooKeeper to recover from crashes correctly or (more realistically) the recovery code needs to deal with the case of expecting garbage in a newly created log.

As mentioned, if a crash occurs during the truncate system call, then ZooKeeper will fail to start with the following exception. Here is the stack trace:

java.io.IOException: Unreasonable length = -295704495
at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArchive.java:127)
at org.apache.jute.BinaryInputArchive.readBuffer(BinaryInputArchive.java:92)
at org.apache.zookeeper.server.persistence.Util.readTxnBytes(Util.java:233)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:625)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:652)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.init(FileTxnLog.java:552)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator. (FileTxnLog.java:527)
at org.apache.zookeeper.server.persistence.FileTxnLog.read(FileTxnLog.java:354)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:132)
at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
at org.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:510)
at org.apache.zookeeper.server.quorum.QuorumPeer.start(QuorumPeer.java:500)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.runFromConfig(QuorumPeerMain.java:153)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:111)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
[myid:1] — ERROR [main:QuorumPeerMain@89] — Unexpected exception, exiting abnormally
java.lang.RuntimeException: Unable to run quorum server
at org.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:558)
at org.apache.zookeeper.server.quorum.QuorumPeer.start(QuorumPeer.java:500)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.runFromConfig(QuorumPeerMain.java:153)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:111)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
Caused by: java.io.IOException: Unreasonable length = -295704495
at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArchive.java:127)
at org.apache.jute.BinaryInputArchive.readBuffer(BinaryInputArchive.java:92)
at org.apache.zookeeper.server.persistence.Util.readTxnBytes(Util.java:233)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:625)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:652)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.init(FileTxnLog.java:552)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator. (FileTxnLog.java:527)
at org.apache.zookeeper.server.persistence.FileTxnLog.read(FileTxnLog.java:354)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:132)
at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
at org.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:510)
. 4 more

Next, it is possible for two nodes of a 3-node ZooKeeper cluster to reach the same state. In that case, they both will fail to startup, rendering the entire cluster unavailable.

Источник

We sometime see issues with ZooKeeper server not starting and seeing this error in the log:

[2014-05-27 09:29:48.248] ERROR : —
.org.apache.zookeeper.server.ZooKeeperServerMain Unexpected exception,
exiting abnormallynexception=njava.io.IOException: Unable to create data
directory /home/y/var/zookeeper/version-2ntat
org.apache.zookeeper.server.persistence.FileTxnSnapLog.<init>(FileTxnSnapLog.java:85)ntat
org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:103)ntat
org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:86)ntat
org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:52)ntat
org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)ntat
org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)nt
[…]

Stack trace from JVM gives this:

«PurgeTask» daemon prio=10 tid=0x000000000201d000 nid=0x1727 runnable
[0x00007f55d7dc7000]
java.lang.Thread.State: RUNNABLE
at java.io.UnixFileSystem.createDirectory(Native Method)
at java.io.File.mkdir(File.java:1310)
at java.io.File.mkdirs(File.java:1337)
at
org.apache.zookeeper.server.persistence.FileTxnSnapLog.<init>(FileTxnSnapLog.java:84)
at org.apache.zookeeper.server.PurgeTxnLog.purge(PurgeTxnLog.java:68)
at
org.apache.zookeeper.server.DatadirCleanupManager$PurgeTask.run(DatadirCleanupManager.java:140)
at java.util.TimerThread.mainLoop(Timer.java:555)
at java.util.TimerThread.run(Timer.java:505)

«zookeeper server» prio=10 tid=0x00000000027df800 nid=0x1715 runnable
[0x00007f55d7ed8000]
java.lang.Thread.State: RUNNABLE
at java.io.UnixFileSystem.createDirectory(Native Method)
at java.io.File.mkdir(File.java:1310)
at java.io.File.mkdirs(File.java:1337)
at
org.apache.zookeeper.server.persistence.FileTxnSnapLog.<init>(FileTxnSnapLog.java:84)
at
org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:103)
at
org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:86)
at
org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:52)
at
org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)
at
org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
[…]

So it seems that when autopurge is used (as it is in our case), it might happen at the same time as starting the server itself. In FileTxnSnapLog() it will check if the directory exists and create it if not. These two tasks do this at the same time, and mkdir fails and server exits the JVM.

Zookeeper Issue : Last transaction was partial

Issue: ZooKeeper was continuously crashing with below
error

Brief: Like any other transnational system;
zookeeper works just like any other software where any transactions that are
related to state of zookeeper will be written first to the disk and then its
updates takes place. When the transaction log file reaches a certain size,
a new transaction log file gets created.

Data Directory

• myid — contains a single integer in
  human readable ASCII text that represents the server id.
• snapshot.<zxid> — holds the fuzzy snapshot of
  a data tree.

The Log Directory contains the ZooKeeper transaction
logs. Before any update takes place, Zookeeper ensures that the transaction
that represents the update is written to non-volatile storage. 

After talking to the team and getting info what all was
done prior this error; came to know Hadoop eco system was aborted once during
one transaction activity. 

Since the termination was abnormal and issue was
related to transaction entry so I rush to LOG directory and saw
Zookeeper transactions log file was sized 0<junk file> ; which means that while
booting up ; zookeeper was trying apply logs for the consistent state but due to
0 sized it didn’t manage to replay the transactions and hence failed to
start.

Enjoy Learning!!!