[Kafka 에러] ERROR Shutdown broker because all log dirs in C:\tmp\kafka-logs have failed

⛔문제점

Kafka가 에러를 발생시키고 비정상적으로 종료가 됨.

 

[에러 로그]

5,__consumer_offsets-26,__consumer_offsets-29,__consumer_offsets-34,__consumer_offsets-10,__consumer_offsets-32,__consumer_offsets-40 and stopped moving logs for partitions  because they are in the failed log directory C:\tmp\kafka-logs. (kafka.server.ReplicaManager)
[2024-02-08 18:49:26,741] WARN Stopping serving logs in dir C:\tmp\kafka-logs (kafka.log.LogManager)
[2024-02-08 18:49:26,753] ERROR Shutdown broker because all log dirs in C:\tmp\kafka-logs have failed (kafka.log.LogManager)

 

💯해결

 

로그 디렉토리를 비워서 해결!

1. 로그가 저장된 디렉토리로 이동한다.

C:\tmp\kafka-logs

 

2. 이 디렉토리에 있는 모든 파일을 삭제한다. (휴지통까지 비우기!) 

모두 삭제하기!!

 

3. Kafka를 다시 시작한다.

에러 없이 정상 작동하는 것을 볼 수 있다.

 

 

✅ 카프카는 데이터를 주기적으로 보관하고 삭제하는데 그 과정에서 삭제해야하는 데이터의 로그 파일이 존재하지 않으면 이런 에러가 발생한다고 한다.

✅ 로그 디렉토리를 모두 삭제하여 해결하는 방법은 로그 파일이 더 이상 필요하지 않을 때 사용해야 한다. 로그 파일은 문제가 발생했을 때 디버깅을 위해 매우 중요해서 로그파일이 필요하지 않을 때에만 이 방법을 사용해야 한다.

✅ 새로운 로그 디렉토리를 설정하는 방법으로도 해결이 가능하다고 한다.
-> 이 방법으로 안될 시에는 디렉토리를 모두 삭제하는 방법으로 해결하기!

 

 

 

 

 

 

 

 

 

 

References :

https://stackoverflow.com/questions/51644409/kafka-broker-fails-because-all-log-dirs-have-failed

https://camel-context.tistory.com/23