멀쩡하던 OpenShift가 죽었다.

AWS 상에 설치한 OpenShift의 브로커를 이중화하고, 잘 돌아가는 것을 확인하고, 대표님께서 보고 싶다고 하셔서 보여드리려고 했더니. 그때부터였다.

멀쩡히 돌아가고 MCollective Ping도 확인했을 때 잘 돌아가던 그놈이 배신을 했다.

OpenStack에 설치했던 Broker의 설정을 변경해서 AWS의 Node에도 연결을 해보고,

새로 Broker를 몇번이나 다시 설치해서 해보고, 설정값도 이리저리 바꾸어보고, 의심가는 것들을 모두 해보고 확인해봤지만 계속 안된다.

3일 째..

여전히 AWS의 문제는 해결이 되지 않아서 새로 클러스터를 구성하려다가 귀찮았던 바람에 Broker와 Node만 새로 설치하고, ActiveMQ와 MongoDB는 이전의 것을 그대로 두고 사용했다. 여전히 안된다. MongoDB 쪽에는 전혀 문제가 없다.

역시 Broker-ActiveMQ-Node 간의 통신 문제인데, 잘 되던 게 갑자기 안되니 도무지 이유를 모르겠고, 웬만한 트러블 슈팅을 다 할 수 있다고 자만하던 내게 벌을 내린게 아닌가 싶을 정도다.

그러다가 다시 오픈시프트 관련 메일링 리스트를 뒤져보다가

같은 문제의 제목을 찾았고, 전에 MCollective와 관련해서 한번 읽었던 글이지만 혹시나 하는 지푸라기라도 잡는 심정에 다시 천천히 읽어봤다.

그러다가 이 스레드에서 Brenton찡이 clock skew가 아니냐고 물어보길래 응? 설마 이것 때문에 그러려고.. 하다가 혹시나 싶어서 VM들의 시간을 확인해보니, Broker와 Node는 일치하지만 ActiveMQ는 2분 정도의 차이가 났다.

ActiveMQ가 설치된 서버에 ntpd를 설치하고 clock.redhat.com과 시간 동기화를 한 후 접속해보니 되는게 아닌가..!?

아.. 인생 무상.. 사람이 이렇게 미칠 수도 있겠구나 싶었다. 아니.. 안될거면 처음부터 안될 것이지 되다가 아니되냔 말이다. 하하.

이 문제 때문에 사흘을 버리긴 했지만.. 다시 돌아가니 다행이다. ㅠㅠ