가십 프로토콜(Gossip Protocol)과 Consistent Hashing을 통한 분산 인메모리 클러스터 동적 확장 구조

트래픽이 피크를 찍을 때마다 Redis 노드를 수동으로 늘려주어야 했던 수고로움을 피하고자 클러스터링 모드를 도입하면서, 저는 도대체 100대의 노드들이 '방금 추가된 101번째 신규 노드'의 존재를 중앙 마스터(Master) 서버 없이 어떻게 일제히 눈치채는 것인지 아주 깊은 의문을 가졌습니다. 분산 데이터베이스(Cassandra, Redis Cluster 등)의 대규모 확장을 가능케 하는 마법의 비결은 놀랍게도 인간 사회의 소문 체계를 모방한 전염병 수학, 바로 '가십 프로토콜(Gossip Protocol)'이었습니다. 클러스터 네트워크의 1번 노드는 매초 무작위로 선택한 2, 3번 노드에게 "나 살아있고, 신규 노드 101번이 추가되었어"라는 소소한 메타데이터(소문)를 핑으로 던집니다. 소문을 들은 2, 3번 노드는 다음 1초 뒤에 또 다른 랜덤한 4, 5, 6, 7번 노드에게 이 소문을 전파합니다. 이 지수함수적 전염 속도 덕분에 클러스터 안에 서버가 수만 대가 있더라도 단 몇 초 만에 전체 네트워크가 변경된 토폴로지 뷰를 완벽하게 일치된 상태로 합의하게 됩니다. 싱글 포인트 오브 페일루어(SPOF)가 되는 관제탑이 아예 사라진 압도적인 생존력입니다. 토폴로지가 전파되면, 노드들은 자신이 품고 있던 데이터를 일관된 해시 링(Consistent Hashing) 알고리즘에 의해 스스로 재배치(Rebalancing)하기 시작합니다. 키(Key) 값 1~1000이 원 모양의 해시 링에 배치되어 있을 때 신규 노드가 500 자리에 끼어들면, 1부터 499번 데이터는 가만히 둔 채 오직 500에서 1000 주변의 인접 데이터만을 이웃 노드가 신규 노드로 이주시켜 버리는 스마트한 방어 기동입니다. 거대한 분산 클러스터를 설계할 때는 통제하려 드는 것이 아니라, 각 노드에 자율적 생명 논리를 부여하여 오가닉(Organic)하게 균형을 맞추도록 방임하는 것이 궁극의 확장성임을 체험한 강력한 분산 처리론입니다.