반복영역 건너뛰기
주메뉴 바로가기
본문 바로가기
제품/서비스
EMS Solution
Features
클라우드 관리
서버관리
데이터베이스 관리
네트워크 관리
트래픽 관리
설비 IoT 관리
무선 AP 관리
교환기 관리
운영자동화
실시간 관리
백업 관리
스토리지 관리
예방 점검
APM Solution
애플리케이션 관리
URL 관리
브라우저 관리
ITSM Solution
서비스데스크
IT 서비스 관리
Big Data Solution
SIEM
AI 인공지능
Dashboard
대시보드
Consulting Service
컨설팅 서비스
고객
레퍼런스
고객FAQ
문의하기
가격
자료실
카탈로그
사용자매뉴얼
회사소개
비전·미션
연혁
2016~현재
2000~2015
인증서·수상
투자정보
재무정보
전자공고
IR자료
새소식
공고
보도자료
오시는 길
채용
피플
컬처
공고
FAQ
블로그
열기
메인 페이지로 이동
블로그
최신이야기
블로그
최신이야기
사람이야기
회사이야기
기술이야기
다양한이야기
데브옵스(DevOps)에 대한 오해, 그리고 진실은?!
잘파세대(Z세대 + 알파 세대)에 대한 모든 것
차정환
2024.02.19
페이스북 공유하기
트위터 공유하기
링크드인 공유하기
블로그 공유하기
SMS를 통한 서버관리는 꼭 이렇게 해야만 한다?!
IT 기술의 빠른 발전 못지않게, 각 세대별 특성도 빠르게 변화하고 있습니다.
특히 몇 해 전부터 'MZ 세대'와 관련한 이슈들이 크게 부각되었습니다. 유튜브나 TV 예능에서의 소재뿐 아니라, 사회 전체적으로도 모두가 관심을 가진 그야말로 '핫'한 주제가 되었죠.
MZ 세대와 관련한 다양한 도서들(출처: 교보문고)
MZ 세대에 대해 이해하고 함께 어울려보려고 노력해서 이제 조금 익숙해져가는 와중에... 이제 'MZ 세대' 보다 중요한 세대가 등장했습니다. 바로 '잘파세대'!
잘파세대는 Z세대와 알파 세대를 합친 말인데요, 소비자로서 그리고 직장의 구성원으로서 정말 중요한 부분을 차지하고 있고 영향력이 더 커질 잘파세대에 대해서 지금부터 자세히 알아보겠습니다.
│ 세대는 어떻게 구분되는가?!
본격적으로 이야기를 시작하기 전에 한 가지 분명히 해야 할 것이 있습니다. 지금부터 알아볼 특징들이 전체를 대표하는 경향이 있긴 하지만, 같은 세대 안에서도 개인차가 있으므로 모든 사람에게 동일하게 적용될 수는 없다는 것이죠.
하지만 이와 동시에 각 세대별 차이는 분명히 존재하기 때문에, 각 세대의 특징과 경향을 앎으로써 서로 더 가까워지기 위한 목적을 가지고 본격적으로 들여다보도록 하겠습니다.
조금씩의 차이는 있지만, 가장 나이가 많은 베이비부머 세대부터 알파 세대에 이르기까지 총 다섯 개의 분류로 세대를 구분하는 것이 일반적입니다. 세대별 구분 기준과 특징은 아래와 같이 정리할 수 있습니다.
베이비부머부터 X세대 초반(1975년생)까지는 그동안의 한국 사회의 가파른 성장을 이끌어온, 이른바 '기성세대'라고 볼 수 있습니다.
한편 그동안 'MZ세대(밀레니얼세대 + Z세대)'로 묶여왔던 밀레니얼 세대는 대세에서 멀어지고, 알파 세대가 새롭게 떠오르며 Z세대와 대세를 이루게 됐습니다.
밀레니얼 세대는 회사 내에서 '주니어급'에서 '중간관리자' 급으로 성장했죠. 따라서 위로는 베이비부머와 X세대를 모셔야 하고, 아래로는 잘파세대를 관리해야 함에 따른 밀레니얼 세대의 고충도 커지고 있습니다
(이 이슈는 나중에 따로 자세히 살펴보도록 하죠)
.
회사 내에서의 세대별 차이에서 오는 에피소드를 극대화한 MZ 오피스 (출처: 쿠팡플레이)
현재 대부분의 회사에서는 X세대 이상의 임원과, 차~부장급 팀장이 된 밀레니얼 세대, 그리고 주니어에서 갓 벗어나 과장급 실무자가 됐거나 주니어급인 Z세대가 어울려 있습니다. 그리고 이들이 알파 세대 고객을 만나 고생하기도 하고요.
그리고 가정에서는 은퇴한 베이비부머 세대를 둔 X세대 후반 ~ 밀레니얼 세대가 결혼해서 알파 세대를 낳은 후 고군분투하고 있고, Z세대는 그런 밀레니얼 시대를 보면서 결혼에 대해 심각하게 고민하는 모습을 흔치않게 볼 수 있습니다.
직장과 가정 모두에서 각 세대가 서로를 이해하며 오래오래 행복하게 살면 좋겠지만, 현실은 그렇지 않죠. 앞에도 언급했듯이 이제 주류가 된 잘파세대를 제대로 알고 함께 어울리기 위한 방법은 무엇일까요?
│ 소비자로서의 잘파세대, 그리고 대응 방안
본격적으로 잘파세대에 대해서 알아보겠습니다. 먼저 그들에게 우리 서비스와 제품을 잘 알리기 위해 '소비자로서의' 잘파세대의 특성을 살펴보죠. 세부적으로 Z세대와 알파 세대의 특성이 차이가 있기 때문에 나눠서 살펴보겠습니다.
Z세대(14세~28세)
Z세대는 소비자로서 세 가지 특성이 있습니다.
▪
디지털 네이티브:
인터넷, 스마트폰, 소셜미디어와 함께 성장한 이들은 소비에 있어서도 다양한 온라인 플랫폼을 적극 활용합니다. 특히 온라인 리뷰와 소셜미디어 추천을 매우 중요하게 여깁니다.
▪
가치 중심의 소비:
제품이나 브랜드가 대표하는 가치와 사회적 책임을 중시합니다. 지속 가능성, 윤리적 생산, 다양성 존중 등이 소비에 있어서 중요한 결정 요소가 됩니다.
▪
개인화된 경험 선호:
Z세대는 자신들의 취향과 관심사에 맞춤화된 제품이나 서비스를 선호합니다.
따라서 기업의 입장에선 우선 콘텐츠 마케팅/인플루언스 마케팅/자체 소셜미디어 운영 등을 통해서 Z세대와의 접점을 최대한 늘려야 합니다. 그리고 철저한 데이터 분석을 통해, 소비자의 취향과 선호를 파악하고 맞춤형 제품과 경험을 제공해야 하죠.
더불어서 기업의 사회적 책임과 지속 가능성 목표를 명확히 하고, 이를 적극적으로 알려야 합니다. 다만, 이때 주의해야 할 것은 '바르게 잘 하고 있는 척' 만 하는 것이 아니라, '실제로 바르게 말하고 행동'해야 합니다. 말과 행동이 다른 기업이나 서비스는 Z세대에게 바로 외면받을 수밖에 없기 때문이죠.
환경 보호를 직접 실천하며 꾸준한 사랑을 받고 있는 Patagonia
Z세대를 대상으로 성공적인 마케팅을 펼친 사례를 간단히 정리해 보면,
▪
나이키:
나이키는 AR(증강현실)을 이용한 신발 피팅 기술과, 소비자가 자신만의 디자인을 할 수 있는 커스터마이징 옵션을 제공하여 좋은 반응을 얻고 있습니다.
▪
Spotify:
Z세대의 음악 취향을 분석하여 개인화된 플레이리스트를 제공하는 것을 통해 많은 사용자를 유지하고 있습니다.
▪
Patagonia:
환경 보호를 중시하는 아웃도어 의류 브랜드로, 지속 가능한 제품 제조 방식과 환경 보호 캠페인을 펼치며 Z세대로부터 큰 지지를 받고 있습니다. 2023년에는 주식 전체를 환경보호 단체에 기부하며 큰 화제가 되기도 했죠.
▪
Beyond Meat:
식물로 만든 대체 육류 제품을 제공하여, 지속 가능한 소비와 동물 복지, 환경 보호에 앞장섬으로써 많은 사랑을 받고 있습니다.
식물로 만든 다양한 육류 제품으로 인기를 끌고 있는 Beyond Meat
Z세대를 위한 마케팅은 다음과 같은 한 마디로 정의할 수 있습니다.
'정말 좋은 목적을 가지고 만든 고객 맞춤형 제품과 서비스를, 소셜미디어를 통해 활발하게 알린다!'
알파 세대(~13세)
알파 세대는 Z세대와 비슷하지만 조금은 다른 특성을 가지고 있습니다.
▪
기술과의 완전한 통합:
알파 세대는 태어난 직후부터 스마트 기기와 AI와 함께 자랐습니다. 따라서 이들에게 최신 기술은 일상의 일부죠
(실제 미국에서 많은 아기들이 처음으로 발음한 것이 '엄마'가 아닌, '알렉사(구글의 AI 서비스)'여서 큰 화제가 되기도 했습니다)
.
▪
교육적 콘텐츠 소비:
아직 성장단계에 있고, 부모의 영향도 있기 때문에 교육적 가치가 있는 콘텐츠를 주로 많이 소비합니다.
▪
가족 구매 결정에 영향:
아직 어린 나이에도 불구하고, 알파 세대가 가족의 구매 결정에 영향을 미치는 경우가 꽤 많습니다.
디지털 기기와 매우 친숙한 알파 세대
알파 세대를 대상으로 성공적인 마케팅과 서비스를 제공하고 있는 사례를 살펴보면,
▪
Duolingo:
언어 학습 앱으로 게임 기능을 통해 교육적 가치와 재미를 동시에 제공하고 있습니다.
▪
Roblox:
아이들이 자신만의 게임을 만들고 다른 사람들과 공유할 수 있는 플랫폼으로, 창의력과 코딩 기술을 향상시킬 수 있어서 많은 사랑을 받고 있습니다.
▪
Amazone Echo Dot Kids Edition:
아이들을 위한 스마트 스피커로, 부모가 컨트롤할 수 있는 콘텐츠와 함께 다양한 교육 콘텐츠를 제공합니다.
▪
LEGO Super Mario:
레고와 닌텐도의 협업으로 만들어진 이 제품은, 게임과 실제 놀이의 결합을 통해 창의력과 문제 해결 능력을 발전시킬 수 있어서 좋은 반응을 얻고 있습니다.
알파 세대에게 큰 사랑을 받고 있는 Roblox (출처: The Irish Times)
결국 위에 살펴본 사례처럼 알파 세대에게 사랑받으려면, 교육적 가치가 있는 제품을 개발하고 가족 친화적 마케팅을 진행하면서 부모의 신뢰를 얻을 수 있는 안전한 디지털 환경을 제공해야 합니다
(유해 콘텐츠 방지, 개인정보 보호 등)
.
잘파세대인 소비자들에게 어떻게 다가갈지 조금 감이 잡히시나요? 함께 살펴본 내용은 극히 기본에 불과하지만, 이번 기회를 통해서 잘파세대 소비자들과 한 걸음이라도 가까워질 있게 되기를 바랍니다.
│ 직장인으로서의 잘파세대, 그리고 대응방안
자 이제, 소비자가 아닌 내 동료로서의 잘파세대를 알아보겠습니다. 단, 알파 세대는 아직 사회에 진출하기 전이 때문에 Z세대를 중심으로 하나씩 살펴보도록 하죠.
2020년대 초반부터 본격적으로 직장 생활을 시작한 Z세대는, 그들만의 독특한 특성과 가치관을 가지고 있습니다. 사실 'MZ 세대'에 특성으로 꼽히는 부분 중에 기성세대가 많이 새로워하고 놀란 특성들 대부분이 'Z세대'의 특성이라고 볼 수 있죠.
직장인으로서의 Z세대 특성은 다섯 가지로 정리할 수 있습니다.
Z세대가 즐겨 사용하는 업무 도구인 Slack
기술에 대한 높은 숙련도
디지털 네이티브인 Z세대는 다양한 기술과 플랫폼을 자연스럽게 사용합니다. Slack이나 Notion 등 효율적인 업무 도구와 소프트웨어를 활용하여 업무를 진행하는 것을 선호하죠
(반면에 전화나 대면 미팅을 꺼리는 경향도 있습니다)
.
자율성과 유연성에 대한 강한 욕구
자율적인 업무 환경과 일과 생활의 균형을 매우 중요시합니다. 유연한 근무시간과 재택근무 옵션을 높은 연봉보다 선호할 정도입니다.
다양성과 포용성에 대한 강조
Z세대는 다양성, 평등, 포용성에 대한 가치를 중요하게 여깁니다. 다양한 배경과 경험을 가진 사람들과의 협업을 중시하며, 모두가 존중받는 직장 문화를 원합니다.
목적과 가치에 대한 추구
단순히 급여를 받는 것에 그치지 않고, 자신이 하는 일이 사회적으로 선하고 긍정적인 영향을 미치는지를 중요하게 여깁니다. 따라서 회사를 선택할 때도 회사의 사회적 책임과 가치에 공감할 수 있는지를 진지하게 고민합니다.
피드백과 성장 기회에 대한 욕구
지속적인 피드백과 자신의 역량을 개발할 수 있는 기회를 중요하게 생각합니다. 특히 본인의 업무 성과에 대한 구체적이고 명확한 피드백을 원하죠. 불투명한 평가절차 및 결과로 인한 Z세대의 퇴사가 늘고 있는 이유입니다.
따라서 Z세대를 회사의 구성원으로 잘 적응시키기 위해서는, 유연한 근무 환경을 제공하고 개인의 성장과 개발을 지원하는 프로그램을 갖추는 것이 중요합니다.
이와 동시에 회사의 사회적 책임에 대해서 어필하고, 다양성과 포용성을 증진할 수 있는 실질적인 실천도 뒷받침되어야 하죠. 그리고 무엇보다 이들의 성과를 정확히 평가하고, 구체적이고, 투명하게 피드백을 줄 수 있는 시스템도 갖춰야 합니다.
Z세대가 선호하는 직장으로 꼽히는 곳들은 대부분 구글과 같이 유연한 근무 환경/자율성 존중/개인의 성장과 개발에 대한 강력한 지원을 하거나, Salesforce나 에어비앤비처럼 사회적 가치와 미션에 대해서 강조하고 직원들과 투명한 커뮤니케이션을 진행하고 있습니다.
신입/주니어급이던 Z세대가 실무의 핵심으로 자리 잡고 있는 가운데, 본인의 이상과 실제에 거리감에 회의를 느낀 Z세대의 이직이나 퇴사도 늘고 있습니다.
또한 퇴사는 하지 않아도 일을 잘하려는 의지 없이 최소한의 업무만 하는 이른바 '조용한 퇴사'도 늘고 있는데요. 조용한 퇴사로 인한 기업의 손실이 약 2,500조에 이른다는 갤럽의 분석도 있습니다.
따라서 모든 기업이 Z세대의 마음을 사로잡고, 그들의 업무 효율을 높이기 위한 빠른 노력이 꼭 필요합니다. 이제 곧 Z세대가 기업 실무진행의 핵심으로 자리 잡을 시기가 오기 때문이죠.
│ 글을 마치며
"요즘 젊은이들은 버릇이 없다."
기원전 1700년에 만들어진 수메르 시대 점토판 문자에 이렇게 쓰여있다고 하죠. 기존 세대와 새로운 세대의 갈등은 오래전부터 존재해왔습니다.
하지만 기술의 발달과 넘치는 정보로 인해서 상황이 옛날과 많이 바뀌었습니다. 앞서 살펴본 대로 잘파세대는 소비자로서도 중요한 위치에 오르고 있고, 회사 내에서도 잘파세대의 역할이 점점 더 중요해지고 있기 때문입니다.
특히 기업을 운영할 때 '기성세대의 노하우를 전수하는 것'보다, '신기술을 빠르게 터득하고 활용하는 것'이 더 중요해졌기 때문에 새로운 세대와 효과적으로 함께 하기 위한 노력이 빠르게 필요합니다.
점심회식을 통해 세대간 어울리기 위한 노력을 이어가고 있는 브레인즈컴퍼니
어려워 보이고 갈 길이 멀어 보일 수도 있지만, 오늘부터 잘파세대를 이해하기 위한 하나씩 실천해 보는 건 어떨까요?
(그렇다고 잘파세대 후배 불러서 저녁회식 같은거 하시면 안 됩니다...)
#잘파세대
#Z세대
#알파세대
#MZ세대
#브레인즈컴퍼니
차정환
온/오프라인 마케팅 브랜딩, 그리고 홍보를 총괄하고 있습니다.
필진 글 더보기
목록으로
추천 콘텐츠
이전 슬라이드 보기
머신러닝 기반 메트릭 데이터 이상탐지
머신러닝 기반 메트릭 데이터 이상탐지
개요 이상탐지(Anomaly Detection)는 시계열 데이터에서 과거 또는 비슷한 시점의 다른 데이터의 보편적인 패턴에서 벗어나거나, 벗어나려는 징후가 있는 드문 패턴이나 사실, 대상 개체를 찾아내는 데이터 분석의 한 분야입니다. 시계열이 아닌 것 중에 이상한 것을 찾는 것은 대부분 아웃라이어 탐지에서 다루고 있으나, 아웃라이어 탐지와 이상탐지를 구분하지 않고 넓은 의미에서 이상탐지로 취급합니다. 기존에는 이상탐지를 위해 통계학 기술을 많이 사용해 왔으나, 최근에는 머신러닝 기술을 이상탐지에 적용하는 사례가 늘어가고 있습니다. 당사의 ITIM 제품인 Zenius EMS는 과거 성능 패턴에 대해서 통계 기반의 상∙하한 동적임계치를 구한 뒤, 임계치를 벗어날 가능성이 있는 성능치에 대한 장애 발생가능성을 선제적으로 통보해주는 Proactive(사전장애예측-이상탐지) 기능이 이미 구현돼 있습니다. 필자는 최근에 주목받고 있는 AI 기술을 접목해 단일 성능치가 아닌 메트릭 데이터 셋에 대한 이상탐지 기능을 구현하기 위한 연구를 진행했고 그 결과에 대해 기술하고자 합니다. 이상탐지와 머신러닝 머신러닝으로 이상탐지를 구현하는 학습법은 ▲지도학습 ▲비지도학습 ▲반지도학습으로 구분할 수 있습니다. 지도학습 기반으로 머신러닝을 구현하기 위해서는 기존에 수집된 데이터 중 정상적인 데이터 셋과 이상한 것으로 판별된 데이터 셋을 적절히 섞어서 학습데이터 셋을 만들어야 합니다. 그러나 실제 수집되는 데이터에서 이상 사례로 판별된 학습 데이터를 확보화는 것은 상당히 어렵습니다. 소량의 정답데이터를 이용해서 비슷한 것을 찾아 내거나 학습데이터를 확장시키는 반지도학습을 고려할 수도 있지만, 이 경우도 고객사에 제품을 납품한 이후 일정 시간동안 이상사례에 대한 학습 데이터를 수집해야 하고, 좋은 모델을 만드는데 시간이 너무 오래 소요됩니다. 따라서, 고객사에 제품 납품 후 머신러닝을 빠르게 적용할 수 있도록 비지도학습을 통해 이상탐지를 구현할 수 있는 방법을 중점적으로 고려하게 됐습니다. 비지도학습 이상탐지 ITIM 제품인 Zenius EMS가 수집하는 메트릭 데이터는 대부분 정상 데이터이므로 수집된 데이터 중 일부 비정상 데이터(감시설정에 의해 이벤트가 발생된 데이터)를 자동으로 제거해서 비지도학습을 수행했습니다. 학습에 사용되는 데이터는 모두 정상 데이터이므로 PCA(Principal Component Analysis)를 이용해 차원을 축소하고 복원하는 과정을 통해 비정상 데이터를 검출할 수도 있으나 이번 연구에서는 Neural Network의 Autoencoder 기반의 머신러닝 기법을 사용했습니다. Autoencoder는 입력을 Latent Variable로 압축하는 Encoding과, 이를 다시 원본에 가깝게 복원해내는 Decoding 과정으로 진행되며 이를 통해 데이터의 중요한 정보들만 압축적으로 학습할 수 있습니다. <그림 설명: Autoencoder 개요> 위 그림은 Autoencoder의 기본적인 원리를 나타내고 있습니다. 정상 데이터셋을 통해 학습된 Autoencoder에 정상 샘플을 입력하게 되면 Decoder를 통해 나온 출력이 정상 샘플과 유사하게 잘 복원되지만 비정상적인 샘플을 입력하게 되면, 입력과 출력 값의 차이가 도드라지게 발생하게 되므로 비정상 샘플을 검출할 수 있습니다. 다만, Autoencoder의 Code Size(Latent Variable의 Dimension) 같은 Hyper-Parameter에 따라 전반적인 복원 성능이 좌우되기 때문에 판정 정확도가 지도학습에 비해 다소 불안정하다는 단점이 존재합니다. 또, Autoencoder의 입력과 출력의 차이를 어떻게 정의할 것인지, 어떤 Loss Function을 사용해서 Autoencoder를 학습시킬지 등 여러가지 요인에 따라 성능이 크게 달라질 수 있습니다. 이를 보완하기 위해 ICLE 2018 Conference에서 발표된 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection을 이용했습니다. (https://iclr.cc/Conferences/2018/Schedule?showEvent=126) DAGMM DAGMM은 축소된 차원과 복원 오차에 대한 특성을 유지하여 입력 값의 중요 정보를 저차원상에서도 보존합니다. DAGMM에서는 차원 축소를 위한 Compression Network에 Autoencoder를 사용해 저차원상의 자료와 축소된 저차원상에서 original data 공간으로의 복원 에러에 대한 특성 정보를 계산할 수 있습니다. DAGMM은 학습된 저차원 공간에서 GMM(Gaussian Mixture Model)을 활용해 복잡한 구조를 가진 입력 자료에 대한 밀도 함수 추정을 수행합니다. 차원 축소와 밀도 함수 추정을 동시에 최적화하기 위해, DAGMM은 저차원 입력을 계산한 뒤, 혼합 밀도 함수를 추정하는 Estimation Network를 사용하고, 입력 자료를 저차원으로 축소시킨 뒤 에너지/가능도 평가 가능하게 해 GMM의 모수를 직접 추정합니다. <그림 설명: DAGMM 개요> DAGMM은 위 그림과 같이 두개의 주요 요소인 Compression Network와 Estimation Network로 구성돼 있습니다. Compression Network는 Deep Autoencoder를 사용해 입력 자료의 차원을 축소하고, Estimation Network는 차원이 축소된 자료를 입력 값으로 해, GMM의 가능도/에너지를 예측합니다. DAGMM에 대한 자세한 내용을 원하시는 경우, ICLR 2018 Conference 홈페이지의 논문 및 자료를 참조해 주십시오. DAGMM 기반 이상탐지 ITIM 제품인 Zenius EMS의 이상탐지를 위해 입력 데이터 셋은 메트릭 데이터로 구성합니다. 연관관계가 있다고 판단되는 메트릭 데이터 중 CPU Usage, Memory Usage, Disk Busy Rate, Network In bps 값을 4차원 데이터셋으로 구성한 후, DAGMM의 Compression Network를 통해 차원 축소를 진행하고 Estimation Network를 통해 가능도 및 에너지 예측을 진행했습니다. 입력 데이터셋은 실제 장비의 메트릭 데이터 중 최근 1000개의 데이터를 사용해 구성했으며, 모델의 정확성을 확인하기 위해 2개의 이상치 데이터를 혼합했습니다. 입력 데이터셋으로 사용된 4차원 데이터를 도식화하기 위해 3차원 Scatter 차트를 사용해서 데이터를 출력하면 아래와 같습니다. <그림 설명: 입력 데이터셋(1)> 위의 그림으로 CPU Usage, Memory Usage, Disk Busy Rate의 관계를 확인할 수 있으며, 이상치 데이터는 붉은 점으로 표시됐습니다. <그림 설명: 입력 데이터셋(2)> 위의 그림으로 CPU Usage, Memory Usage, Network Input bps의 관계를 확인할 수 있으며, 이상치 데이터는 역시 붉은 점으로 표시됐습니다. 입력 데이터셋에 대해 DAGMM epoch 횟수를 1000번으로 학습하여 모델을 생성할 경우 아래와 같은 Energy 밀도와 값을 얻을 수 있습니다. <그림 설명: DAGMM Energy 밀도(1)> <그림 설명: DAGMM Energy 밀도(2)> 생성될 모델에 대해 Energy 값의 99%를 초과할 경우를 이상치 데이터 셋으로 정의할 경우 아래와 같이 입력 데이터셋에서 이상치 데이터로 입력한 값들에 대해 정확하게 이상 징후를 탐지합니다. 이상과 같이 ITIM 제품인 Zenius EMS의 메트릭 데이터에 대한 이상 징후 탐지를 수행하는 방법에 대한 개괄적인 내용을 설명했으며, 이 모델은 당사의 Zenius EMS 시스템의 실시간 이상징후 탐지에 적용할 예정입니다.
2022.08.04
AWS Opensearch(오픈서치) Alerting plugin 활용 방법
AWS Opensearch(오픈서치) Alerting plugin 활용 방법
AWS OpenSearch(오픈서치)는 핵심 기능을 확장하기 위해 다양한 Plugin을 제공합니다. 이를 통해 운영 환경에 맞게 안정적이고 효율적인 기능을 추가할 수 있습니다. 그중에서도 Alerting Plugin 은 조건 기반 탐지와 알림 기능을 제공하며, 보안 모니터링이나 장애 대응 같은 영역에서 자주 활용됩니다. 특정 이벤트를 실시간으로 감시하고, 정의한 조건을 만족할 경우 자동으로 알림을 발생시켜 운영자의 대응 속도를 높일 수 있습니다. 이번 글을 통해서 Alerting Plugin의 주요 구성 요소와, 실제 적용 과정에서 고려해야 할 부분을 함께 살펴보겠습니다. 1. Alerting plugin이란? 보안기능의 기본은 특정 조건에 대한 탐지설정을 하고 설정한 탐지 조건에 만족하는 데이터를 찾게 되면 원하는 형태로 알림을 발생시키는 것입니다. Alerting 은 Opensearch 내에 데이터를 탐지 대상으로 하여 기본 탐지 기능을 안정적으로 제공하는 plugin 입니다. Opensearch 문서에서는 대략적으로 아래 키워드로 설명 하고 있습니다. - Monitor: 검색조건에 해당하는 쿼리를 작성하고, 실행주기를 설정합니다. 여기에서 정의된 쿼리의 실행 결과는 Trigger 의 입력 데이터로 사용됩니다. - Trigger: 입력되는 쿼리 결과를 기준으로 실제 행위를 발생시키는 조건을 정의합니다. - Alert: Trigger 에서 정의된 조건이 만족하는 경우 Alert 이라는 이벤트를 생성합니다. - Action: Alert 이 발생했을 때 수정행 할 작업을 정의합니다. - Notification: Alert 이 발생했을 때 전송되는 알림 메시지를 정의합니다. 2. 어떤 버전을 사용하면 될까? Alerting 기능은 Opensearch 1.1.0 버전부터 제공된다고 되어 있지만, 알림(Notification) 기능이 추가되는 2.0 이후 버전부터 활용성이 높아졌다고 생각되네요. 개발의 편의성이나 시각적인 결과를 원한다면 OpenSearch Dashboards에 도입되는 2.9 버전 부터가 OpenSearch Dashboards 에 도입되기 때문에 시각적인 결과확인이 가능하여 개발이나 테스트 시에 도움이 많이 될 수 있습니다. Openserach 가 설치되어 있다면 다음 방법으로 plugin 상태를 확인해 볼 수 있는데요. curl -X GET http://localhost:9200/_plugins/_alerting 결과 opensearch-alerting 2.16.0.0 opensearch-notifications 2.16.0.0 opensearch-notifications-core 2.16.0.0 실제 사용해봤던 버전은 2.10, 2.16 으로 기능상으로 큰 차이는 없었기에 적당한 버전을 선택하여 사용하면 될 것 같네요. 아래는 openserach-dashboard 명령어로 설치된 plugin 리스트를 확인한 결과입니다. ./opensearch-dashboards-plugin list --allow-root alertingDashboards@2.16.0.0 anomalyDetectionDashboards@2.16.0.0 assistantDashboards@2.16.0.0 customImportMapDashboards@2.16.0.0 ganttChartDashboards@2.16.0.0 indexManagementDashboards@2.16.0.0 mlCommonsDashboards@2.16.0.0 notificationsDashboards@2.16.0.0 observabilityDashboards@2.16.0.0 queryWorkbenchDashboards@2.16.0.0 reportsDashboards@2.16.0.0 searchRelevanceDashboards@2.16.0.0 securityAnalyticsDashboards@2.16.0.0 securityDashboards@2.16.0.0 아래는 Opensearch Dashboard 에서 설치된 plugin 을 메뉴로 확인상태 입니다. 이처럼 필요한 플러그인을 적절한 버전으로 설치했다면, 이제 Alerting의 핵심 기능인 Monitor 와 Trigger 설정 방법을 살펴보겠습니다. 3. Monitor 실제로 탐지를 수행하고 alert을 발생시키기 위한 trigger의 입력 값이 되는 검색조건과 실행 주기를 설정하는 부분입니다. Monitor 는 Alerting 의 출발점이자 이후 Trigger, Alert, Action 으로 이어지는 전체 탐지 프로세스의 기반이 되는 구성 요소입니다. 아래와 같이 몇 가지 검색조건을 구분하는 기능을 제공하는데, Per Query Monitor, Per Bucket Monitor에 대해서 먼저 알아보겠습니다. - Per Query Monitor 설정한 쿼리 결과의 개수를 그대로 Trigger 조건의 입력 값으로 사용하도록 처리하는 방식이기 때문에 기본적이면서 단순 조건을 처리할 때 주로 사용하는 방식입니다. 예를 들어 시스템 로그를 대상으로 특정 사용자에 대한 로그인 실패 이력을 조건으로 건다고 했을때 아래와 같은 쿼리가 가능합니다. { "size": 0, "query": { "bool": { "must": [ { "bool": { "must": [ { "match_phrase": { "userid": { "query": "root", "slop": 0 } } }, { "match_phrase": { "action": { "query": "failed_password", "slop": 0 } } } ] } } ], "filter": [ { "bool": { "must": [ { "range": { "@timestamp": { "from": "now-30m", "to": "now" } } } ] } } 쿼리에 만족하는 조건이 있다면 아래와 같은 결과가 나타납니다. { "_shards": { "total": 9, "failed": 0, "successful": 9, "skipped": 0 }, "hits": { "hits": [], "total": { "value": 4, "relation": "eq" }, "max_score": null }, Per Query Monitor 은 위와 같은 결과가 나왔을 경우 trigger 조건에 만족한다면 단일 alert 이 한 개 발생하는 방식입니다. - Per Bucket Monitor 이 방식은 쿼리에 Aggregation 를 설정하여 Bucket 단위 별로 trigger 조건을 검사하고 alert 을 발생시키는 방식입니다. Per Query Monitor 과 동일한 조건의 쿼리에 아래와 같은 Aggregation query 가 추가되는 형태입니다. "aggregations": { "by_agg": { "terms": { "field": "host.keyword", "order": [ { "_count": "desc" }, { "_key": "asc" } ] } } } host 라는 필드로 group by 와 같은 집계를 하면 결과는 host 단위의 buckets 가 생성되고 각각의 bucket 에 개수가 포함되게 됩니다. 각각의 bucket 에 포함된 개수가 trigger 조건에 만족한다면 만족하는 만큼 alert 이 발생하게 되는데 이 부분이 Per Query Monitor 방식과 차이점이 되겠습니다. { ... "aggregations": { "by_agg": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "doc_count": 2, "key": "testhostname1" }, { "doc_count": 2, "key": "testhostname2" } ] } } } - Monitor API curl -X POST "https://localhost:9200/_plugins/_alerting/monitors/_search?pretty=true" -k -H "Content-Type: application/json" -d '{}' 아래와 같이 등록한 monitor 정보를 JSON 포맷으로 조회할 수 있습니다. Monitor 관련 몇 가지 API를 소개합니다. Create, Update 등 기본적인 기능 외에 설정한 Monitor 를 실행 시킬 수 있는 Monitor RUN API 도 제공 됩니다. 필요에 따라서 자신의 시스템에서 직접 실행시키는 로직을 구현해 볼 수 도 있을 것 같구요. 설정 내용을 미리 시뮬레이션 해서 결과를 테스트 해볼 수 있는 기능으로 활용해도 좋을 것 같습니다. Monitor Create POST _plugins/_alerting/monitors Monitor Update PUT _plugins/_alerting/monitors/<monitor_id> Monitor Delete DELETE _plugins/_alerting/monitors/<monitor_id> Monitor Run POST _plugins/_alerting/monitors/<monitor_id>/_execute 4. Trigger Trigger 는 Monitor 에 설정한 쿼리의 결과를 입력으로 Alert 을 발생 시킬 조건을 설정하는 과정입니다. 이 부분도 Per Query Monitor 과 Per Bucket Monitor 방식이 차이가 있습니다. Per Query Monitor는 쿼리의 결과가 단순 개수(hits)이기 때문에 개수 연상에 대한 true, false 로 결과를 얻습니다. 물론 결과가 true 인 경우에만 alert 이 발생하는 조건이 되겠죠. Per Bucket Monitor 방식은 개수 조건을 설정 하는 건 동일하지만 Aggregation 문에 정의된 key 명을 parent_bucket_path 에 맞춰 줘야 된다는게 다른 점입니다. Trigger condition 에서 설정한 조건이 만족한다면 bucket 단위로 결과 구해지게 됩니다. [ { "doc_count": 3, "key": "testhostname1" }, { "doc_count": 4, "key": "testhostname2" } ] 만약 실제로 이런 결과가 나왔다면 alert testhostname1, testhostname2 두 개의 alert 이 발생하게 됩니다. 5. Alert Monitor -> Trigger 조건이 만족하였다면 Alert 이라는 단위의 알림이 생성됩니다. Alert 은 Action 과 연계되었을 때 외부로 통보 등의 전달 기능을 수행할 수가 있고, 이런 연계 설정이 없다면 단순히 alert 이라는 데이터가 하나 신규로 생성되었다고 보면 됩니다. Opensearch Dashboard Alerts 메뉴에서는 아래와 같이 발생된 Alert 이 조회 됩니다. Alert 단위 별로 구체적으로 확인할 수 있는 방법은 없는 것 같고, Opensearch Dashboard 에서는 조회할 수 있는 정보는 이 정도가 전부인 것 같습니다. Alert은 발생 시점부터 Completed 될 때까지 아래 상태로 관리가 됩니다. - Active 조건이 만족하여 발생된 상태이고 아무런 처리가 되지 않은 상태라고도 합니다. - Acknowledged 관리자가 확인했다 정도의 의미를 부여할 수 있을 것 같은데요. 이 상태로 변경된 후부터 조건이 만족 했는데도 Alert 이 발생하지 않는 것처럼 보여질 수도 있습니다. 하지만 특정 시점이 되면 다시 Alert 이 발생하게 되는데 좀 애매한 운영 상태라고 보여집니다. 정확한 것은 이 상태 이후 실제 Alert을 발생시키는 조건이 해제 되었다가 다시 조건이 만족하게 된다면 Alert 이 발생하게 됩니다. Alert이 계속 발생되는 조건이라면 계속 Acknowledged 상태가 유지 되는 거라서 추가 Alert 이 발생되지 않는다는 오해에 소지가 있을 수도 있겠네요. 1번과 같이 Acknowledged 상태라도 조건이 만족하고 있는 상태라면 기존 상태가 유지가 되고, 2번 처럼 조건이 불만족 상태가 되면 상태는 Completed 상태가 되어 Alert 은 종료 처리됩니다. 3번처럼 이후 다시 조건이 만족한다면 새로운 Alert 이 발생하게 됩니다. - Completed Alert이 발생하는 조건 즉 Trigger 조건이 만족하지 않는 경우 기존 발생된 Alert 상태는 Completed 상태로 전환됩니다. 이후 다시 조건이 만족한다면 새로운 Alert 이 발생하게 됩니다. 개발 중에 이슈 사항 중 하나였다면 Completed 상태를 관리자가 임의로 변경할 수 없다는 것입니다. Alerting 시스템의 철학인지는 모르겠지만 상태 변경은 Acknowledged 만 가능하다는 것입니다. 즉 Completed는 Alerting 자체에서 조건의 만족 상태에 따라 변경해 주는 상태이고, 개발중인 시스템에서 Completed 상태를 별도로 운영하기 위해서는 자체적인 상태 처리 로직이 추가 되어야 됩니다. -Alert API curl -XGET "https://localhost:9200/_plugins/_alerting/monitors/alerts?pretty=true" -k 아래와 같이 발생한 Alert 리스트를 JSON 포맷으로 조회할 수 있습니다. 6. Action Alert 이 발생했을 때 관리자에게 통보하는 방식과 통보 메시지 등을 설정하는 기능입니다. Channel 이라는 설정을 하게 되는데 쉽게 말하면 통보 수단을 의미하는 거고 기본적으로 아래와 같은 통보 수단을 제공합니다. 기존에 자체적인 alert 처리 서비스가 있어서 이 서비스를 활용하고자 Custom webhook 방식을 사용했습니다. Action > Notification 에서 정의하는 Message 를 JSON 형식으로 우리의 alert 처리 서비스에 전달하는게 목적입니다. 전체적인 Action > Notification 설정은 아래와 같습니다. - Message 통보 수단을 통해 전달된 메시지 내용을 정의합니다. { "alertmessage": { "monitor": "{{ctx.monitor.name}}", "monitorid": "{{ctx.monitor._id}}", "trigger": "{{ctx.trigger.name}}", "severity": "{{ctx.trigger.severity}}", "period_start": "{{ctx.periodStart}}", "period_end": "{{ctx.periodEnd}}", "results": {{#toJson}}ctx.results{{/toJson}}, "deduped_alerts": [ {{#ctx.dedupedAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.dedupedAlerts}} ], "new_alerts": [ {{#ctx.newAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.newAlerts}} ], "completed_alerts": [ {{#ctx.completedAlerts}} { "id": "{{id}}", "bucket_keys": "{{bucket_keys}}" } {{/ctx.completedAlerts}} ] } } Message 에 사용할 수 있도록 제공되는 대략적인 정보 입니다. - ctx.monitor : Moniter 설정 정보 - ctx.trigger : Trigger 설정 정보 - ctx.newAlerts : 신규 생성 Alert 정보 - ctx.completedAlert : 완료된 Alert 정보 - ctx.dedupedAlerts : 기존 생성된 Alert 중복 생성 정보 ctx 내용 전체를 확인해 보면 활용할 수 있는 내용이 그렇게 많지는 않습니다. 목표로 했던 기능 중에 Alert 서비스에 발생된 Alert 의 실제 쿼리 범위 시간을 구해야 되는 했던 기능이 있었습니다. 아래 두 가지 값이 제공되어 값을 확인해 보니 조건 쿼리가 실행되는 interval 시간으로 확인 되어 실제로 사용하지는 못했습니다. ctx.periodStart ctx.periodEnd 대신 ctx.periodEnd 시간에 실제 쿼리 내에 정의된 time range 값을 계산하여 실제 쿼리 범위 시간을 구하는 방식으로 처리 했습니다. - Perform action Alert 단위에 대한 Action 처리 방식은 아래와 같은 종류도 설정할 수 있습니다. - Per execution: 조건을 만족하는 alert 이 여러 개여도 action 은 한번만 처리. - Per alert: 조건을 만족하는 alert 이 여러 개면 각각마다 action 을 수행함. 우리는 각각의 Alert 마다 action 처리가 필요하기 때문에 Per alert 방식을 사용했고, Actionable alerts 아래와 같이 설정 했습니다. - New: 신규 Alert 에 대한 Action 처리를 위해서 반드시 필요한 부분이고 - De-duplicated: 이미 생성된 Alert 에 대해 동일한 조건이 만족되었을 때 Action 을 처리할 것인가를 설정하는 내용입니다. 기존 생성된 Alert 의 상태 정보를 업데이트 시켜 주기 위해서는 이 설정을 추가해줘야 됩니다. - Completed: 발생된 Alert 의 조건이 만족하지 않게 된 경우 Action 처리 여부를 설정합니다. 기존 발생된 Alert을 자동으로 완료 처리해주려면 이 설정을 추가해줘야 됩니다. Action 에서 설정된 내용 데로 통보 수단을 통해 충실히 전달된다면, 실제 서비스 로직 에서 제대로 처리해줘야만 됩니다. - Notication message 처리 Alert 을 처리하는 서비스 로직 에서는 아래 같이 Alerting Notication 으로 message 를 전달 받게 됩니다. 자체 서비스 로직 에서는 이 정보를 분석하여 발생된 Alert 를 관리하는 기능을 구현할 수 있습니다. 어떤 감시설정으로 발생된 Alert 인지를 식별할 수 있는 정보입니다. 서비스 로직에서 감시설정, Alert 을 식별하여 처리하는데 필요한 정보 입니다. priod_start, period_end : 감시설정의 조건 쿼리가 실행되는 interval 시간 입니다. 만약 쿼리문에 time range 값이 아래처럼 정의 되어 있고 alert 이 발생된 시점에 time range 를 구하려 한다면 위의 시간 값 만으로는 어렵습니다. "range": { "@timestamp": { "from": "now-30m", "to": "now", "include_lower": true, "include_upper": true, "boost": 1 } } } } Period_start 에 30m을 더하거나 period_end 에서 30m 빼는 방식으로 실제 time range 값을 구할 수 있었습니다. results[0].aggregations.by_agg.buckets 이 값에서는 검색조건 결과에 해당하는 buckets 결과 값을 구체적으로 조회할 수 있습니다. New_alerts : 신규 생성 alert deduped_alerts : 기존 발생된 alert completed_alerts : 완료된 alert 위와 이 서비스 로직에서 alert 의 상태를 구분하여 처리할 수 있습니다. 7. 마치며 이번 글에서는 Alerting Plugin 기능을 큰 카테고리별로 나누어, 주로 OpenSearch Dashboard 를 기반으로 설명했습니다. Alerting Plugin 은 기본적인 API 를 제공하므로, 위에서 다룬 모든 기능은 REST API 를 통해서도 동일하게 활용할 수 있습니다. 따라서 Alerting Plugin 을 탐지 엔진으로 잘 활용한다면, 운영 환경에서 안정적이고 효율적인 탐지 체계를 구축할 수 있습니다.
2025.09.15
다음 슬라이드 보기