기술이야기 | 브레인즈컴퍼니

주메뉴 바로가기 본문 바로가기

메인 페이지로 이동
블로그
기술이야기

블로그

기술이야기

기술이야기 LLM Wiki로 프로젝트 지식 관리하기: Obsidian과 AI 에이전트 적용 사례 기술이야기 LLM Wiki로 프로젝트 지식 관리하기: Obsidian과 AI 에이전트 적용 사례 프로젝트가 길어지면 문서도 함께 늘어납니다. 기획서와 기술 조사 자료, 일정표, 설계서가 쌓이고 요구사항도 계속 바뀝니다. 문제는 필요한 문서를 찾는 것보다, 여러 문서 가운데 지금 무엇을 기준으로 봐야 하는지 판단하는 일이었습니다. AI를 개발 업무에 활용하면서 이 문제가 더 분명해졌습니다. 여러 자료를 빠르게 읽고 정리할 수는 있었지만, 과거 문서와 현재 기준이 함께 있으면 어떤 내용을 우선해야 하는지까지 AI가 스스로 알 수는 없었습니다. 이를 정리하기 위해 Andrej Karpathy가 공개한 LLM Wiki 패턴을 프로젝트 문서 관리에 적용했습니다. 원본과 현재 기준을 분리하고, 문서 우선순위와 변경 이력을 관리하면서 Obsidian과 AI 에이전트를 실제 기획·설계 업무에 활용했습니다. 이 글을 통해서 그 과정에서 어떤 구조를 만들고, 실제 업무에 어떻게 적용했는지 소개하려고 합니다. 이 글에서 말하는 LLM Wiki Andrej Karpathy가 제안한 패턴을 프로젝트 환경에 적용한 것입니다. 원본 자료와 LLM이 관리하는 Markdown Wiki를 분리하고, 사람은 자료를 선택하며 Obsidian에서 문서 연결과 변경 결과를 검토합니다. 이 프로젝트에서는 여기에 문서별 우선순위, 대체 관계, 변경 이력과 기획·설계 산출물 연결 규칙을 구체화했습니다. 원형 출처: Andrej Karpathy, “LLM Wiki — A pattern for building personal knowledge bases using LLMs” 01. 프로젝트 문서가 늘어날수록 ‘현재 기준’이 불분명해졌다 프로젝트 자료는 PPT, PDF, Excel, Markdown으로 나뉘어 있었습니다. PPT에는 합의된 방향이, PDF에는 기술 조사 결과가, Excel에는 기능 목록이, Markdown에는 구현 검토가 들어 있었습니다. 어느 한 문서만 읽어서는 전체 범위를 알 수 없었습니다. 기획이 변경될 때마다 서로 다른 기준을 담은 문서가 함께 남았고, 각각의 문서는 당시 결정과 검토 과정을 담고 있었습니다. 과거 문서를 삭제하면 결정의 맥락을 잃고, 그대로 두면 AI가 오래된 내용을 현재 기준으로 사용할 가능성이 생겼습니다. 검색할 수 있다는 것과, 무엇을 현재 기준으로 적용해야 하는지 안다는 것은 다른 문제였습니다. 프로젝트 문서 관리에서 확인한 핵심 문제 그래서 문서를 더 잘 검색하는 것보다 먼저, 원본과 현재 기준을 구분하고 문서 간 우선순위와 대체 관계를 명시하는 방식이 필요했습니다. 이 문제를 해결하기 위한 출발점으로 LLM Wiki의 기본 구조를 프로젝트 환경에 맞게 다시 정리했습니다. 02. LLM Wiki를 프로젝트 문서 관리 구조로 구체화했다 Karpathy의 원형은 Raw Sources, Wiki, Schema를 분리합니다. 이 구조를 그대로 가져오기보다 프로젝트 문서가 실제로 쌓이고 변경되는 방식에 맞춰 역할을 구체화했습니다. 원본은 수정하지 않고 보존하고, 여러 원본을 대조한 현재 기준은 별도의 Wiki로 관리했습니다. Schema의 역할은 프로젝트 운영 규칙과 문서 우선순위로 구체화했습니다. Karpathy의 LLM Wiki 원형을 프로젝트 문서 관리 방식에 맞게 구체화한 구조 raw/에는 기획서와 일정표 같은 원본을 그대로 보존했습니다. wiki/에는 여러 자료에서 공통으로 확인된 사실, 현재 적용할 요구사항, 설계 결정과 제약을 정리했습니다. index.md에는 어디서부터 읽어야 하는지와 문서 우선순위를, log.md에는 무엇이 언제 바뀌었는지를 기록했습니다. 일반 문서 검색과 무엇이 다른가 LLM Wiki가 RAG를 대체하는 것은 아닙니다. 자료가 많아질수록 검색은 여전히 필요합니다. 검색이 ‘관련 문서를 찾는 일’이라면, LLM Wiki는 ‘찾은 문서를 어떤 기준으로 해석하고 재사용할지 유지하는 일’에 가깝습니다. 이렇게 기준을 구조화한 뒤에는 AI와 사람이 각각 어디까지 판단할지 역할을 나누는 과정이 필요했습니다. 03. AI가 판단하고, 사람은 최종 기준을 결정했다 LLM은 raw 자료를 기존 Wiki, 문서 우선순위, 변경 이력과 비교해 어떤 자료를 우선 적용할지 먼저 판단했습니다. 판단 근거가 충분하면 반영안을 제시하고, 기존 기준과 충돌하거나 해석이 불분명하면 ‘어느 문서를 우선할지’, ‘기존 기준을 대체할지’를 구체적인 질문으로 다시 전달했습니다.사람은 그 질문에 답하고 최종 반영 여부를 확인했습니다. LLM은 우선순위를 먼저 판단하고 질문하며, 사람은 답변과 최종 확인을 담당합니다. Karpathy의 원형에서도 LLM Agent와 Obsidian을 나란히 두고, LLM이 Wiki를 수정하는 동안 사람이 결과를 탐색·검토하는 역할 구분을 제안합니다. 이 프로젝트에서는 문서 연결을 통해 기획 기준에서 설계와 화면 문서로 이동하고, 역방향 연결로 한 정책 변경이 어떤 문서에 영향을 주는지 확인했습니다. Graph View는 핵심 문서와 연결되지 않은 문서를 살펴보는 보조 수단으로 사용했습니다. Obsidian Graph View로 확인한 LLM Wiki 연결 구조 기획·요건·설계·구현·검증 문서가 어떤 기준 문서를 중심으로 연결되는지 살펴보고, 연결이 약하거나 고립된 문서를 사람이 점검하는 데 사용한 실제 화면입니다. Graph View 자체가 최신 승인 문서를 판정하는 것은 아닙니다. 내부 검토용 실제 캡처이며, 외부 공개본에서는 프로젝트명과 내부 문서명을 비식별화해야 합니다. 도구가 해결하지 않는 부분 Obsidian은 최신 승인 문서를 자동으로 판별하지 않으며, LLM이 작성한 문서의 정확성을 보장하지도 않습니다. 문서 우선순위, 원본 근거와 사람의 검토가 계속 필요합니다. 이렇게 역할을 나누자 Wiki는 단순한 문서 저장소가 아니라, 변경된 기준을 실제 업무에 다시 적용하기 위한 출발점이 됐습니다. 다음으로 이 구조를 정책 변경과 화면설계에 어떻게 사용했는지 살펴보겠습니다. 04. 실제 설계 업무에서 LLM Wiki를 어떻게 사용했는가 구조를 만든 뒤에는 이 기준이 실제 기획·설계 업무에서도 일관되게 작동하는지 확인했습니다. 여기서는 인증·권한 정책 변경과 화면설계 두 가지 사례를 중심으로 살펴보겠습니다. CASE 01. 정책 변경을 관련 설계 전체에 반영했다 API Key 정책이 바뀌었을 때 인증 문서 하나만 수정하지 않았습니다. 관련 Wiki를 찾아 권한 범위, 상태 모델, 감사 기록, 화면 표시와 개발 책임을 함께 대조했습니다. 변경 이유와 우선 적용 문서를 기록해 구형 설계가 다시 사용되지 않도록 했습니다. 확인한 결과: 한 정책 변경이 상태·감사 모델, 화면과 개발 설계까지 함께 반영됐습니다. CASE 02. Wiki의 기준을 사용자 화면과 개발 설계까지 연결했다 화면설계는 ‘API Key 관리 화면을 만들어 달라’는 한 문장의 지시로 시작하지 않았습니다. 먼저 Wiki 문서 우선순위에서 현재 적용해야 할 기획·인증·권한·보안 기준을 확인하고, 기존 UI 참고 자료와 서로 충돌하는 항목을 대조했습니다. 자료 Ingest → LLM 우선순위 판단 → 충돌·불확실성 질문 → 사용자 답변·확인 → Wiki 반영 → 화면 정책 추출 → 사용자용 HTML → 개발자용 설계 ① 입력 자료와 현재 기준을 분리했다 원본 UI 참고 이미지와 기획 자료는 근거로 보존했습니다. AI 에이전트는 wiki/index.md의 우선순위와 기존 변경 이력을 바탕으로 권한 설계, API Key 보안 정책과 개발 가이드 중 현재 적용할 기준을 먼저 판단했습니다. 과거 문서와 충돌하는 항목은 질문으로 분리했고, 사용자의 답변과 확인을 거쳐 최종 기준과 판단 이유를 변경 이력에 남겼습니다. ② 사용자 관점의 화면 흐름을 HTML로 만들었다 관리 목록, 간편·상세검색, 등록, 재발급, 폐기, 폐기 재확인과 감사 이력 조회를 하나의 화면설계 HTML에 구성했습니다. 이 단계의 목적은 코드를 정하는 것이 아니라 사용자가 어떤 순서로 선택하고 확인하는지를 검토하는 것이었습니다. Wiki의 실제 화면설계 HTML을 렌더링한 화면입니다. 목록에서 전체 흐름을 확인하고, 등록·1회 표시·재발급·폐기·재확인·이력 조회를 함께 검토할 수 있도록 구성했습니다. 계정명, 제품명, Key와 내부 주소는 외부 설명용 값으로 비식별화했습니다. ③ 사용자 검토 결과를 다시 화면에 반영했다 별도 사용자 선택 팝업은 등록 창 내부 Selectbox로 변경했고, 폐기에는 최종 재확인 단계를 추가했습니다. 사용자가 알 필요 없는 내부 Reason Code와 Key ID 검색은 제거했으며, 내부 상태 코드는 표시명으로 바꿨습니다. Key 원문은 발급·재발급 성공 직후 한 번만 표시하도록 제한했습니다. ④ 확정된 화면을 개발 책임 단위로 분해했다 검색, 목록, 행 선택, 등록, 1회 표시, 재발급, 폐기, 재확인과 이력 조회를 포함한 12개 기능 단위에 고유 ID를 부여했습니다. 각 기능마다 사용자 동작, 선행 권한, 업무 처리, 현재 데이터 변경, 감사 기록과 다음 화면을 연결해 개발자가 화면 뒤의 책임까지 확인할 수 있도록 했습니다. 개발자용 화면·구현 설계 결과 사용자 화면을 12개 기능 단위로 나누고, UI 동작에서 권한 확인·업무 처리·데이터 변경·감사 기록·후속 화면으로 이어지는 구조를 정리했습니다. 실제 DB 테이블명과 내부 클래스명은 설명용 표현으로 일반화했습니다. 확인한 결과: 화면 모양만 생성한 것이 아니라, 어떤 기획·보안 기준이 어떤 사용자 동작으로 바뀌었고 그 동작이 어떤 개발 책임으로 이어지는지 한 흐름으로 추적할 수 있는 산출물을 만들었습니다. AI 에이전트로 필요한 기준만 다시 조회했다 AI 에이전트에게 전체 프로젝트를 막연하게 읽도록 맡기지 않았습니다. 먼저 사용자가 지정한 자료만 Ingest 대상으로 한정하고, 원본 보존과 Wiki 갱신 결과를 확인했습니다. 이후 화면설계에 필요한 항목만 질문해 기준 문서·요구사항·보안 제약·미결정 사항으로 나눠 추출하는 방식으로 작업 범위를 줄였습니다. ① Ingest — 지정한 원본을 Wiki의 근거와 현재 기준으로 연결 [입력] 사용자가 명시한 raw 원본 파일 목록 [비교] 기존 Wiki·index 우선순위·변경 이력과 신규 자료 대조 [판단] LLM이 일치·추가·충돌·대체 관계와 적용 우선순위를 잠정 결정 [질문] 근거가 부족하거나 충돌하면 선택지를 포함해 사용자에게 재질문 [확정] 사용자 답변과 확인에 따라 현재 기준·대체 관계 확정 [기록] 관련 Wiki 갱신, index에 우선순위 반영, log에 판단 사유 추가 [검증] 원본 보존, 변경 파일 목록, 미해결 충돌 확인 원본 파일을 복사하는 것만으로 Ingest가 끝난 것으로 보지 않았습니다. Wiki와 연결된 LLM이 신규 raw 자료를 기존 기준과 비교해 우선순위를 먼저 판단하고, 충돌·모호함·근거 부족이 있으면 사용자에게 다시 질문합니다. 사용자의 답변으로 판단을 확정한 뒤 관련 Wiki, 문서 우선순위와 변경 이력을 함께 갱신해야 다음 질의에서도 같은 기준을 사용할 수 있습니다. ② Query — 화면설계에 필요한 데이터만 구조화해 추출 [질문] 현재 우선순위를 적용해 API Key 관리 화면에 필요한 사용자 동작과 보안 제약을 추출한다. [조회 기준] 문서 우선순위 / 권한 설계 / Key 보안 정책 / 개발 가이드 / 변경 이력 [출력 항목] 사용자 동작 / 표시 항목 / 노출 금지 정보 / 권한 조건 / 감사 요건 [근거] 각 항목이 나온 Wiki 문서와 변경 이유 [사람 판단] 문서 간 충돌 / UX 선택 / 최종 승인 필요 항목 이 질의에서는 화면에 필요한 요구사항과 보안·권한 제약을 근거 문서, 변경 이유와 함께 구조화했습니다. AI 에이전트가 결론을 승인한 것이 아니라, 사람이 쟁점과 근거를 같은 형식에서 검토할 수 있도록 정리한 것입니다. ③Screen Design — 조회 결과를 사용자 흐름과 개발 책임으로 변환 구조화한 기준과 기존 UI 참고 자료를 함께 사용해 사용자용 HTML을 만들고, 검토 의견을 다시 반영했습니다. 확정된 화면은 12개 기능 단위로 나눠 사용자 동작에서 권한·업무 처리·데이터 변경·감사 기록으로 이어지는 개발자용 설계서로 확장했습니다. 05. 적용하며 확인한 이점과 남은 과제 적용 과정에서 가장 크게 달라진 점은 문서를 단순히 모아 두는 데서 그치지 않고, 현재 기준과 그 판단 근거를 함께 추적할 수 있게 됐다는 점입니다. AI 에이전트는 신규 raw 자료를 기존 Wiki와 비교해 충돌과 대체 관계를 먼저 드러내고, 확정하기 어려운 내용은 질문으로 돌려줍니다. 사람은 모든 문서를 처음부터 다시 대조하는 대신 쟁점과 근거를 중심으로 판단하면서 최종 통제권을 유지할 수 있었습니다. 변경의 영향 범위도 한 문서 안에 머물지 않았습니다. 하나의 정책 변경을 관련 요구사항, 상태·감사 모델, 사용자 화면과 개발 설계까지 연결해 확인하고, 어느 기준이 왜 바뀌었는지를 변경 이력에 남겼습니다. 이후 다른 AI 에이전트나 새로운 작업 세션에서도 원본 전체를 매번 다시 해석하기보다 같은 현재 기준과 결정 맥락에서 작업을 시작할 수 있는 기반이 마련됐습니다. 다만 이번 적용 결과만으로 생산성이 얼마나 향상됐는지를 수치로 표현하기에는 무리가 있습니다. 실제 효과를 확인하려면 신규 AI 세션에서 맥락을 전달하는 데 걸리는 시간, 현재 기준을 찾는 시간, 설계 변경 누락이나 재작업이 얼마나 줄었는지 등을 지속적으로 확인할 필요가 있습니다. 또한 LLM은 문서 간 충돌을 찾고 판단을 지원할 수 있지만, 최종 기준을 정하는 것은 여전히 사람의 검토와 확인이 필요한 영역입니다. 마치며 Karpathy가 제안한 LLM Wiki 패턴을 프로젝트에 적용하면서 확인한 것은, AI에게 많은 문서를 제공하는 것만으로 프로젝트 맥락이 안정적으로 유지되지는 않는다는 점입니다. 원본과 현재 기준을 분리하고, 무엇을 우선 적용할지와 무엇이 변경됐는지를 함께 관리해야 다음 작업에서도 같은 기준을 이어갈 수 있었습니다. LLM Wiki 자체를 새롭게 제안한 것은 아닙니다. 이번 적용에서는 공개된 원형을 실제 기획·설계 업무에 맞춰 문서 우선순위, 대체 관계, 변경 이력과 사람의 승인 지점까지 구체화했습니다. LLM은 원본 분석과 지식 정리를 지원하고, 사람은 Obsidian에서 결과를 검토하며 최종 결정을 내리는 방식입니다. 2026.09.17

1