6일 동안 AI 개발툴과 바이브 코딩하며 느낀 점

프로젝트 후반부 수정 지옥을 미리 피하는 방법

토요일부터 오늘까지 틈틈이 시간내서 AI 개발 툴(replit)과 웹 앱(보통 웹사이트라고 한다)을 함께 만들어 보고 느낀 점을 기록해 둔다. 블로그니까 로그를 기록하는게 당연하겠..제목을 ‘6일 동안 AI 개발툴과 바이브 코딩하며 느낀 점’이라고 뽑았지만(처음엔 놀고나서라고..) 지금 되돌아 보니 내가 AI를 데리고 놀았는지 AI가 나를 데리고 놀았는지 모르겠다. 처음엔 호기심으로 시작해서 중반엔 생각했던 웹사이트가 바로 바로 구현되는 것을 지켜보며 놀랐다가 뒤로 갈수록 수정작업이 내 마음대로 이루어지지 않아 실망과 낙담을 했던 것 같다.

replit
  • AI에게 지시를 내리기 전에 ChatGPT나 제미나이 같은 LLM AI을 이용해 먼저 자신의 아이디어를 논의하고 구체화하는 게 반드시 필요하다. 듣기에도 생소한 PRD다. AI 개발 툴에게 간단한 말로 이런 저런 앱을 만들어 줘~ 라고 지시할 수도 있지만 홈페이지 같은 정적인 웹사이트(이런 작업들은 AI가 지금 바로 사람을 대체할 정도로 정말 빠르고 훌륭하게 수행한다)를 만드는 게 아니라면 반드시 LLM AI를 이용해서 아이디어를 구체적으로 설계하고 어떤 기능들이 필요한 지 미리 논의하는 게 좋다.
  • 이렇게 만든 스크립트를 기본으로 AI 개발툴이 개발 시안을 제시하는데 이때 그냥 바로 수정사항을 이야기하기 보단 시안을 어떤 식으로 만들었는지 개발 AI와 약간의 토론을 해보는 게 좋다. 전달받은 스크립트를 기반으로 어떻게 구현했는지, 그리고 어떤 아이디어를 추가하는 게 좋은지, 구조는 어떻게 만들었는지 같은 전체적인 부분을 사람도 알고 있으면 후반 작업(가장 중요하다)이 수월해진다. 처음에 약간 돌아가거나 쓸데없이 비용이 나간다고 생각하기 쉽지만 의외로 이 부분이 나중에 닥칠 수정 지옥(?)을 조금이라도 피할 수 있는 지름길이다.
  • AI 개발 툴에도 환각이 있다. 마치 작업 지시자가 말하는 모든 게 쉽게 구현될 것처럼 자신있게 말하기 때문에 처음 접하는 나같은 개발을 전혀 해보지 않은 사람들은 AI가 하는 말에 바로 속아넘어가기 쉽다. AI가 한 말만 믿고 덜컥 작업을 진행시켰다가 나중에 이를 수정하기 위해 정말 많은 시간과 돈과 에너지를 소모하게 된다. 물론 아무리 오랜 시간이 걸렸더라도 산출물이 시원찮을 땐 바로 그 전 단계로 롤백할 수도 있지만 그에 따른 기회비용과 매몰비용은 피할 수 없다. 개인적인 생각이지만 이럴 경우 AI에게 화를 내거나 비난하는 투로 지시하면 아웃풋이 더 나빠지는 것 같다. 감정이 없는 AI라도 살살 달래고 우쭈쭈하면서 지내는 게 더 나았다.
  • AI에게 작업 지시는 구체적으로 해야한다. AI 개발툴에게 작업을 지시하기 전에 다른 AI에게 작업에 대해 물어보거나 아니면 따로 조사해서 대안을 찾아 제시하면 찰떡같이 잘 알아 듣고 빠르게 분석한다. AI가 인간보다 훨씬 뛰어난 장점이니 그냥 단순한 지시만 하고 끝나는 게 아니라 본인이 먼저 구체적인 계획을 세우고 계획에 대한 대안을 다방면으로 찾고 조사해서 그 결과를 복사해서 던져 주는, 개발 주도권을 일정 부분 가지고 있어야 한다. 당연한 말이지만 결국 사람이 가지고 있는 만들고자 하는 앱에 대한 도메인 지식의 크기가 AI 개발 성능에 가장 큰 영향을 끼친다. 당연히 S/W 개발 지식이 있다면 훨씬 더 유리해진다. 상급 개발자의 경우 AI 개발 툴을 잘 활용한다면 정말 무시무시한 성과를 낼거라 확신한다.
  • AI 개발 툴은 없는 것을 만들거나 새로운 아이디어를 만들어 낼 수 있는 능력은 없다. 아니 설령 있더라도 사람이 올바르게 지시하지 않는 한 만들지 못한다. 스티브 잡스가 말했듯 고객은 자신들이 무엇을 필요로 하는지 모르는 것처럼 지시하는 사람 역시 자신이 무엇을 만들지 미리 정확하게 알고 지시하지 못한다. AI 개발 툴이 가장 잘 하는 것은 큰 덩어리들을 잘게 쪼개어 (이미 존재하는) 작은 작업으로 지시했을 때 그 작은 작업을 잘 해낸다. 그러려면 먼저 사람이 자신이 하고자 하는 일의 큰 덩어리와 작은 덩어리, 그리고 아이디어를 디벨롭하면서 생겨나는 추가 덩어리들에 대한 생각을 먼저 가지고 난 후에 지시해야 한다. 앞에서 AI에게만 맡기지 말고 자신이 직접 계획을 세워야 한다고 강조한 부분과 겹치는 말이다.
  • AI가 작은 작업을 잘한다는 것을 장점이라고 했지만 그래서 오히려 전체적인 연동에서 문제가 생기기 쉽다. 작은 작업의 퍼포먼스는 너무 뛰어나지만 그 작업을 했을 때 그 작업과 연결된 다른 작업과의 상호 연동에 대해서 미리 고민하지 않기 때문에 그냥 지시받은대로 아무 고민없이 작은 작업부터 바로 시작하는 경우를 많이 봤다. 프로젝트 후반부로 갈수록 연동된 작업들이 늘어나기 때문에 AI의 이런 작은 작업에서 발생하는 자잘한 실수들은 결국 프로젝트 후반부에서 시간과 비용을 잡아 먹는 가장 큰 요인이 되고 때론 프로젝트 실패의 가장 큰 이유가 된다.
  • AI는 단기 기억상실증인 사람처럼 행동하는 경우도 많다. 바로 전에 지시해서 작업을 완료했는데 그 부분을 다시 물어 보며 지시하면 마치 처음 듣는 것처럼 반응하는 경우도 있고 이미 했던 작업과 모순되는 지시를 받더라도 미리 모순을 찾아내지 못하고 일단 먼저 진행하고 문제를 만나면 그때서야 허둥대는 경우가 많았다. 작은 작업들은 뛰어나지만 전체적인 구조를 보고 상호 연결해서 입체적으로 보는 능력이나 진행하는 작업들을 기억하며 병렬로 처리하는 부분에선 아직 많이 부족해 보였다. 그래서 프로젝트의 끝부분으로 갈수록 수정 지옥(?)이 벌어지고 전체를 뒤집어 엎을 일도 종종 생기게 된다..ㅋ
  • 6일 동안 AI 개발툴과 바이브 코딩하며 느낀 점을 나열하다 보니 가장 최근에 느낀 후반부 수정 지옥을 떠올리며 나같은 실수를 하지 말란 의미에서 AI의 장점 보다 단점 위주로 많이 이야기했지만 AI 개발 툴을 직접 사용해 본 소감은 그야말로 깜짝 놀랄 수준으로 올라왔다고 느꼈다. 개발자 입장에서 생각한다면 이제 더이상 AI를 이용한 개발은 개발자의 선택 사항이 아닌 필수가 됐다고 본다. 개발자라면 무조건 AI를 받아들여 자신의 날개로 삼아야 한다. 물론 나같은 비전공자들도 AI 개발툴을 한번씩 이용해서 평소 자신이 생각만 하고 있던 아이디어를 실현해 본다거나 작더라도 자신의 업무 자동화 툴을 한번 만들어 본다면 아마 또다른 세상이 열릴 것이다~

내가 만들었던 아이디어는 버핏이 매일 8시간 이상을 500페이지가 넘는 사업보고서나 책을 읽는다는데 비록 버핏이 읽는 책(지혜의 원천)을 자동화할 수는 없겠지만(이 부분은 구글의 NotebookLM이라는 탁월한 도구가 있다) 기업의 사업보고서에서 버핏이 볼만한 핵심 숫자들은 AI가 빠르게 자동화해서 단 10초만에 정리할 수 있지 않을까 하는 생각. 그래서 우리의 DART에 해당하는 EDGAR(다트보다 훨씬 표준화가 잘 됐다는 말만 믿고 덜컥..ㅋ)를 건드렸다가 XBRL…지옥을 맛봤다.ㅋㅋ

버핏, 그 대단한 사람

매일 스스로에게 문제를 출제하는 삶을 산 사람

내가 쓴 책의 목적 중 하나는 나같은 평범한 일반인들이 어설프게 버핏을 따라하면 절대로 안된다는 이야기를 세상 사람들에게 꼭!! 들려주고 싶어서였다. 아무런 생각없이 그냥 버핏에 관한 뉴스를 보거나 버핏을 다룬 책을 읽고나서 모두가 버핏처럼 따라하기만 하면 버핏처럼 백만장자, 억만장자, 그리고 조만장자가 될 것처럼 생각한다. 블로그에 했던 이야기 또하는 것처럼 책에서 이미 다 했던 이야기를 또 하고 싶진 않고…사실 요즘 이것때문에 블로그에 뜸하게 글을 올리게 된다. 이미 다 했던 이야기의 반복..

과거에 내가 쓴 글 하나가(역시 버핏과 멍거에 대한 글이다) 좋아 그 글을 곱씹으려고 자주 블로그에 들어온다는 댓글에 기분 좋아져 아주 짧게 답글을 달다가 뭐라도 투자 공부에 도움이 될까 싶어서 댓글로 1972년 즈음 버핏의 워싱턴포스트 매수에 대해 이야기했었다.

당시 한화 122억원으로 약 10% 내외 지분을 매수(이후 버핏은 WP 이사회에 정말 들어가고 싶었지만 캐서린 그레이엄이 전혀 눈치채질 못해서 미디어계에 있던 친구 톰 머피에게 대신 말해달라고 부탁해서 결국 이사회에 들어갔다..ㅋ)하고 무려 40년 동안 가지고 있다가 2013년 아마존의 제프 베조스가 워싱턴포스트를 인수할 때(우리나라는 이럴 때 대주주 지분만 프리미엄을 붙여 인수하면 된다~) 1조가 넘는 금액을 회수했으니 수익률로 9000%가 넘는 수익률이다. CAGR 12% 정도로 버크셔 60년 평균 CAGR 20%와 비교하면 보잘것 없어 보이지만…그건 버핏 이야기고 나같은 일반인이 보기엔 결코 나쁘지 않은 수익률이다. 댓글에서 언급했듯 배당은 계산에서 빠졌다.

“구매 후 1~2년 이내에 매도할 계획이 있는 투자자에게는 진입 가격이 얼마이든 아무런 보장을 드릴 수 없습니다. 시장 움직임을 확실하게 예측할 수 있는 방법은 없기 때문에 버크셔 해서웨이 주식은 최소 5년 이상 보유할 계획인 경우에만 매수하시기를 권합니다. 단기 수익을 추구하는 분들은 다른 곳을 알아보시는 게 좋습니다.

또 다른 경고: 버크셔 해서웨이 주식은 빌린 돈으로 매수해서는 안됩니다. 1965년 이후 우리 주가가 최고치 대비 약 50% 하락한 적이 세 번 있었습니다. 언젠가는 이와 비슷한 폭락이 다시 일어날 것이고, 그 시점은 아무도 모릅니다.”

– 워런 버핏

물론 12%가 쉬워 보일지도 모르겠다. 그럼 40년은 쉬워 보이는가? 투자금 100억이 넘는 돈은 말하지도 않겠다. 사실 이게 가장 어려운 일이다. 자신이 계산한 가치에 확신을 가지고 의미 있는 규모로 매수에 나서는 것, 의미 있는 규모의 돈을 먼저 모으는 것. 책에서도 강조했지만 버핏은 11살에 이미 2백만원(이하 모두 현재가치)이 넘는 돈을 스스로의 힘으로 모았고 19살에 1억이 넘는 돈을 모았으며 26살에 18억이 넘는 돈을 가지고 자신의 펀드를 시작했다. 30살에 90억을 넘겼고 초기 펀드를 마감한 39살에 1,700억원 가까운 돈을 모았다. 이 당시 버핏이 어떻게 한 해도 마이너스 없이 펀드를 운용했는지는 책에서 자세히 이야기했었다. 여기까지가 가치투자 1.0에 관한 이야기다.

워싱턴포스트 로고

그 후 버핏이 투자했던 씨즈캔디와 함께 워싱턴포스트를 공부해 보면 벤저민 그레이엄의 가치투자 1.0에서 버핏이 어떻게 가치투자 2.0으로 진화할 수 있었는지를 리버스엔지니어링 할 수 있다. 가치투자 1.0에서는 절대로 한 기업을 40년 동안 가져갈 수가 없다. 특히 워싱턴 포스트는 버핏이 정답을 가르쳐 주고 있는 사례로 버핏이 매수할 당시 시가총액이 1억 달러 내외였지만 당시 워싱턴포스트 내재가치가 4~5억 달러 정도였다고 자신의 답을 이미 만천하에 공개했었다. 일반적으로 내재가치의 1/2 가격도 혹할만한 데 버핏말대로라면 워싱턴포스트는 내재가치 1/4 가격이었으니 버핏이 눈돌아갈만 했겠다.

“우리의 워싱턴포스트 보유 지분은 1973년 중반 주당 기업 가치의 4분의 1 이하로 모두 매입한 것입니다. 기업 가치 대비 주가 배수를 계산하는 데는 특별한 통찰력이 필요하지 않았습니다. 대부분의 증권 애널리스트들, 미디어 담당 브로커들, 미디어 경영진들도 워싱턴포스트의 내재가치를 우리처럼 4~5억 달러로 추정했을 것입니다. 그리고 시가총액 1억 달러는 모든 사람들이 볼 수 있도록 매일 발표되고 있었습니다. 무엇보다 우리가 가진 우위는 태도였습니다. 우리는 벤저민 그레이엄으로부터 ‘좋은 기업의 주식을 기업 가치보다 크게 할인되어 거래될 때 매수하는 것’이 투자 성공의 열쇠라고 배웠습니다.”
– 워런 버핏

이렇게 버핏의 답을 알고 있는 문제가 있다면 버핏을 따라 투자하려고 마음먹은 투자자라면 이 문제를 스스로 풀어 보고 자신의 답을 버핏의 답과 비교하는 작업을 해봐야 한다고 생각한다. 그렇게 하다 보면 책에서 배우지 못하는 많은 걸 배울 수 있다…하지만 이미 댓글에서 언급한대로 이 문제를 스스로 풀어 본, 혹은 지금 이 글을 읽고도 스스로 이 문제를 풀 투자자는 그리 많지 않을 것이다. 이 문제를 풀어 보려 마음을 먹었더라도 곳곳에 장애물(영어 같은 언어뿐만 아니라…)이 숨어있기 때문이다. 버핏이 산수 정도만 알면 투자할 수 있다고 장담했지만 투자를 하려면 기본적으로 투자 언어인 회계를 볼 줄 알아야 한다. 재무제표를 읽고 그 의미를 알 정도 수준은 돼야 한다. 사실 이 부분은 생각보다 큰 장애물이다.

예전에 내가 이 문제를 고민했을 때 검색해 보니 이 문제를 스스로 풀고 공개한 해외 블로거의 글 2개(하나는 3단 DCF 사용…영구성장률을 높게 잡았) 정도를 봤었는데…단순히 고든 모형에 할인률을 1972년 당시 10년 국채이자율로, 성장률을 단순히 GDP성장률로 계산(당시 WP순이익 10만 달러 / (국채이자율 – GDP성장률) = 4억 달러 내외의 내재가치)하는 게 내가 생각한 버핏의 밸류에이션과는 거리가 먼, 그저 버핏의 공개된 답에 맞춘것 같은 방법으로 보였지만 그래도 이 문제를 고민했다는 것과 함께 풀어 보려는 시도 자체, 그리고 다른 사람이 볼 수 있도록 자신이 생각한 방법을 인터넷에 공개한 것을 높이 평가했었다. 하지만 계산방법은 틀렸다. 버핏과 그의 후계자 토드 콤스가 했던 말대로 답을 먼저 보고 문제를 풀면 이런 일이 종종 생긴다..^^

버핏이 자신의 풀이 과정을 공개하지 않고 답만 공개했기 때문에 어떤 방법이 버핏이 사용하는 방법인지는 알 수 없다. 앞으로도 절대로 자신의 방법을 공개하지 않을 것이기 때문에 내가 스스로 결론에 이른 과정이 정확하다고 할 수도 없는 문제다. 하지만 이 문제를 붙들고 홀로 답을 풀어나가는 과정을 통해 버핏이 구사했던 가치투자 2.0에 대해 제대로 알게 되고 투자에서도 성장을 하게 될 것이다. 시중에 나와 있는 투자책 100권 읽는 것보다 훨씬 더 많은 것을 깨닫게 될 것이라 장담할 수 있다. 이 문제를 물어보진 않았지만 아마도 AI에게 물어봐야 앞에서 말한 저 오답처럼 인터넷에 널린 뻔하디 뻔한 답만 알려줄 게 거의 확실하다. 그러니 AI에 너무 의존하지 말고 반드시 자료들을 찾아 스스로 풀어 보시라. 내가 생각하는 AI 거품은 높은 밸류에이션이 아니라 과대포장된 AI의 능력에 있는 것 같다..ㅋ

버핏은 결국 우리가 투자 공부를 하는 목적은 X의 가치를 알기 위해서라고 했다. X(이를테면 워싱턴포스트)의 가치(정확한 답이 아니라 일종의 범위, 위에 인용한 버핏도 4~5억 달러라고 했다)를 알기 위해 조사하는 것이고, 난 블로그에 내재가치 계산기를 만들어서 공개하고 있는 것이다. 남에게 ‘그래서 뭘 사요?’를 물어 볼 게 아니라 ‘이건 얼마짜리인가?’ 를 스스로에게 물어야 하고 또 그 답을 스스로 찾아야 한다. 누군가가 나에게 물어봐서 X의 가치를 찾는 게 아니라 스스로 가치를 찾아 볼 X를 찾아야 한다. 피터 린치는 자기 주변에서 먼저 X를 찾아보라 했다. 버핏 정도 되면 알아서 X가 찾아 오니 그것의 가치만 알면 된다. 그러니 우리 같은 일반인들은 열심히 조사할 X를 먼저 찾아야 한다(X를 찾는 방법도 이미 다 이야기했다..ㅋ). 그리고 그것의 가치는 얼마일까를 스스로 알아내야 한다.

구글의 가치는 얼마일까? 삼성전자의 가치는 얼마일까? 가재를 잡기 위해 돌멩이 하나하나를 뒤집듯 투자는 그런 것이다. 지적 노가다. 매일매일 자기 스스로 풀어야 할 문제를 출제해야 한다(버핏은 과거 자신을 인터뷰한 그 수많은 기자들 중 누구도 버크셔의 가치에 대해 궁금해하지 않았다고 했다. 그저 기사를 쓰고 난 뒤 어디에 투자해야 하지?만 찾았다고 한다). 그리고 무엇보다 그런 해답, 즉 X의 가치를 찾는게 재밌어야 한다. 그런 반복되는 지적 노가다가 재밌는 사람이 세상에 몇이나 될까? 잠시는 재밌겠지만 70년이 넘는 세월동안 그게 재밌을 사람이 있을까? 심지어 탭댄스를 추면서 출근한다라…매일 7시간이 넘는 시간을, 500페이지가 넘는 사업보고서와 책을 읽으면서 가치를 찾을 수나 있을까? 가만히 사무실 구석에 앉아 있을수나 있을까? 그래서 버핏이 대단한 사람이다.

짧은 댓글 하나로 차마 다하지 못한 이야기를 쓰다 보니 또 주저리 주저리 길어졌다. 해가 갈수록 말만 많아지는거 같아 걱정이다..ㅋ 난 절대로 버핏처럼 못한다. 머리가 나빠 그걸 깨닫는 데 꽤 많은 시간이 걸렸다.

추가) 언젠가 얘기했듯 세상엔 자신만이 아는 비법을 알려주지 못해 안날난 사람으로 가득하다. 밸류에이션에 비법은 없다. 일종의 ‘공개된 비밀(Open secret)’이다. 그러니 굳이 알리려 할 필요도 없고. 문제만 제대로 알아도 이미 답에 거의 가까이 간 셈이다. 대부분은 뭐가 문제인지도 모르고 문제를 알아도 스스로 풀 생각을 안한다. 버핏이 말한 자신을 취재했던 그 많은 기자들처럼. 또 설령 문제를 알고 그 문제를 풀었다하더라도 행동과 연결짓지 못한다. 버핏이 말한대로 눈과 뇌가 끊어진 사람들처럼.

장비별 접속 비중

블로그(신기하게도 내 블로그는 모바일 접속자보다 글을 쓰는 나처럼 데스크탑으로 접속하는 사람이 더 많다)에 들어왔더니 어제부터 이상한 광고하나가 블로그 상단에 떠~억하니 자리잡고 있는 게 너무 보기 싫어서 없애느라 한참을 고민했다. 자동 광고로 구글에게 맡겨놨더니 이렇게 안하던 짓을 하고 있다. 거기는 절대로 그런 길쭉한 광고가 붙을 자리가 아닌데 오로지 노출 극대화를 추구하는 AI 알고리즘은 그런 디자인을 하나도 신경쓰지 않는다. 그래서 난 AI가 불편하다. 방금 AI 하나에 WP 내재가치를 물어봤더니…끌끌. 넌 계속 그 상태로 있어라~ 꽉막힌 잘못된 길을 가르쳐 주는 네비게이션처럼.