[인간을 넘보는 컴퓨터] 미래 주식시장은 기계들의 냉혹한 전쟁터

‘인간을 넘보는 컴퓨터’ 시스템 트레이딩의 세계

긴장의 연속인 실전 투자에서 컴퓨터의 역할이 점점 커지고 있다. 미리 설정한 투자 전략에 따라 자동으로 상품을 사고파는 시스템 트레이딩은 파생 상품에서 주식 현물로 영역을 넓히는 중이다. 시장 심리와 감정에 흔들리지 않는 객관적인 투자 판단이 가장 큰 강점이다. ‘한국판 르네상스테크놀로지’를 꿈꾸는 이들도 적지 않다. 조만간 주식시장은 인간이 아니라 알고리즘 간의 냉혹한 전쟁터가 될 것이라는 전망도 나온다.

독특한 디자인으로 유명한 서초동의 최고급 주상복합 부티크 모나코. 지난 2월 16일 오후 금융자산 15억 원 이상인 우리투자증권 VIP 고객 15명이 이곳 4층 회의실에서 고급스러운 원목 탁자를 사이에 두고 모여 앉았다. 이날 모임은 우리투자증권 강남역 S&G센터에서 마련한 시스템 트레이딩 세미나다. S&G센터는 시스템 트레이딩과 해외 투자 특화 점포로 아직은 강남역 한 곳뿐이다. 이 센터는 이런 세미나를 거의 매주 개최한다. 이날은 고액 자산가를 선별, 초청해 마련한 비공개 세미나로 진행됐다.

김성신 S&G센터장은 “고액 자산가들 사이에서 시스템 트레이딩을 포트폴리오에 편입하는 경우가 많아지고 있다”고 말했다. 하락장에서 위험관리에 유용하다는 매력 때문이다. 지난해 8월 유럽 재정 위기의 여파로 국내 금융시장이 또 한 번 요동쳤다. 대부분의 투자자들이 속수무책으로 손실을 기록했다. 하지만 시스템 트레이딩은 오히려 이 기간에 큰 수익을 올렸다. 김 센터장은 “시장의 변동성이 커질 때나 하락장에서 시스템 트레이딩이 특히 위력을 발휘한다”고 말했다.

시스템 트레이딩은 실제 수익률에서도 앞선다. 우리투자증권은 지난해 초부터 PK투자자문과 함께 시스템 트레이딩 사모 펀드 랩 4개를 내놓았다. 작년 1월 나온 PK사모펀드랩1호는 지난 1월 9일 기준으로 6.59%의 수익률을 기록하고 있다. 같은 기간 코스피200은 14.3%나 뒷걸음질했다. 이들 4개 상품에 들어온 투자금은 지금까지 200억 원대에 이른다.



6.59% vs -14.3%

우리투자증권은 시스템 트레이딩을 좀 더 단순화한 ‘스마트 인베스트’ 상품도 내놓았다. 작년 9월부터 판매돼 현재 1000계좌 넘게 팔려나갔다. 이 상품에 투자한 투자자들의 지역별 분포가 흥미롭다. 거래 계좌들을 지역별로 나누면 대구 둔산이 1위를 차지하고 강남 GS타워점, 강남대로점, 신사점, 경기도 이천점, 본점 영업부, 강남역, 동교동, 방배동, 잠실신천점, 압구정점 등의 순서다. 대구 둔산점 고객이 유독 많은 것은 그 지점에 시스템 트레이딩에 밝은 직원이 있기 때문이다. 대구 둔산점을 제외하고 보면 거액 자산가들이 많은 강남 지역이 주를 이루는 것을 확인할 수 있다.

이들 시스템 트레이딩 상품을 파는 과정은 순탄치 않았다. 시스템 트레이딩은 미리 정해 놓은 투자 규칙에 맞춰 100% 기계적으로 매매가 이뤄진다. 시장이 우상향으로 계속 상승해 꾸준히 수익을 낼 때는 상관없지만 시장이 출렁이면 평정심을 유지하는 것이 만만치 않다. 김 센터장은 “한때 주가가 오르는데 랩 수익률은 계속 떨어져 ‘이게 무슨 절대 수익 추구냐’는 항의를 엄청나게 받았다”며 “그 과정을 견디기가 쉽지 않았다”고 말했다. 심한 가슴앓이를 견디며 끝까지 남은 투자자들은 대부분 시장 수익률을 훨씬 웃도는 짭짤한 수익을 챙겼다.

우리투자증권 S&G센터가 있는 강남역 일대는 국내 시스템 트레이딩의 본산이다. 강남역에서 교대역으로 이어지는 이 지역에 증권사들의 시스템 트레이딩 점포와 교육장, 솔루션 개발사, 시스템 트레이딩 전문 투자 자문사와 부티크들이 포진해 있다.

국내에 시스템 트레이딩이 본격적으로 소개된 것은 2000년이다. 삼성전자 출신들이 창업한 홈 트레이딩 시스템(HTS) 개발 업체 예스스탁이 하이투자증권(당시 제일투자신탁)과 함께 국내 최초로 시스템 트레이딩용 HTS를 내놓았다. 해외 연수 등을 통해 국내에도 그 명성이 알려져 있던 미국의 트레이딩 스테이션을 국산화한 것이다.

현재 시스템 트레이딩 활성화에 가장 적극적인 증권사는 하이투자증권·우리투자증권·리딩투자증권 등 3곳이다. 이들은 시스템 트레이딩용 HTS를 고객들에게 무료로 제공하고 있으며 모두 예스스탁이 개발한 ‘예스 트레이더’를 기반으로 한다는 공통점이 있다.

시스템 트레이딩 분야에서 가장 유명한 인물은 세계 최대 헤지 펀드 중 하나인 르네상스테크놀로지의 제임스 사이먼스 최고경영자(CEO)다. 하버드대 수학 교수 출신인 그는 1982년 시스템 트레이딩 전문 헤지 펀드인 르네상스테크놀로지를 설립해 경이적인 수익률로 월스트리트를 뒤흔들었다. 국내에서는 알바트로스라는 필명으로 잘 알려진 성필규 PK투자자문 회장, ‘원조 슈퍼 개미’로 꼽히는 권정태 씨, 박정윤 로버스트홀딩스 대표 등이 유명하다. 성 회장과 권 씨는 주식 투자로 많은 돈을 벌었지만 단 한 번의 실수로 추락한 이후 시스템 트레이딩으로 돌아선 경우다. 이들은 유럽 재정 위기로 시장의 변동성이 커졌던 2008년 엄청난 수익을 올렸다.

국내에서 시스템 트레이딩인 선물·옵션 등 파생 상품을 중심으로 발전해 왔다. 유택정 리딩투자증권 이사는 “주식은 상승장에서만 수익을 낼 수 있지만 파생 상품을 하락장에서도 돈을 벌 수 있기 때문”이라고 말했다. 주식에 붙은 0.3% 거래세도 큰 걸림돌이다. 시스템 트레이딩은 조건만 맞으면 거래를 수없이 반복하는데, 이때 세금 부담이 눈덩이 처럼 커진다. 반면 파생 상품은 거래세 부담이 전혀 없다.

시스템 트레이딩을 시작하려면 먼저 증권사들이 제공하는 전용 HTS를 설치해야 한다. 다음 단계는 자신의 투자 전략을 컴퓨터가 이해할 수 있는 프로그램으로 만드는 것이다. 현재 예스스탁의 예스트레이더(YT), 대신증권의 사이보스 트레이더(CT), 미국 트레이딩 스테이션(TS) 등 3개가 프로그램 언어로 가장 많이 쓰인다. 유 이사는 “3개월 정도 연습하면 자기가 원하는 매매 로직을 프로그램할 수 있다”고 말했다.

시스템 트레이딩이 아무리 뛰어나도 투자 전략까지 만들어 주지는 않는다. 첫 번째 고비가 바로 자신만의 명확한 투자 전략을 만드는 작업이다. 박상우 예스스탁 차장은 “대부분의 투자자들이 정보나 뉴스, 시장 분위기에 의존해 투자하는 데 머무르고 있다”며 “객관적으로 표현할 수 있는 매매 원칙을 갖고 있는 투자자가 생각보다 많지 않다”고 말했다. 매매 규칙에 넣을 수 있는 요소는 거의 무한대다. ‘비가 오면 주식을 매수하라’거나 ‘미국 시장이 5% 이상 하락하면 시가에 매도한다’는 것도 프로그램이 가능하다. 일단 투자 전략이 완성되면 과거 10년 이상 시장 데이터로 모델을 직접 검증해 볼 수 있다는 것도 시스템 트레이딩의 장점 중 하나다.

하지만 투자 성패를 좌우하는 것은 결국 인내심이다. 박 차장은 “승률이 높은 투자 전략을 만들어 꾸준히 거래하는 것이 성공의 핵심”이라고 말했다. 아무리 뛰어난 전략이더라도 100% 승률을 보장하는 것은 없다. 시장의 움직임에 따라 손익의 부침이 불가피한 것이다. 하지만 1년 이상 장기적으로 투자하면 대부분 목표 수익률을 달성한다. 박 차장은 “특히 시장이 하락할 때 답답한 마음을 참지 못하고 직접 거래에 손대기 시작하면 모든 원칙이 무너진다”고 말했다.

지난 2월 14일 하이투자증권 교대역지점 교육장. 오후 4시 30분이 가까워오자 하나둘 사람들이 모여들기 시작했다. 이 지점에서 2005년 시작된 시스템 트레이딩 교육과정에 참석하기 위해서다. 지금까지 이 15시간짜리 교육과정을 거쳐 간 사람은 3500명이 넘는다. 교대역지점 정문재 부장은 “주말에는 아침 9시부터 저녁 7시까지 강의가 이어지는데 지방에서 올라온 사람들로 발 디딜 틈이 없다”고 말했다.

이날 참석자는 모두 26명. 직장인이 9명으로 가장 많고 자영업자와 전문 투자자가 각각 4명을 차지했다. 30대 여성 2명과 전업주부도 1명 눈에 띄었다. 30~40대 틈에 낀 20대 대학생도 눈길을 끌었다.

전업 투자자인 김모(56) 씨가 시스템 트레이딩에 관심을 갖게 된 것은 감정 조절 실패로 손실을 본 경험 때문이다. 1년 전 주식에서 파생 상품으로 전환했다는 그는 “나름대로 투자 원칙을 갖고 있는데, 심리적인 요인에 좌우돼 제때 진입과 청산을 못할 때가 많다”며 “100% 컴퓨터가 매매하도록 하는 것이 직접 사고파는 것보다 훨씬 좋은 성과를 낼 것”이라고 말했다.

정보기술(IT) 업체에 다니는 직장인 이모(35) 씨도 시스템 트레이딩에 대한 기대를 감추지 않는다. 이 씨는 “과거 전화에서 HTS로 거래 수단이 바뀐 것처럼 앞으로는 시스템 트레이딩이 대세가 될 것”이라고 말했다. 시스템 트레이딩을 하면 회사에서 업무 중에 시장 상황에 신경 쓰지 않고 일에 집중할 수 있다는 점도 빼놓을 수 없는 매력이다.

사람이 이길 수 없는 게임

하지만 이것이 시스템 트레이딩의 전부는 아니다. 지금까지 살펴본 것은 투자자들의 매매 전략을 프로그램 언어로 표현해 컴퓨터가 이에 따라 기계적으로 사고팔도록 한 형태다. 문병로 옵투스 투자자문 대표는 “이것은 진정한 의미에서 시스템이 주도하는 트레이딩이 아니다”라고 말했다. 중간에 컴퓨터가 개입하지만 투자자가 갖고 있는 투자 전략에서 모든 것이 출발하기 때문이다.

서울대 컴퓨터공학부 교수인 문 대표는 2001년 연구실 벤처로 옵투스를 설립해2009년 금융사로 공식 전환했다. 옵투스는 파생 상품 대신 주식·현물로 시스템 트레이딩을 운영한다. 문 대표가 지향하는 것은 컴퓨터가 최적화 알고리즘에 의해 스스로 투자 전략을 만들고 포트폴리오를 짜는 것이다. 전략 운영과 매매만 전담하는 기존 형태에서 한 발 더 나아간 것이다.

옵투스는 현재 80억 원 규모의 자금을 운용하고 있다. 2009년 2월 개설된 고유 계좌의 누적 수익률이 현재 140%에 이른다. 같은 기간 코스피는 68% 오르는데 그쳤다. 옵투스의 전산 시스템은 전체 상장 기업 10년 치 재무제표와 주식 거래량, 국제 유가 통화량, 각종 국내외 경제지표 등 수많은 정보를 바탕으로 스스로 포트폴리오를 만들어 낸다. 30개 종목으로 짜인 포트폴리오에는 의외로 대형주보다 중소형주가 많이 눈에 띈다.

문 교수에 따르면 미국은 2009년 기준으로 전체 거래의 4분의 3이 컴퓨터 알고리즘에 의해 이뤄진다. 이 수치는 2015년쯤이면 90%를 넘어설 것으로 예상된다. 문 교수는 “사람 주도형 투자에서 컴퓨터 주도형 투자로 거대한 패러다임 변화가 일어나고 있다”며 “앞으로 금융시장은 사람들의 전쟁터가 아니라 기계들, 알고리즘끼리의 전쟁터가 될 것”이라고 말했다.

장승규 기자 skjang@hankyung.com
사진 서범세 기자 joycine@hankyung.com·김기남 기자 knk@hankyung.com