딱 맞는 AI 골라주고, 전문지식 특훈도... 진화하는 AI 엔지니어

다양한 모델 쏟아지는 'AI 춘추전국시대'
LLM 큐레이션, 검색증강생성 기술 각광
특정 영역별 프롬프트 엔지니어도 등장
"엔지니어링 중요성↑... 생존경쟁 시작"

편집자주

인공지능(AI)은 인간 노동자를 돕게 될까요, 아니면 대체하게 될까요. AI로 인해 새로운 직업이 생기기도 했고, AI와 인간의 경쟁이 촉발되기도 했습니다. 이미 시작된 노동시장의 '지각변동'을 심층취재했습니다.

생성형 인공지능 스타트업 뤼튼테크놀로지스의 박민준(왼쪽) AI 수석연구리드와 현지웅 연구원이 1일 서울 서초구 서초동 뤼튼테크놀로지스 사무실에서 한국일보와 인터뷰하고 있다. 이현주 기자

"쉽게 말해 GPT-4는 똑똑하지만 덜 예쁘게 말하고, 클로드 2는 덜 똑똑하더라도 예쁘게 말합니다. 두 가지 인공지능(AI) 모델을 조합하면, 똑똑하고 말도 예쁘게 하는 모델이 탄생하는 것이죠."

박민준(28) 뤼튼테크놀로지스 AI수석연구리드

국내 생성형 AI 스타트업인 뤼튼테크놀로지스(이하 뤼튼)는 지난해 오픈AI의 GPT 시리즈, 네이버의 하이퍼클로바, 구글의 PaLM2 등 국내외 거대언어모델(LLM) 5종을 10가지 평가지표로 평가하는 연구를 진행했다. 최근 유행하는 마이어스-브릭스 성격유형검사(MBTI)처럼 인공지능(AI) 모델의 명확성, 공감능력, 정중함, 일관성 등을 평가한 것이다. 그 결과 GPT-4는 적절성과 대화 참여도에서 높은 성능을 보였고, 하이퍼클로바는 완결성이 더 뛰어난 것으로 나타났다.

어떤 AI 쓸까... 큐레이터에게 물어봐

이런 연구가 진행된 것은 2022년 11월 말 오픈AI의 생성형 AI 서비스 '챗GPT'의 등장 이후 국내외 빅테크(대형 기술기업)들이 서로 다른 AI 모델들을 앞다퉈 내놨기 때문이다. 사용자 입장에선 과거에 여러 검색 포털을 입맛에 맞게 썼던 것처럼, AI 모델을 쇼핑하듯 골라 쓸 수 있게 된 셈이다. 뤼튼은 여러 모델을 조합해 사용자에게 최적화한 AI 서비스를 제공한다. 이른바 'LLM 큐레이션' 기술이다. 박민준 뤼튼 AI 수석연구리드는 "이 같은 큐레이션 서비스가 가능하려면 전문가 한 명만으론 어렵다. 150만여 명의 사용자에게 문제없이 서비스를 제공하기 위해서는 데이터 엔지니어, AI 엔지니어, 챗봇에 특화한 엔지니어, 멀티모달¹ 전문가 등 다양한 층위의 전문가들이 필요하다"고 설명했다.

뤼튼테크놀로지스가 시중에 나와 있는 국내외 AI 모델 5종에 다양한 평가지표를 적용한 결과. 그래픽=송정근 기자

이처럼 자체적인 생성형 AI 파운데이션 모델(광범위한 데이터를 학습한 기계학습 모델)을 보유하지 않은 기업들에선 AI 활용에 특화한 전문가들이 속속 등장하고 있다. 특히 높은 수준의 기술력을 갖춘 스타트업들 사이에서 이 같은 흐름이 뚜렷하다. AI 등장 초기에는 업계에 일반적인 프로그래머나 엔지니어가 대다수였는데, 이들의 업무가 점차 세분화·전문화하고 있는 것이다.

뤼튼의 현지웅(28) 연구원은 사내에서 '검색 증강 생성'(RAG) 기술 구현을 맡고 있다. RAG 기술은 데이터를 학습한 범위 내에서 한정된 답만 내놓는 AI의 맹점을 채우기 위해 질문에 답하기 전 외부 데이터베이스를 실시간으로 검색할 수 있도록 하는 AI 보강 기술이다. 현 연구원은 "단순 검색이 아니라 사용자의 요구와 맥락을 추론해 검색 전략을 세우고 적절한 검색 결과 제공 방법을 찾아 사용자 경험을 극대화하는 게 핵심"이라고 강조했다.

AI에 법률 지식 주입... 도메인 전문가도 등장

리걸테크 스타트업 BHSN의 이성진(왼쪽) AI 엔지니어와 김윤기 AI 엔지니어가 1일 서울 강남구 삼성동 BHSN 사무실에서 한국일보와 인터뷰하고 있다. 이현주 기자

특정 분야 데이터를 학습시키고 AI 모델을 훈련시키는 '도메인 프롬프트 엔지니어'도 'AI 춘추전국시대'에 주목받는다. AI 모델에서 결과물을 얻기 위해 입력하는 내용을 '프롬프트'라 하고, 원하는 결과가 나오도록 프롬프트에 공을 들이고 최적화하는 사람을 프롬프트 엔지니어라고 부른다. AI 등장과 함께 각광받았던 프롬프트 엔지니어가 이젠 영역별로 분화하는 중이다.

법률과 기술을 융합한 리걸테크 스타트업 BHSN의 이성진(25), 김윤기(23) AI 엔지니어는 법률에 특화한 도메인 프롬프트 엔지니어다. 이 엔지니어는 "간단히 말해 초·중·고교를 졸업해 기반 지식만 있는 AI를 법학전문대학원(로스쿨)에 보내고 실무 지식까지 교육시키는 역할을 한다"고 비유했다. BHSN의 AI 모델은 판례, 법령, 행정규칙 등 다양한 법률 데이터를 학습해 법률 특화 언어 이해력이 높고 정확한 답변을 생성한다.

무조건 대량의 법률 정보를 학습시킨다고 해서 법률 특화 AI 모델이 탄생하는 것은 아니다. 김 엔지니어는 "데이터만 학습시킨다고 끝나는 게 아니라, 프리 트레이닝(사전 기반지식 학습)과 파인 튜닝(학습된 모델을 전문 영역에 맞춰 조정) 과정까지 거쳐야 한다"면서 "이젠 이런 과정을 직접 겪어보고 해당 AI 모델을 제일 잘 이해하면서 성능까지 평가할 수 있어야 전문가"라고 강조했다. 김 엔지니어는 "AI 모델 학습 과정에서 사내 법률가들과 협업했을 뿐 아니라, 직접 법제처나 공정거래위원회 등이 공개한 공공 법률 데이터들을 습득하려고 노력했다"고 덧붙였다.

일각에선 AI 모델이 발전할수록 프롬프트 엔지니어링 기술의 중요성이 낮아진다는 주장이 나온다. 이들은 그러나 동의하지 않는다고 했다. 김 엔지니어는 "AI 성능이 아무리 고도화해도, AI가 무슨 일을 할지 정의하는 사람은 결국 프롬프트 엔지니어"라고 말했다. 이 엔지니어도 "이제는 AI 정확도가 아무리 높아도 수익화로 직결되지 않으면 가치를 인정받기 어려워졌다"면서 "당면한 문제를 푸는 데 AI 기술을 적용할 줄 알고, 비용까지 절감할 수 있는 엔지니어들이 결국 살아남을 것"이라고 내다봤다.

목차별로 읽어보세요

1. <1>생성과 분화

   1. "월 700만원 벌어봤어요"… 아들 셋 30대 주부는 어떻게 'AI 일꾼'이 됐나
   2. 사람 손 거쳐야 똑똑해지는 AI... 학습 데이터 수작업 일자리도 고도화
   3. 선거 프로그램 매니저 뽑는 오픈AI... 빠르게 다양해지는 AI 엔지니어 일자리
   4. "인구 감소 대응하려면 AI 산업 확대 필요… AI과학자·설계자 길러내야"

2. <2>대체와 대응

   1. 1분 만에 영상 진단, 표본 아닌 전체 자료로 감사... "일 안 뺏기려면 AI 잘 다뤄야"
   2. AI가 로봇, 소프트웨어보다 인간에게 더 '위험'한 이유
   3. "내 자리 대체할지 모를 AI, 내가 학습시켰다"... 콜센터 습격한 AI
   4. 웹툰 그리고 스토리도 짜는 AI... 인간 창작의 가치 어디까지

3. <3>노동의 미래는

   1. "AI, 노동시장에 구조적 차별 가져올 수 있다"... 해외 석학들의 경고
   2. 미국은 노동보호 앞장서는데, 우리는... "노동자·경영자·학자 참여하는 통합 거버넌스 필요"

4. <4: 에필로그> 기자와 AI

   1. "AI, 한번 기자가 되어 볼래?"... 사람보다 잘 쓸 수 있을까
   2. AI가 쓴 기사, 사람 '데스킹' 받아보니... 문장 매끄럽지만 논지 불분명 한계
   3. AI가 쓴 기사와 전문 데스킹 기사, 직접 비교해보세요

1 멀티모달

Multi-Modal. 텍스트, 이미지, 음성, 영상 등 다양한 형태의 정보를 주고 받을 수 있는 기능.

이현주 기자 memory@hankookilbo.com

오지혜 기자 5g@hankookilbo.com

윤현종 기자 belly@hankookilbo.com

문예찬 인턴 기자 moonpraise@ewhain.net