[인프런] AI 시대 전문성 갖추기

하용호님의 인프런 강의 AI 시대 전문성 갖추기를 듣고 기억해둘 내용을 정리한다.

핵심은 AI에게 일을 잘 시키는 프롬프트 하나를 만드는 데 있지 않았다. 결과를 계속 검증하고, 비판하고, 개선한 내용을 기억하는 시스템을 만드는 것이 더 중요하다.

런타임에서 중간 결과를 계속 검증하기

테스트 코드를 작성하는 것만으로는 부족하다. 테스트는 주로 실행 전후에 시스템이 예상대로 동작하는지 확인한다. 하지만 AI가 포함된 시스템에서는 여러 함수와 에이전트를 지나가는 중간 값 자체를 런타임에 지속적으로 평가해야 한다.

마지막 결과만 보고 성공과 실패를 판단하면 어느 단계에서 품질이 무너졌는지 알기 어렵다. 파이프라인 중간마다 평가 구간을 넣어야 문제를 빨리 발견하고 수정할 수 있다.

다른 에이전트에게 품질 리뷰를 한 번 요청하는 것으로 끝내지 않는다. 생성, 비판, 재검증, 수정이 계속 순환하도록 파이프라인을 설계해야 한다.

결과 생성 -> 여러 관점의 리뷰 -> 메인 에이전트의 재검증 -> 타당한 비판 수용 -> 결과 수정 -> 다시 리뷰

리뷰 에이전트의 의견도 언제나 옳은 것은 아니다. 따라서 돌아온 비판을 그대로 반영하지 않고, 메인 세션에서 근거와 맥락을 다시 확인한 뒤 수용해야 한다.

이 구조에서 사람의 역할도 달라진다. 모든 결과물을 직접 리뷰하기보다 다음과 같은 리뷰 시스템의 파라미터를 조정하고 전체 흐름을 모니터링하는 쪽으로 이동한다.

AutoResearch는 단순히 정해진 작업을 자동으로 반복하는 개념을 넘어선다. 시스템이 여러 방법을 시도하고, 결과를 평가하고, 더 나았던 방법을 다음 실행에 남기면서 스스로 개선되게 만드는 것이다.

프롬프트, 도구 조합, 작업 순서, 평가 기준을 실험 대상으로 삼을 수 있다. 잘된 시도와 실패한 시도를 모두 기록하면 다음 작업은 이전보다 나은 지점에서 시작할 수 있다.

사람은 시스템이 향해야 할 목표와 넘지 말아야 할 경계를 정한다. 시스템은 그 안에서 더 좋은 방법을 탐색한다. 결국 만들어야 하는 것은 한 번 좋은 결과를 내는 자동화가 아니라, 사용할수록 결과가 좋아지는 자가 진화 구조다.

자동화의 범위가 커질수록 결과물만 남고, 왜 이런 방식과 기준을 선택했는지는 사라지기 쉽다. 이런 의도 부채가 쌓이면 같은 판단을 반복하고, 시스템을 수정할 때 원래 목적을 잃게 된다.

스킬과 같은 문서화 단위에 다음 내용을 함께 기록해야 한다.

이 기록을 개인적인 요령으로만 남기지 않고 담당 -> CIC 단위로 점점 확장한다. 여러 사람이 같은 기록을 갱신하고 재사용하면 흩어진 메모가 아니라, 조직이 함께 학습하는 하나의 메모리가 된다.

아래 프롬프트는 중요한 작업을 여러 관점에서 검토하고, 비판 자체도 다시 검증할 때 활용할 수 있겠다.

서로 다른 관점에서 비판적으로 검토하는 서브에이전트 N개를 만들어
병렬로 기존 작업을 비판하도록 해.
돌아온 비판이 타당한지 메인 세션에서 재검증하고, 타당하면 수용해.
위 전체 과정을 2회 반복해.

AI 시대의 전문성은 답을 직접 잘 만드는 능력만을 뜻하지 않는다. 결과를 계속 검증하고, 여러 관점으로 비판하고, 학습한 내용을 기억해서 다음 실행을 더 낫게 만드는 시스템을 설계하는 능력이 중요하다.