AI 기능 — 폰 안에 작은 AI를 심다

첫 프롬프트에서 나는 "최대한 온프레미스 LLM을 쓰되, 필요시 가성비 AI 모델을 선택"이라고 적었다. 풀어 말하면: 요약 같은 기본 기능은 내 폰 안에서 처리하고(데이터가 밖으로 안 나감), 더 똑똑한 처리가 필요하면 클라우드 AI를 쓴다는 이중 구조다. 개인의 생각을 다루는 서비스니까, 프라이버시를 기본값으로 두고 싶었다.

이건 기술 취향이 아니라 제품의 성격에 대한 판단이었다. 채록에 담기는 건 링크와 메모지만, 사람이 무엇을 담는지를 보면 그 사람이 요즘 무슨 고민을 하는지가 드러난다. 이직을 고민하는 사람의 라이브러리와 병을 앓는 가족을 둔 사람의 라이브러리는 다르다. 그런 데이터를 다루면서 "어차피 다들 클라우드로 보내니까"라고 넘어가고 싶지 않았다.

열흘 뒤, 이 문장은 실제로 구현됐다. 채록 앱 안에는 Qwen3라는 소형 AI 모델(0.6B, 용량 약 500MB)이 옵션으로 들어 있다. 설정에서 켜면 다운로드되고, 그때부터 노트 요약과 제목 달기를 폰이 직접 해낸다. 인터넷이 끊겨도 된다. 처음으로 내 폰 안의 AI가 노트에 "배포 효과 개선"이라는 제목을 스스로 지어 붙인 걸 봤을 때 — 그 감격은 열흘 중 손꼽는 순간이었다.

그 순간이 왜 그렇게 좋았는지 생각해봤다. 클라우드 AI가 훨씬 좋은 제목을 지어주는 건 이미 알고 있었다. 그런데 비행기 모드로 바꾼 폰이 혼자 문장을 읽고 제목을 붙이는 걸 보니, 이 기능이 어디에도 기대지 않고 존재한다는 사실이 실감났다. 서버가 죽어도, 회사가 사라져도, 요금제가 바뀌어도 그 폰 안에서는 계속 돌아간다. 내가 만들고 싶었던 "두 번째 뇌"에 가장 가까운 감각이었다.

여기도 기획 결정이 여럿 필요했다.

• 다운로드 고지 : 500MB를 아무 말 없이 받기 시작하면 사용자가 화낸다. 켜기 전 확인 다이얼로그에 용량 · Wi-Fi 권장 · 되돌릴 수 있다는 사실을 적었다
• 안 되는 기기 : 사양이 부족한 폰에서는 기능을 숨기는 대신 "왜 안 되는지"를 표시한다

두 번째가 특히 그렇다. 기능을 조용히 숨기면 사용자는 자기 폰이 이상한 줄 알고, 이유를 알려주면 납득하고 넘어간다. 같은 "못 쓴다"인데 남는 감정이 다르다.

그리고 무료 온디바이스 AI가 좋아 보일수록 유료 클라우드 AI의 매력이 죽는 문제 — 여기엔 카피로 답했다. 클라우드 옵션에 "가장 똑똑한 AI"라고 명시해서, 공짜가 좋아져도 유료의 급이 보이게 했다. 사실 이건 기능 싸움이 아니라 기대치 관리의 문제다. 두 옵션을 나란히 놓고 하나는 "무료", 하나는 "유료"라고만 적으면 사용자는 가격만 비교한다. 각 옵션이 무엇을 잘하는지를 이름에 담으면 선택의 축이 바뀐다.

이런 결정을 내리는 회의 참석자는 나 하나였고, 회의는 대개 밤 산책 중에 끝났다.