전체
서울공대 이경한 교수팀, AI 통신·메모리 기술로 MobiCom 논문 2편 채택
인공지능(AI)이 분석하는 데 필요한 데이터만 골라 보내 통신 부담을 줄이고, 스마트폰에서 다른 앱을 사용하다 AI로 돌아왔을 때 답변을 기다리는 시간을 단축하는 기술이 개발됐다.
서울대학교 공과대학 전기·정보공학부 이경한 교수 연구팀은 AI 작업에 필요한 정보만 선별해 전송하는 통신 시스템 ‘TACToC’와 스마트폰 AI의 응답 지연을 줄이는 메모리 관리 시스템 ‘mzCache’를 개발했다.
TACToC는 정확도 손실을 3%포인트 이내로 유지하면서 통신 비용을 기존 방식 대비 최대 14.5배 줄였다. mzCache는 여러 앱을 사용하는 환경에서 기존 저장장치 기반 복구 방식보다 AI의 첫 응답 시간을 최대 5.5배 단축했다.
두 연구를 담은 논문은 지난 10월 26일부터 30일까지 미국 텍사스주 오스틴에서 열린 모바일 컴퓨팅·네트워킹 분야의 세계적 국제학술대회 ‘ACM MobiCom 2026’에 채택됐다.
AI 작업에 필요한 정보만 골라 보내는 ‘TACToC’
스마트폰이나 자율주행차, 로봇이 촬영한 영상을 원격 서버로 보내 AI가 분석하도록 하는 ‘추론 오프로딩’은 기기의 연산 부담을 덜 수 있는 기술이다. 다만 기존 영상 압축은 사람이 보는 화질을 기준으로 설계돼 AI 분석에 불필요한 정보까지 전송한다.
‘작업 지향 통신(Task-oriented Communications)’은 AI 작업에 필요한 정보만 보내는 방식이다. 그러나 기존에는 영상 분류나 물체 인식 등 작업마다 정보를 추출하고 압축하는 인코더를 별도로 학습해야 해, 여러 작업을 처리하거나 새로운 작업을 추가하는 데 부담이 있었다.
연구팀이 개발한 ‘TACToC(Task-Adaptive Communication for Task-oriented Communications)’는 하나의 인코더로 여러 AI 작업에 대응한다. 작업마다 인코더 전체를 새로 학습하는 대신, 수행할 작업의 정보를 담은 소형 프롬프트를 바꿔 필요한 영상 특징만 선별한다. 자율주행차가 같은 카메라 영상으로 주변 물체를 구분하거나 거리를 추정할 때, 각 작업에 중요한 정보를 골라 보내는 방식이다.
핵심은 ‘관련 특징 추정’과 ‘프롬프트 기반 작업 임베딩’ 두 알고리즘을 결합한 ‘작업 서술형 인코더(task-describable encoder)’다. 영상 특징이 AI 작업에 기여하는 정도를 예측해 필요한 정보만 고르고, 작업 정보는 소수의 학습 가능한 토큰으로 표현한다. 새로운 작업이 추가돼도 해당 토큰만 학습하면 된다. 선별된 정보는 압축해 서버로 보내며, 서버는 원본 영상 대신 분석에 필요한 특징을 복원하므로 기존 AI 모델을 수정 없이 활용할 수 있다.
공개 데이터셋으로 의미 분할, 자세 추정, 이미지 설명 생성, 이미지 분류, 깊이 추정 등 5가지 작업을 실험한 결과, TACToC는 정확도 손실을 3%포인트 이내로 유지하면서 통신 비용을 기존 방식 대비 1.5~14.5배 줄였다. 여러 작업을 동시에 처리할 때도 작업 수 증가에 따른 전송량 변화가 거의 없었다.
작업 전환에는 약 1900개의 매개변수만 갱신하면 됐으며, 소요 시간은 약 12.5ms(밀리초)였다. 기존 작업 지향 통신 방식보다 학습 처리량은 약 3배 높고, 메모리 사용량은 약 5분의 1 수준이었다. 엔비디아의 엣지 AI 기기 ‘Jetson AGX Orin’에서는 초당 약 21프레임을 처리했다.
실제 모바일 네트워크 환경을 반영한 실험에서도 안정적인 정확도를 유지하면서 H.265 영상 압축 방식보다 약 16.7%, 기존 작업 지향 통신 방식보다 약 41.1%의 대역폭을 절감했다. 기존 통신망 구조를 바꾸지 않고 적용할 수 있어 자율주행차·로봇·드론·지능형 CCTV 등의 통신 부담을 줄이고, 차세대 6G 시맨틱 통신과 피지컬 AI 서비스에 활용될 것으로 기대된다.
메모리 복구와 연산을 동시에 진행해 AI 응답 앞당기는 ‘mzCache’
연구팀이 함께 개발한 ‘mzCache’는 스마트폰에서 직접 AI를 실행하는 ‘온디바이스 AI’의 메모리 병목을 해결한다. 온디바이스 AI는 데이터를 외부 서버로 보내지 않아 개인정보 보호에 유리하지만, AI가 이전 대화 내용을 기억하려면 모델과 대화 기록을 메모리에 보관해야 한다. 소형 AI 모델도 모델과 대화 처리에 약 5~7GB의 메모리를 사용할 수 있다.
문제는 AI를 사용하다 카메라·게임·동영상 등 다른 앱으로 전환할 때 발생한다. 운영체제(OS)는 공간을 확보하기 위해 AI가 사용하던 메모리를 회수한다. 이후 AI로 돌아오면 데이터를 복구하느라 답변이 늦어진다. 연구팀이 실제 스마트폰에서 측정한 결과, 첫 응답 시간은 0.8초에서 약 16초로 늘어났다. 메모리 부족이 심하면 AI가 강제 종료돼 이전 대화 내용까지 사라질 수 있다.
연구팀은 이러한 문제가 AI 모델 자체의 연산 속도뿐 아니라 운영체제의 메모리 관리 방식에서 비롯된다는 점에 주목했다. 실제로 기존 메모리 압축 기법은 AI의 대화 기록을 0.2~9.3%밖에 줄이지 못했다.
mzCache는 AI 메모리를 작은 단위로 나눠 다른 앱에 필요한 만큼만 회수하고, 사용자가 돌아오면 메모리 복구와 AI 연산을 동시에 진행한다. 그래픽처리장치(GPU)가 먼저 준비된 데이터로 연산하는 동안 중앙처리장치(CPU)가 나머지 데이터를 복구하는 방식이다.
연구팀은 AI 모델이 앞쪽 층부터 순서대로 계산한다는 특성을 활용해 메모리는 뒤쪽 층부터 비우고 앞쪽 층부터 복구하도록 했다. 또한 압축한 대화 기록을 메모리에 보관하는 경로와 저장장치를 활용하는 경로를 함께 운영해 메모리 회수 정도에 맞춰 복구할 수 있도록 했다.
갤럭시 S25+와 원플러스 12 등 상용 스마트폰에서 실험한 결과, mzCache는 저장장치에 데이터를 옮겼다가 복구하는 기존 방식보다 AI의 첫 응답 시간을 2.1~5.5배 단축했다. AI 메모리가 완전히 회수된 조건에서는 안드로이드 기본 방식보다 최대 25.9배 빠른 응답을 보였으며, 복구와 연산에 필요한 에너지 소비도 줄였다.
SNS·동영상·게임·카메라 등 10개 앱을 약 45분 동안 번갈아 사용하는 실험에서도 효과를 확인했다. 기존 운영체제 방식에서는 AI가 매 차례 강제 종료된 반면, mzCache를 적용한 AI는 10차례의 반복 실험 동안 종료되지 않고 이전 대화 맥락을 유지했다.
mzCache는 약 6000줄의 코드로 구현됐으며, 운영체제의 핵심 부분인 커널을 수정하지 않고 안드로이드 앱으로 구동할 수 있다. 여러 앱과 함께 사용하는 AI 비서의 응답 지연을 줄이는 데 활용할 수 있으며, 향후 스마트글래스와 통합 메모리를 사용하는 노트북·워크스테이션 등으로 적용 범위를 넓힐 수 있을 것으로 기대된다.
이경한 교수는 TACToC 연구와 관련해 “이번 연구는 다양한 AI 작업에 필요한 정보만 선별해 전송하는 고효율 머신 간 통신 기법을 제시해, 네트워크 기반 Physical AI 실현을 위한 기술적 토대를 마련했다”고 설명했다. mzCache 연구와 관련해서는 “이번 연구는 제한된 메모리에서도 온디바이스 AI의 응답성과 대화 맥락을 함께 유지하는 고성능 AI 모델 운영·관리 기법을 제시했다”며 “스마트폰과 스마트글래스 등 다양한 기기에서 안정적인 AI 서비스를 구현하는 기반으로 발전해, Physical AI 강국 실현에 크게 기여할 것으로 기대한다”고 말했다.
TACToC 연구에는 제1저자인 최희정 연구원과 이민재·김태헌 연구원, KAIST 남우승 박사가 참여했다. mzCache 연구에는 제1저자인 석사과정 유홍승 연구원과 김민성·박종석 연구원 등이 참여했다. 두 논문 모두 이경한 교수가 교신저자를 맡았다. 연구팀은 향후 여러 AI 앱이 동시에 실행되는 환경과 신경망처리장치(NPU) 등 다양한 모바일 프로세서로 기술을 확장할 예정이다.
두 연구는 과학기술정보통신부 재원으로 한국연구재단과 정보통신기획평가원의 지원을 받아 수행됐으며, 서울대학교 공학연구원과 뉴미디어통신공동연구소도 연구를 지원했다.
[참고자료]
- 논문 1: TACToC: Enabling Task-Adaptive Communication System with a Task-Describable Encoder
- DOI: https://doi.org/10.1145/3795866.3796689
- 논문 2: mzCache: On-Device LLM Memory Management under Multitasking
- DOI: https://doi.org/10.1145/3795866.3844495
미국 텍사스주 오스틴에서 열린 ACM MobiCom 2026에서 최희정 연구원이 ‘TACToC’ 연구를 발표하고 있다
TACToC는 정확도 손실을 3%포인트 이내로 유지하면서 통신 비용을 기존 방식 대비 최대 14.5배 줄였다. mzCache는 여러 앱을 사용하는 환경에서 기존 저장장치 기반 복구 방식보다 AI의 첫 응답 시간을 최대 5.5배 단축했다.
두 연구를 담은 논문은 지난 10월 26일부터 30일까지 미국 텍사스주 오스틴에서 열린 모바일 컴퓨팅·네트워킹 분야의 세계적 국제학술대회 ‘ACM MobiCom 2026’에 채택됐다.
AI 작업에 필요한 정보만 골라 보내는 ‘TACToC’
스마트폰이나 자율주행차, 로봇이 촬영한 영상을 원격 서버로 보내 AI가 분석하도록 하는 ‘추론 오프로딩’은 기기의 연산 부담을 덜 수 있는 기술이다. 다만 기존 영상 압축은 사람이 보는 화질을 기준으로 설계돼 AI 분석에 불필요한 정보까지 전송한다.
‘작업 지향 통신(Task-oriented Communications)’은 AI 작업에 필요한 정보만 보내는 방식이다. 그러나 기존에는 영상 분류나 물체 인식 등 작업마다 정보를 추출하고 압축하는 인코더를 별도로 학습해야 해, 여러 작업을 처리하거나 새로운 작업을 추가하는 데 부담이 있었다.
연구팀이 개발한 ‘TACToC(Task-Adaptive Communication for Task-oriented Communications)’는 하나의 인코더로 여러 AI 작업에 대응한다. 작업마다 인코더 전체를 새로 학습하는 대신, 수행할 작업의 정보를 담은 소형 프롬프트를 바꿔 필요한 영상 특징만 선별한다. 자율주행차가 같은 카메라 영상으로 주변 물체를 구분하거나 거리를 추정할 때, 각 작업에 중요한 정보를 골라 보내는 방식이다.
핵심은 ‘관련 특징 추정’과 ‘프롬프트 기반 작업 임베딩’ 두 알고리즘을 결합한 ‘작업 서술형 인코더(task-describable encoder)’다. 영상 특징이 AI 작업에 기여하는 정도를 예측해 필요한 정보만 고르고, 작업 정보는 소수의 학습 가능한 토큰으로 표현한다. 새로운 작업이 추가돼도 해당 토큰만 학습하면 된다. 선별된 정보는 압축해 서버로 보내며, 서버는 원본 영상 대신 분석에 필요한 특징을 복원하므로 기존 AI 모델을 수정 없이 활용할 수 있다.
공개 데이터셋으로 의미 분할, 자세 추정, 이미지 설명 생성, 이미지 분류, 깊이 추정 등 5가지 작업을 실험한 결과, TACToC는 정확도 손실을 3%포인트 이내로 유지하면서 통신 비용을 기존 방식 대비 1.5~14.5배 줄였다. 여러 작업을 동시에 처리할 때도 작업 수 증가에 따른 전송량 변화가 거의 없었다.
작업 전환에는 약 1900개의 매개변수만 갱신하면 됐으며, 소요 시간은 약 12.5ms(밀리초)였다. 기존 작업 지향 통신 방식보다 학습 처리량은 약 3배 높고, 메모리 사용량은 약 5분의 1 수준이었다. 엔비디아의 엣지 AI 기기 ‘Jetson AGX Orin’에서는 초당 약 21프레임을 처리했다.
실제 모바일 네트워크 환경을 반영한 실험에서도 안정적인 정확도를 유지하면서 H.265 영상 압축 방식보다 약 16.7%, 기존 작업 지향 통신 방식보다 약 41.1%의 대역폭을 절감했다. 기존 통신망 구조를 바꾸지 않고 적용할 수 있어 자율주행차·로봇·드론·지능형 CCTV 등의 통신 부담을 줄이고, 차세대 6G 시맨틱 통신과 피지컬 AI 서비스에 활용될 것으로 기대된다.
메모리 복구와 연산을 동시에 진행해 AI 응답 앞당기는 ‘mzCache’
연구팀이 함께 개발한 ‘mzCache’는 스마트폰에서 직접 AI를 실행하는 ‘온디바이스 AI’의 메모리 병목을 해결한다. 온디바이스 AI는 데이터를 외부 서버로 보내지 않아 개인정보 보호에 유리하지만, AI가 이전 대화 내용을 기억하려면 모델과 대화 기록을 메모리에 보관해야 한다. 소형 AI 모델도 모델과 대화 처리에 약 5~7GB의 메모리를 사용할 수 있다.
문제는 AI를 사용하다 카메라·게임·동영상 등 다른 앱으로 전환할 때 발생한다. 운영체제(OS)는 공간을 확보하기 위해 AI가 사용하던 메모리를 회수한다. 이후 AI로 돌아오면 데이터를 복구하느라 답변이 늦어진다. 연구팀이 실제 스마트폰에서 측정한 결과, 첫 응답 시간은 0.8초에서 약 16초로 늘어났다. 메모리 부족이 심하면 AI가 강제 종료돼 이전 대화 내용까지 사라질 수 있다.
연구팀은 이러한 문제가 AI 모델 자체의 연산 속도뿐 아니라 운영체제의 메모리 관리 방식에서 비롯된다는 점에 주목했다. 실제로 기존 메모리 압축 기법은 AI의 대화 기록을 0.2~9.3%밖에 줄이지 못했다.
mzCache는 AI 메모리를 작은 단위로 나눠 다른 앱에 필요한 만큼만 회수하고, 사용자가 돌아오면 메모리 복구와 AI 연산을 동시에 진행한다. 그래픽처리장치(GPU)가 먼저 준비된 데이터로 연산하는 동안 중앙처리장치(CPU)가 나머지 데이터를 복구하는 방식이다.
연구팀은 AI 모델이 앞쪽 층부터 순서대로 계산한다는 특성을 활용해 메모리는 뒤쪽 층부터 비우고 앞쪽 층부터 복구하도록 했다. 또한 압축한 대화 기록을 메모리에 보관하는 경로와 저장장치를 활용하는 경로를 함께 운영해 메모리 회수 정도에 맞춰 복구할 수 있도록 했다.
갤럭시 S25+와 원플러스 12 등 상용 스마트폰에서 실험한 결과, mzCache는 저장장치에 데이터를 옮겼다가 복구하는 기존 방식보다 AI의 첫 응답 시간을 2.1~5.5배 단축했다. AI 메모리가 완전히 회수된 조건에서는 안드로이드 기본 방식보다 최대 25.9배 빠른 응답을 보였으며, 복구와 연산에 필요한 에너지 소비도 줄였다.
SNS·동영상·게임·카메라 등 10개 앱을 약 45분 동안 번갈아 사용하는 실험에서도 효과를 확인했다. 기존 운영체제 방식에서는 AI가 매 차례 강제 종료된 반면, mzCache를 적용한 AI는 10차례의 반복 실험 동안 종료되지 않고 이전 대화 맥락을 유지했다.
mzCache는 약 6000줄의 코드로 구현됐으며, 운영체제의 핵심 부분인 커널을 수정하지 않고 안드로이드 앱으로 구동할 수 있다. 여러 앱과 함께 사용하는 AI 비서의 응답 지연을 줄이는 데 활용할 수 있으며, 향후 스마트글래스와 통합 메모리를 사용하는 노트북·워크스테이션 등으로 적용 범위를 넓힐 수 있을 것으로 기대된다.
이경한 교수는 TACToC 연구와 관련해 “이번 연구는 다양한 AI 작업에 필요한 정보만 선별해 전송하는 고효율 머신 간 통신 기법을 제시해, 네트워크 기반 Physical AI 실현을 위한 기술적 토대를 마련했다”고 설명했다. mzCache 연구와 관련해서는 “이번 연구는 제한된 메모리에서도 온디바이스 AI의 응답성과 대화 맥락을 함께 유지하는 고성능 AI 모델 운영·관리 기법을 제시했다”며 “스마트폰과 스마트글래스 등 다양한 기기에서 안정적인 AI 서비스를 구현하는 기반으로 발전해, Physical AI 강국 실현에 크게 기여할 것으로 기대한다”고 말했다.
TACToC 연구에는 제1저자인 최희정 연구원과 이민재·김태헌 연구원, KAIST 남우승 박사가 참여했다. mzCache 연구에는 제1저자인 석사과정 유홍승 연구원과 김민성·박종석 연구원 등이 참여했다. 두 논문 모두 이경한 교수가 교신저자를 맡았다. 연구팀은 향후 여러 AI 앱이 동시에 실행되는 환경과 신경망처리장치(NPU) 등 다양한 모바일 프로세서로 기술을 확장할 예정이다.
두 연구는 과학기술정보통신부 재원으로 한국연구재단과 정보통신기획평가원의 지원을 받아 수행됐으며, 서울대학교 공학연구원과 뉴미디어통신공동연구소도 연구를 지원했다.
[참고자료]
- 논문 1: TACToC: Enabling Task-Adaptive Communication System with a Task-Describable Encoder
- DOI: https://doi.org/10.1145/3795866.3796689
- 논문 2: mzCache: On-Device LLM Memory Management under Multitasking
- DOI: https://doi.org/10.1145/3795866.3844495
공유하기
← 블로그 목록으로