애플(Apple)이 WWDC26에서 Core AI 프레임워크를 공개했다. Core ML의 공식 후속으로 개발자들이 대규모 언어 모델(LLM)과 생성 AI를 완전히 기기 내에서 실행할 수 있도록 지원한다. 맞춤 변환된 파이토치(PyTorch) 모델과 사전 최적화된 오픈소스 모델을 모두 지원하며, 애플 실리콘이 탑재된 기기에서만 작동한다. Core ML이 전통적인 머신러닝 모델 추론에 초점을 맞췄던 것과 달리, Core AI는 처음부터 트랜스포머 기반 생성 AI를 염두에 두고 설계된 프레임워크다.
Core AI는 3B 파라미터 규모의 비전 모델부터 70B 파라미터 규모의 추론 모델까지 아우르는 통합 아키텍처를 제공한다. 지원 기기는 아이폰, 아이패드, 맥, 애플 비전 프로다. CPU, GPU, 뉴럴 엔진을 단일 API 아래 통합 활용하는 ‘통합 하드웨어 접근’, 제로 카피(zero-copy) 데이터 경로와 추론 메모리 세밀 제어를 가능하게 하는 메모리 안전 스위프트(Swift) API, 그리고 사용자 기기 부하를 줄이는 사전 컴파일(AOT·Ahead-Of-Time) 방식이 핵심 기능이다. 사전 컴파일 덕분에 모델이 캐시에 올라간 이후 로딩 시간이 거의 없는 수준으로 줄어든다. 어텐션(attention)·RoPE 임베딩·RMSNorm·gather-matmul 같은 내장 복합 연산자를 통해 개발자가 하드웨어 수준의 최적화를 직접 다루지 않아도 효율적인 추론이 가능하도록 설계됐다.
Core AI는 Apple Intelligence의 기반 기술이다. 애플은 다음 OS 및 툴체인 릴리스에서 이를 개발자에게 공개해 ‘맞춤 인텔리전스’ 구현을 가능하게 할 방침이다. 파이토치 모델 변환은 ‘TorchConverter’를 통해 이뤄지며, 커스텀 Metal 커널로 하위 수준 최적화도 지원한다. 모델 압축 단계에서 양자화(quantization)와 팔레타이제이션(palettization)을 적용해 디스크 크기·추론 지연·전력 소비를 함께 줄일 수 있다. 애플 인텔리전스 기능 확장의 연장선에서 Core AI는 서드파티 앱 생태계로 그 기능을 개방하는 전략적 선택이다.
Core AI가 등장하면서 애플의 ML 실행 환경은 세 갈래로 정리됐다. Core ML은 의사결정 트리나 표 형식 피처 엔지니어링 같은 ‘고전적 비신경망 ML’에 쓰이고, Core AI는 신경망과 트랜스포머 계열을 담당하며, MLX Swift는 맞춤 모델 가중치 작업에 활용된다. 이 세 가지 경로를 병행하는 구조는 개발자 입장에서 초기에는 혼란스러울 수 있다. 어떤 경우에 Core AI를 쓰고 어떤 경우에 MLX를 써야 하는지, 그리고 Core AI가 성능 면에서 MLX 커뮤니티가 구축한 최적화 수준을 실제로 따라잡을 수 있는지는 아직 검증이 더 필요하다. 다만 공식 프레임워크라는 점에서 애플이 장기적으로 지원·유지보수하고 Xcode 통합을 강화할 것이라는 신뢰가 붙는다.
이번 발표가 주목받는 이유는 온디바이스 AI의 경제성과 프라이버시 두 가지를 동시에 겨냥했기 때문이다. 서버 의존 없이 기기에서 추론을 완결하면 토큰당 클라우드 비용이 발생하지 않는다. 앱 개발사 입장에서는 대규모 API 호출 비용 없이 생성 AI 기능을 앱에 내장할 수 있다는 의미다. 사용자 데이터는 기기 밖으로 나가지 않으며, 이는 Apple Intelligence가 강조해 온 ‘비공개 클라우드 컴퓨팅(Private Cloud Compute)’ 철학과도 일치한다. 특히 의료·금융·교육 등 민감 정보를 다루는 앱에서는 서버 전송 없는 AI 추론이 규제 준수와 사용자 신뢰 확보 모두에 유리하다. 온디바이스 AI와 프라이버시 경쟁 구도에서 Core AI는 애플의 가장 명확한 포지셔닝 수단이 됐다.
한국 개발자와 기업 관점에서 Core AI는 유의미한 기회와 제약을 함께 가져온다. 아이폰과 맥의 국내 점유율을 감안하면 Core AI 기반 앱은 상당한 잠재 이용자를 확보할 수 있다. 특히 의료·금융·교육 영역에서 개인정보를 서버로 전송하지 않고 AI 기능을 제공해야 하는 서비스에 실질적인 해법이 될 수 있다. 다만 Core AI는 애플 실리콘 전용이므로 인텔 맥은 물론 안드로이드·윈도우 생태계에서는 작동하지 않는다. 국내 사용자 기반이 iOS와 안드로이드에 분산된 현실에서 크로스플랫폼 서비스를 운영하는 개발팀은 별도 추론 경로를 유지해야 한다는 점에서 운영 복잡성이 높아진다.
경쟁 구도를 보면 퀄컴의 AI 허브, 구글의 온디바이스 Gemini Nano, 메타의 Llama 온디바이스 배포 등이 이미 비슷한 영역을 공략하고 있다. 하지만 하드웨어·소프트웨어·개발 도구를 수직 통합한 애플의 생태계는 타 플랫폼 대비 최적화 여지가 크다. 뉴럴 엔진을 Core AI가 API 수준에서 직접 활용하고, 사전 컴파일로 최초 로딩 지연을 줄이는 방식은 범용 추론 라이브러리로는 구현하기 어려운 애플만의 강점이다. 다만 생태계가 폐쇄적인 만큼, 오픈소스 모델 커뮤니티가 Core AI 포맷을 얼마나 빠르게 지원하느냐, 그리고 Hugging Face 같은 플랫폼과의 호환성이 어떻게 확보되느냐가 실질적인 확산 속도를 결정할 것으로 보인다.
애플은 이번 발표로 개발자들이 Apple Intelligence와 독립적인 맞춤 AI 기능을 앱에 직접 탑재할 수 있는 공식 경로를 처음으로 열었다. 향후 70B 파라미터 수준의 모델이 아이폰에서 실용적으로 돌아갈 수 있는 압축 기술이 성숙해질수록, 온디바이스 AI와 클라우드 AI의 경계는 계속 흐려질 전망이다. 동시에 Core AI의 성공은 결국 얼마나 많은 서드파티 개발자가 이 프레임워크를 적극 채택하느냐에 달려 있다. 한국의 스타트업과 대형 앱 개발사 모두 Core AI가 기존 클라우드 AI 연동 방식과 어떻게 공존할지 전략을 검토해야 하는 시점이 됐다.
