사이트 바로가기
뉴스
- 디노티시아, ICML26서 ‘STAR-KV’ 논문 발표··· ‘KV 캐시 75% 압축에도 성능 보존’ 연구진, 최정욱 한양대학교 융합전자공학부 교수가 공동 연구한 ‘STAR-KV: 적응형 랭크 제어를 위한 소프트 임계값 처리를 통한 저랭크 KV 캐시 압축(Low-Rank KV Cache
- 아크 B70 프로와 슈퍼클로로 구현되는 고효율 하이브리드 AI 환경 제안한 인텔 이를 KV 캐시(KV Cache)라 부른다.
- "국산 NPU 호환성 확보"...AI반도체 표준화 연구반 착수 시장의 가장 시급한 과제인 ▲이기종 AI 반도체 환경에서의 AI 모델 전주기 이식성 호환성 검증 및 서비스 운영관리 표준화를 비롯해 ▲대규모 언어 모델(LLM) 효율화를 위한 KV Cache
- 디노티시아, 메모리 병목 해결할 KV 캐시 20배 압축기술 'STAR-KV' 공개 메모리 용량과 처리 속도 문제를 획기적으로 해결할 수 있는 신기술을 세계적 학회에서 선보인다.디노티시아는 UC 샌디에이고(UCSD) VVIP 랩과 함께 연구한 KV 캐시(KV Cache
- 최태원 SK 회장 "반도체, 과거 사이클 벗어나 구조적 변화…공급 확대 총력" 최 회장은 "일반인들의 AI 사용 확대로 토큰 사용량이 증가하면서 AI 내부에 저장해야 하는 '키밸류 캐싱(KV Cache)'이 늘어나고 있다"며 "완벽한 범용인공지능(AGI)에 도달할
- "AI 안전성, 신원 관리이자 운영 거버넌스 문제" 이 회사 조사 결과에 따르면, 오픈AI 모델들은 원래 격리돼 있던 평가 환경을 탈출하기 위해 Artifactory 패키지 캐시 프록시(package-cache proxy)에 존재하는
- AIC, FMS 2026에서 컨텍스트 메모리 및 AI 추론 스토리지 플랫폼 공개 모든 모델 응답의 기반이 되는 사전 계산된 컨텍스트인 KV 캐시(KV cache)는 이제 GPU 메모리를 넘어서는 규모로 성장했고, 운영자들은 이를 GPU에서 재계산하는 대신 공유
- 래블업 "인텔 '아크 프로 B70', RTX 프로 4000 대비 추론 처리량 높아" 장시간 대화 맥락을 유지하고 여러 작업을 병렬 처리해야 하는 만큼 GPU 메모리 사용량이 급격히 증가한다.이 과정에서 이전 추론 결과를 저장하는 'KV 캐시(Key-Value Cache