#추론의
AI 추론의 진짜 비용은 저장고에 숨어 있다
AI가 답을 만들어내는 '추론' 과정에서 생기는 데이터 저장 비용이 AI를 학습시키는 비용에 버금가는 문제로 떠오르고 있다.
삼성 HBM에 TSMC 칩이 들어간다…엔비디아가 정한 새 규칙
엔비디아가 맞춤형 HBM 'NVHBM' 베이스다이에 TSMC 3나노를 지정했고 삼성전자는 이를 수용했다. 메모리 패권이 양산 능력에서 규격 주도권으로 옮겨 가는 국면이다.
딥노이드가 말하는 의료AI는 일하는 AI다
딥노이드 최우식 대표 “의료AI, ‘찾아주는 AI’ 넘어 ‘일하는 AI’로”
MS 자체칩 '마이아 300', 엔비디아는 흔들고 HBM4는 세운다
MS가 자체 AI칩 마이아 300에 HBM4 8단 288GB를 얹고 추론 인프라를 자체화했다. 엔비디아 의존은 줄지만 HBM4 수요는 커지고, 삼성·SK하이닉스의 호재와 리스크가 동시에 커진다.
SKT-Arm-리벨리온, AI 추론 효율 높이는 데이터센터 협력
SK텔레콤, 영국 Arm, 국내 스타트업 리벨리온은 AI 추론 최적화 데이터센터 구축을 위한 협력 의향서(MOU)를 체결했습니다. 3사는 Arm의 CPU와 리벨리온의 NPU를 결합한 서버 솔루션을 공동 개발해 SK텔레콤의 AI 데이터센터(AIDC)에서 실증할 예정입니다.