태그

#inference

6개 기사

아람코 벤처스가 주도해 83억 달러 밸류에이션으로 이뤄진 투게더 AI의 8억 달러 시리즈 C는, 비용 측면에서 오픈 모델이 폐쇄 모델을 이긴다는 데 건 베팅입니다.

OpenAI와 Broadcom이 9개월 만에 만든 추론 전용 ASIC '할라페뇨'를 공개했습니다. 확인된 사실과 아직 벤더의 과장에 머무는 부분.

모델에게 "단계적으로 생각하라"고 시키면 어려운 문제를 눈에 띄게 더 잘 풉니다. 곰곰이 따져 보면 이상한 일입니다. 그것이 왜 작동하는지 짚어 봅니다.

"추론 모델은 답하기 전에 문제를 풀어 나갑니다. 그 숨은 작업은 시간과 토큰을 쓰며, 알맞은 종류의 작업에서만 값을 합니다."

AI 호출 한 번은 거의 공짜처럼 보입니다. 그런데 왜 AI 청구서는 부풀어 오를까요? 푼돈을 진짜 돈으로 바꾸는 경제학을 알기 쉽게 살펴봅니다.

temperature와 top-p는 모델이 다음 단어를 고르는 방식을 정합니다. 각각의 역할을 알면 출력을 딱딱함에서 창의적으로 의도껏 조절할 수 있습니다.