タグ

#inference

6件の記事

アラムコ・ベンチャーズ主導、評価額83億ドルでのTogether AIの8億ドルシリーズCは、オープンモデルがコストで閉鎖モデルに勝つという賭けです。

OpenAIとBroadcomが、わずか9か月で開発した推論専用ASIC「Jalapeño」を発表。確定した事実と、ベンダーの誇張はどこまでか。

モデルに「順を追って考えて」と頼むだけで、難問への正答率が目に見えて上がります。考えてみれば不思議な話です。なぜそれが効くのかを解説します。

"推論モデルは答える前に問題を考え抜きます。その隠れた作業には時間とトークンがかかり、適切なタスクでのみ報われます。"

AIの呼び出し一回はほぼ無料に見えます。ではなぜAIの請求額は膨らむのか。わずかな額を本物のお金に変える経済学を、平易な言葉で案内します。

temperatureとtop-pは、モデルが次の単語をどう選ぶかを決めます。各々の実際の働きを知れば、出力を硬いものから創造的なものへ意図的に調節できます。