自分のマシンで AI モデルを 1 か月間実行してみた: 正直なメモ
ローカルモデルは今では本当に優れており、まったく異なります。 1 か月間毎日使用し、何が機能し、何が機能しなかったかを正直に記録します。
1 か月間、私は自分のマシンで実行されるローカル モデルに移行できるすべてのタスク (草案作成、要約、コード補完、および多くの実験) を移行しました。正直な要約: ローカルは現実であり、ローカルは異なり、クラウド モデルとの差はベンチマークが示唆するよりも狭く、愛好家が認めるよりも広いです。
本当に効果があったのは、常時稼働のジョブです。要約、最初のパスの作成、書き換え、およびコード補完は、私の目的に対して知覚的な品質の低下なしに 1 か月間ローカルで実行されました。また、プライバシーの救済は仮説ではありません。私は、メモを要約する前に編集するのをやめました。これは、データが実際に残らない場合にのみ起こる動作の変更です。
私が驚いたのは、レイテンシは誰も価格を付けていない機能だということです。 0.5 秒で応答するローカル モデルは、高速検索ボックスと同じように使い方を変えます。私はクラウド モデルでは決して気にしないような使い捨ての質問をしましたが、その使い捨ての質問こそが多くの価値を生む場所であることが判明しました。
うまくいかなかったもの: 大きな理屈をこねる仕事。長いドキュメントの分析、複雑な複数ステップのコード、および間違っているとコストがかかるものは、2 週目までにフロンティア クラウド モデルに移行しました。ローカル モデルは、セカンドオピニオンが最も必要なタスクで自信を持って失敗しますが、これは危険な組み合わせです。
この月は、私が維持したいと考えている分割で終わりました。大規模でリスクが低く、プライバシーに敏感な層にとってはローカルであり、プライバシーに敏感な層にとってはローカルです。ディープワーク層用のクラウド。ハードウェアのコストは現実のものとなり、現在では高騰しています。検討している人にとっては正直なフレームワークです。ローカルは代替品ではなく、第 2 層であり、最終的には層に値するのに十分な品質になっています。