Effort-Level (--effort) durchreichen; fast mode existiert als CLI-Option nicht #1

Open
opened 2026-05-23 12:09:19 +02:00 by fkrebs · 1 comment
Owner

Request

LiteLLM has a /fast toggle concept (Claude Opus with faster output). The claude-max-bridge should support a way to request fast mode or extended thinking via the API.

Possible approach

  • Accept extra_body.fast: true → pass --fast flag to Claude CLI (if supported)
  • Or map model suffix -fast to the appropriate CLI flags
  • Check if claude --fast is a valid CLI option first: claude --help | grep fast

Notes

Claude Code fast mode uses Claude Opus with faster output. The CLI may support this via a flag or it may be a UI-only feature. Verify before implementing.

## Request LiteLLM has a `/fast` toggle concept (Claude Opus with faster output). The claude-max-bridge should support a way to request fast mode or extended thinking via the API. ## Possible approach - Accept `extra_body.fast: true` → pass `--fast` flag to Claude CLI (if supported) - Or map model suffix `-fast` to the appropriate CLI flags - Check if `claude --fast` is a valid CLI option first: `claude --help | grep fast` ## Notes Claude Code fast mode uses Claude Opus with faster output. The CLI may support this via a flag or it may be a UI-only feature. Verify before implementing.
Author
Owner

Geprüft 2026-08-23 — das Issue bleibt offen, aber halbiert sich

Das Issue selbst nennt den ersten Schritt: „Check if claude --fast is a valid CLI option first". Nachgeholt, gegen die im Bridge-Container laufende CLI 2.1.143:

claude --help | grep -iE 'fast|thinking'   ->   kein Treffer

Teil 1 — Fast Mode: nicht machbar, und zwar strukturell

Es gibt keinen --fast-Schalter. Fast Mode ist ein interaktiver Umschalter (/fast) innerhalb einer Claude-Code-Sitzung, keine Option, die sich beim Aufruf mitgeben lässt. Ein extra_body.fast: true hätte also nichts, wohin es durchgereicht werden könnte. Dieser Teil ist erledigt — negativ beantwortet.

Teil 2 — Extended Thinking: machbar, nur anders benannt

Dafür existiert etwas Besseres als der ursprüngliche Entwurf:

--effort <level>   Effort level for the current session (low, medium, high, xhigh, max)

Das ist genau die Stellschraube, die mit „extended thinking" gemeint war — fünfstufig statt an/aus. Die Abbildung liegt auf der Hand:

Anfrage an die Bridge CLI
extra_body.effort: "high" --effort high
Modellsuffix -high / -max dito, aus dem Namen abgeleitet

Mein Lean: extra_body.effort als Durchreiche, mit Prüfung gegen die fünf erlaubten Werte, und Modellsuffixe erst dann, wenn ein Aufrufer sie braucht — Suffixe verstecken den Parameter im Modellnamen und machen die Modellliste unübersichtlich.

Nebenbei aufgefallen und für die Bridge womöglich interessanter: --max-budget-usd begrenzt die Ausgaben je Aufruf. Bei einem Gateway, das mehrere Clients bedient, ist das eine härtere Schutzlinie als jede Modellwahl — vergleiche die Gemini-Budgetfalle in bifrost-gateway.

Titel sollte angepasst werden — „fast mode" ist tot, --effort ist der lebende Teil.

## Geprüft 2026-08-23 — das Issue bleibt offen, aber halbiert sich Das Issue selbst nennt den ersten Schritt: *„Check if `claude --fast` is a valid CLI option first"*. Nachgeholt, gegen die im Bridge-Container laufende CLI **2.1.143**: ``` claude --help | grep -iE 'fast|thinking' -> kein Treffer ``` ### Teil 1 — Fast Mode: nicht machbar, und zwar strukturell Es gibt **keinen `--fast`-Schalter**. Fast Mode ist ein *interaktiver* Umschalter (`/fast`) innerhalb einer Claude-Code-Sitzung, keine Option, die sich beim Aufruf mitgeben lässt. Ein `extra_body.fast: true` hätte also nichts, wohin es durchgereicht werden könnte. **Dieser Teil ist erledigt — negativ beantwortet.** ### Teil 2 — Extended Thinking: machbar, nur anders benannt Dafür existiert etwas Besseres als der ursprüngliche Entwurf: ``` --effort <level> Effort level for the current session (low, medium, high, xhigh, max) ``` Das ist genau die Stellschraube, die mit „extended thinking" gemeint war — fünfstufig statt an/aus. Die Abbildung liegt auf der Hand: | Anfrage an die Bridge | CLI | |---|---| | `extra_body.effort: "high"` | `--effort high` | | Modellsuffix `-high` / `-max` | dito, aus dem Namen abgeleitet | **Mein Lean: `extra_body.effort` als Durchreiche**, mit Prüfung gegen die fünf erlaubten Werte, und Modellsuffixe erst dann, wenn ein Aufrufer sie braucht — Suffixe verstecken den Parameter im Modellnamen und machen die Modellliste unübersichtlich. Nebenbei aufgefallen und für die Bridge womöglich interessanter: `--max-budget-usd` begrenzt die Ausgaben je Aufruf. Bei einem Gateway, das mehrere Clients bedient, ist das eine härtere Schutzlinie als jede Modellwahl — vergleiche die Gemini-Budgetfalle in `bifrost-gateway`. **Titel sollte angepasst werden** — „fast mode" ist tot, `--effort` ist der lebende Teil.
fkrebs changed title from Support fast/extended-thinking mode flag to Effort-Level (--effort) durchreichen; fast mode existiert als CLI-Option nicht 2026-08-23 21:56:30 +02:00
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: fkrebs/claude-max-bridge#1