Chat-Completions

Geändert am Mi, 4 Mär um 12:58 NACHMITTAGS

8.5.0

Der Anbietertyp "Chat-Completions" wird von formcycle als Teil der Standardfunktionalität bereitgestellt und erfordert keine zusätzlichen Plugins.

Der Dienst muss einen /chat/completions-Endpunkt unterstützen. Optional kann /models unterstützt werden, um verfügbare Modelle automatisch zu laden.

Dieser ist für KI-Dienste ausgelegt, die eine OpenAI-kompatible API anbieten. Historisch stellen viele Anbieter neben ihren eigenen Endpunkten auch einen Endpunkt bereit, der sich wie der /chat/completions-Endpunkt von OpenAI verhält. Mit dem Chat-Completions Typ können solche Anbieter auch genutzt werden, wenn es noch keinen speziellen Typ dafür gibt. Die Möglichkeiten dieses Typs sind begrenzt.

Wenn möglich und vorhanden, sollte ein spezieller Typ verwendet werden. Beispielsweise das OpenAI-Plugin für OpenAI, wo der /chat/completions-Endpunkt bereits als veraltet angesehen wird und neue Endpunkte mit erweiterten Funktionalität zur Verfügung stehen.

Eigenschaften:

Textgenerierung
strukturierte JSON-Ausgabe
keine Bild- und Dateiverarbeitung

Inhalt

Prompt-Verbindungen

Für allgemeine Informationen siehe den Hilfeartikel Prompt-Verbindungen. Im folgenden wird auf die Konfiguration eingegangen, die spezifisch für den Anbietertyp "Chat-Completions" ist.

Über den Anbietertyp "Chat-Completions" können alle Anbieter angebunden werden, die eine Schnittstelle (API) bereitstellen, welche sich wie der /v1/completions-Endpunkt von OpenAI verhält.

URL: Basis-URL zur Schnittstelle des KI-Diensts. Für OpenAI wäre dies beispielsweise https://api.openai.com/v1
API-Schlüssel: Der API-Schlüssel zur Authentifizierung. Wird vom jeweiligen Dienstanbieter bereitgestellt.
Modell: Auswahl des Modells für Prompt-Abfragen.

Prompt-Abfragen

Für allgemeine Informationen siehe den Hilfeartikel Prompt-Abfragen. Im folgenden wird auf die Konfiguration eingegangen, die spezifisch für Chat-Completions ist.

Aufgaben bei Chat-Completions Anbietern

Bei Chat-Completions Anbietern stehen zwei Aufgaben zur Auswahl. Die gewählte Aufgabe bestimmt, welche Funktionen verfügbar sind und wie das Ergebnis der Abfrage aufgebaut ist.

Verfügbare Aufgaben für Prompt-Abfragen mit Chat-Completions Anbietern

Im Folgenden werden die Aufgaben jeweils separat beschrieben.

Aufgabe: Textanwort generieren

Die Aufgabe ''Textantwort generieren'' erzeugt eine freie Antwort in natürlicher Sprache. Sie eignet sich für alle Anwendungsfälle, bei denen ein lesbarer Text ausgegeben werden soll, z.B. Erklärungen, Zusammenfassungen oder Formulierungshilfen.

Auswahl der Aufgabe ''Textantwort generieren'' zur Erstellung einer freien Textantwort

Prompt

Im Bereich Prompt wird definiert, welche Eingabe die KI erhält und wie die Antwort generiert werden soll. Bei Chat-Completions Anbietern steht keine Websuche zur Verfügung. Das Modell greift daher nicht auf aktuelle Inhalte aus dem Internet zu.

Dateien

Optional können Dateien in die Prompt-Abfrage eingebunden werden, um zusätzliche Informationen bereitzustellen.

Detaillierte Informationen zur Konfiguration der Bereiche Prompt und Dateien findet man im Hilfeartikel Prompt-Abfragen.

Einstellungen für Feinabstimmung

Mit den Einstellungen für Feinabstimmung können optionale Parameter gesetzt werden, um das Verhalten der KI bei der Antwortgenerierung gezielt zu steuern. Für viele Anwendungsfälle können diese Werte auf ''automatisch'' belassen werden.

Einstellungsparameter für die Feinabstimmung

Aufwandsstufe: Steuert, wie ausführlich und komplex die Antwort ausfällt. Eine höhere Aufwandsstufe kann zu detaillierteren Ergebnissen führen.
Sampling-Temperatur: Beeinflusst die Variabilität der Antwort. Niedrige Werte führen zu sachlicheren und konsistenteren Ergebnissen, höhere Werte zu variableren und kreativeren Formulierungen.
Max. zu generierende Tokens: Begrenzt die maximale Länge der erzeugten Antwort. Ein höherer Wert erlaubt längere Antworten, ein niedrigerer Wert begrenzt die Ausgabe entsprechend.
Kumulative Wahrscheinlichkeitsschwelle (top-p): Bestimmt, wie breit das Modell mögliche Wortalternativen berücksichtigt. Niedrige Werte führen zu fokussierteren, vorhersehbareren Antworten, höhere Werte zu vielfältigeren Formulierungen.
Frequenzstrafe: Reduziert Wiederholungen innerhalb der Antwort. Ein höherer Wert sorgt dafür, dass bereits verwendete Begriffe seltener erneut erscheinen.
Präsenzstrafe: Fördert die thematische Abwechslung in der Antwort. Ein höherer Wert erhöht die Wahrscheinlichkeit, dass neue Aspekte in der Antwort aufgegriffen werden.

Aufgabe: JSON-Antwort generieren

Die Aufgabe ''JSON-Antwort generieren'' erzeugt eine strukturierte Antwort im JSON-Format. Sie eignet sich für Anwendungsfälle, bei denen die Antwort maschinenlesbar sein und weiterverarbeitet werden soll.

Auswahl der Aufgabe ''JSON-Antwort generieren'' zur Erzeugung strukturierter Antworten

Alle weiteren Bereiche wie Prompt, Dateien und Einstellung für Feinabstimmung stehen auch bei dieser Aufgabe zur Verfügung und entsprechen in Aufbau und Funktion der Aufgabe ''Textantwort generieren''.

JSON-Schema

Der Abschnitt JSON-Schema ist zusätzlich verfügbar, wenn die Aufgabe ''JSON-Antwort generieren'' ausgewählt wurde. Hier wird definiert, in welcher Struktur das Modell seine Antwort zurückgeben soll.

Die verschiedenen Möglichkeiten zur Definition und Konfiguration des JSON-Schemas werden im Hilfeartikel Prompt-Abfragen ausführlich beschrieben.