Google Drive AI: Transkribieren, zusammenfassen und chatten Sie mit jeder Drive-Datei

# Im Speak AI Dashboard:
# 1. Gehen Sie zu Einstellungen > Integrationen > Google Drive
# 2. Klicken Sie auf “Google Drive verbinden”
# 3. Genehmigen Sie OAuth-Zugriff zum Lesen für die Dateien, die Sie auswählen
# 4. Speak speichert das OAuth-Token sicher auf seiner Seite

# Oder treffen Sie den Connect-Endpoint programmgesteuert mit einem Drive OAuth-Code:
curl -X POST https://api.speakai.co/v1/integration/googledrive/connect 
  -H "x-speakai-key: $SPEAK_API_KEY" 
  -H "Content-Type: application/json" 
  -d '{"code": "$GOOGLE_OAUTH_CODE"}'

curl -X POST https://api.speakai.co/v1/integration/googledrive/upload 
  -H "x-speakai-key: $SPEAK_API_KEY" 
  -H "Content-Type: application/json" 
  -d '{
    "url": "https://drive.google.com/file/d/1AbCdEfGhIjKlMnOpQrStUv/view",
    "sourceLanguage": "en-US",
    "folderId": "507f1f77bcf86cd799439011"
  }'

# Akzeptierte URL-Formate:
#   https://drive.google.com/file/d/{fileId}/view
#   https://drive.google.com/file/d/{fileId}/edit
#   https://www.googleapis.com/drive/v3/files/{fileId}
#
# Speak analysiert die Datei-ID, ruft Metadaten über die Drive API ab,
# erhält eine aktuelle Download-URL über Ihr gespeichertes OAuth-Token,
# und lädt dann zu Speak zur Transkription und Analyse hoch.

// Verwenden Sie dies in Ihrem CRM, Scheduler oder Research-Pipeline-Server.
async function importDriveFileToSpeak(driveUrl, folderId) {
  const r = await fetch(
    "https://api.speakai.co/v1/integration/googledrive/upload",
    {
      method: "POST",
      headers: {
        "x-speakai-key": process.env.SPEAK_API_KEY,
        "Content-Type": "application/json",
      },
      body: JSON.stringify({
        url: driveUrl,
        sourceLanguage: "en-US",
        folderId,
      }),
    }
  );
  if (!r.ok) throw new Error(`Drive-Import fehlgeschlagen: ${r.status}`);
  const { data } = await r.json();
  // data.mediaId ist die neue Speak-Medienreferenz.
  return data.mediaId;
}

// Beispiel: einen Research-Interview in Speaks Ordner "Q3 Interviews" importieren
const mediaId = await importDriveFileToSpeak(
  "https://drive.google.com/file/d/1AbCdEfGhIjKlMnOpQrStUv/view",
  process.env.SPEAK_FOLDER_ID,
);

import os, requests

def import_drive_file_to_speak(drive_url: str, folder_id: str | None = None) -> str:
    r = requests.post(
        "https://api.speakai.co/v1/integration/googledrive/upload",
        headers={
            "x-speakai-key": os.environ["SPEAK_API_KEY"],
            "Content-Type": "application/json",
        },
        json={
            "url": drive_url,
            "sourceLanguage": "en-US",
            "folderId": folder_id,
        },
        timeout=30,
    )
    r.raise_for_status()
    return r.json()["data"]["mediaId"]

# Drive Push-Benachrichtigungen – Überwachen Sie einen Ordner auf neue Dateien.
# Erforderlicher Bereich: drive.readonly (oder drive.file für vom Picker ausgewählte Dateien).

curl -X POST "https://www.googleapis.com/drive/v3/files/$FOLDER_ID/watch" 
  -H "Authorization: Bearer $GOOGLE_OAUTH_TOKEN" 
  -H "Content-Type: application/json" 
  -d '{
    "id": "speak-drive-watch-1",
    "type": "web_hook",
    "address": "https://your-app.example.com/drive/watch"
  }'

# Der Kanal verfällt nach 7 Tagen. Erneuern Sie mit einem weiteren POST zu /watch.
# Wenn eine Änderung auftritt, sendet Drive einen POST an Ihre Adresse mit dem X-Goog-Resource-State Header.
# Ihr Handler listet dann Dateien im Ordner über files.list auf und leitet neue weiter.

import express from "express";
const app = express();
app.use(express.json());

// In-Memory-Cursor (verwenden Sie in der Produktion eine echte Datenbank)
let lastSeenIds = new Set();

app.post("/drive/watch", async (req, res) => {
  // Drive sendet bei jeder Änderung einen X-Goog-Resource-State-Header.
  if (req.headers["x-goog-resource-state"] === "sync") return res.sendStatus(200);
  res.sendStatus(200);

  // 1. Dateien im überwachten Ordner sortiert nach createdTime desc auflisten
  const list = await fetch(
    "https://www.googleapis.com/drive/v3/files?" + new URLSearchParams({
      q: `'${process.env.DRIVE_FOLDER_ID}' in parents and (mimeType contains 'audio/' or mimeType contains 'video/')`,
      orderBy: "createdTime desc",
      fields: "files(id,name,mimeType,createdTime,webViewLink)",
      pageSize: "20",
    }),
    { headers: { Authorization: `Bearer ${process.env.GOOGLE_OAUTH_TOKEN}` } }
  ).then(r => r.json());

  // 2. Für jede neue Datei an Speak's Drive-Upload-Endpunkt weiterleiten
  for (const file of list.files) {
    if (lastSeenIds.has(file.id)) continue;
    lastSeenIds.add(file.id);

    await fetch("https://api.speakai.co/v1/integration/googledrive/upload", {
      method: "POST",
      headers: {
        "x-speakai-key": process.env.SPEAK_API_KEY,
        "Content-Type": "application/json",
      },
      body: JSON.stringify({
        url: `https://drive.google.com/file/d/${file.id}/view`,
        sourceLanguage: "en-US",
        folderId: process.env.SPEAK_FOLDER_ID,
      }),
    });
  }
});

app.listen(3000);

import os, requests
from fastapi import FastAPI, Request

app = FastAPI()
seen_ids = set()  # verwenden Sie in der Produktion eine echte Datenbank

@app.post("/drive/watch")
async def watch(req: Request):
    if req.headers.get("x-goog-resource-state") == "sync":
        return {"ok": True}

    list_resp = requests.get(
        "https://www.googleapis.com/drive/v3/files",
        params={
            "q": f"'{os.environ['DRIVE_FOLDER_ID']}' in parents "
                 "and (mimeType contains 'audio/' or mimeType contains 'video/')",
            "orderBy": "createdTime desc",
            "fields": "files(id,name,mimeType,createdTime,webViewLink)",
            "pageSize": "20",
        },
        headers={"Authorization": f"Bearer {os.environ['GOOGLE_OAUTH_TOKEN']}"},
        timeout=30,
    ).json()

    for f in list_resp.get("files", []):
        if f["id"] in seen_ids:
            continue
        seen_ids.add(f["id"])

        requests.post(
            "https://api.speakai.co/v1/integration/googledrive/upload",
            headers={"x-speakai-key": os.environ["SPEAK_API_KEY"]},
            json={
                "url": f"https://drive.google.com/file/d/{f['id']}/view",
                "sourceLanguage": "en-US",
                "folderId": os.environ.get("SPEAK_FOLDER_ID"),
            },
            timeout=30,
        )
    return {"ok": True}

# 1. Fire the prompt against the media imported in Tab 1
curl -X POST https://api.speakai.co/v1/prompt/ 
  -H "x-speakai-key: $SPEAK_API_KEY" 
  -H "Content-Type: application/json" 
  -d '{
    "mediaIds": ["14c8dd9c0a89"],
    "prompt": "List every objection raised by the customer with a timestamp.",
    "isStream": false,
    "isIndividualPrompt": true
  }'

# Response (immediate):
# { "status": "success", "data": { "messageId": "", "state": "processing" } }

# 2. Poll for the completed answer (typical 2-3 seconds)
curl "https://api.speakai.co/v1/prompt/messages?mediaIds=14c8dd9c0a89&pageSize=1" 
  -H "x-speakai-key: $SPEAK_API_KEY"

# When state === "completed", the answer field has the structured response.

async function chatWithDriveFile(mediaId, prompt) {
  const headers = { "x-speakai-key": process.env.SPEAK_API_KEY };

  // 1. Fire
  await fetch("https://api.speakai.co/v1/prompt/", {
    method: "POST",
    headers: { ...headers, "Content-Type": "application/json" },
    body: JSON.stringify({
      mediaIds: [mediaId],
      prompt,
      isStream: false,
      isIndividualPrompt: true,
    }),
  });

  // 2. Poll until completed
  for (let i = 0; i < 20; i++) {
    await new Promise(r => setTimeout(r, 1000));
    const r = await fetch(
      `https://api.speakai.co/v1/prompt/messages?mediaIds=${mediaId}&pageSize=1`,
      { headers }
    );
    const j = await r.json();
    const msg = j?.data?.history?.[0]?.messages?.[0];
    if (msg?.state === "completed") return msg.answer;
  }
  return null;
}

# Claude Desktop / Claude Code
npx @speakai/mcp-server init

# Fügen Sie Ihren Speak API-Schlüssel ein, wenn Sie dazu aufgefordert werden. Das Setup dauert etwa 2 Minuten.

# Claude.ai (web) and ChatGPT MCP connector
# Settings > Integrations > Add MCP Server
# Remote URL:    https://api.speakai.co/v1/mcp
# Auth header:   x-speakai-key: YOUR_SPEAK_API_KEY