AI Quality Analyst (Personalization) für den deutschen Markt

Über Turing

Mit Sitz in San Francisco, Kalifornien, ist Turing weltweit führender Forschungsbeschleuniger für wegweisende KI-Labore und ein verlässlicher Partner für globale Unternehmen, die fortschrittliche KI-Systeme implementieren. Turing unterstützt Kunden auf zwei entscheidenden Ebenen: Erstens durch die Beschleunigung der Grundlagenforschung mit hochwertigen Daten, hochentwickelten Trainings-Pipelines und Top-KI-Forschern, die auf Coding, Reasoning, STEM, Multilingualität, Multimodalität und Agenten spezialisiert sind. Zweitens hilft Turing Unternehmen dabei, KI aus der Proof-of-Concept-Phase in robuste, zuverlässige und gewinnbringende proprietäre Intelligenz zu überführen.

Über die Rolle: AI Quality Analyst (Personalization) - German

Als AI Quality Analyst bewerten Sie eine neue Personalisierungsfunktion für Gemini. Ihre Aufgabe besteht darin, zu beurteilen, wie präzise das Modell Informationen aus Ihren vergangenen Gemini-Gesprächen, Gmail, Google Search und YouTube-Aktivitäten einsetzt, um Antworten maßgeschneiderter und hilfreicher zu gestalten. Diese Position erfordert eine einzigartige Kombination aus kreativem Prompt-Engineering und analytischer Präzision. Sie entwerfen Prompts aus der Perspektive Ihrer eigenen realen Erfahrungen und bewerten die Personalisierungsqualität anhand von Dimensionen wie Grounding (Datenverankerung), Integration und Helpfulness (Hilfreichkeit).

Sie sind perfekt für diese Rolle, wenn:

• Sie über fließende Deutschkenntnisse in Wort und Schrift verfügen (da Deutsch die Kernsprache des Projekts ist).
• Sie bereit sind, Ihr primäres persönliches Google-Konto zu nutzen und persönliche Datenquellen für eine authentische Evaluierung zu aktivieren.
• Sie über analytisches Denken verfügen, um nuancierte und ambivalente KI-Antworten kritisch zu bewerten.
• Sie selbstmotiviert, unabhängig und kommunikativ sind und über ein stabiles Remote-Setup verfügen.

Ein typischer Arbeitstag

In diesem dynamischen Projekt sieht Ihr Arbeitsalltag abwechslungsreich und praxisnah aus:

• Entwurf von Multi-Turn-Prompts: Sie erstellen kreative Gespräche (in der Regel 1–5 Turns), die das Modell dazu herausfordern, Ihre persönlichen Daten und Kontexte sinnvoll einzubinden.
• Intendierte Nutzung prüfen: Sie überprüfen, ob die Personalisierung treffend und im Sinne Ihrer Ausgangsanfrage angewendet wurde.
• Analyse auf Grounding & Integration: Sie stellen sicher, dass Behauptungen über Ihre Person durch Fakten gestützt sind (ohne Halluzinationen oder fehlerhafte Inferenzen) und dass persönliche Daten natürlich einfließen, ohne roboterhaft oder übertrieben zu wirken.
• Side-by-Side (SxS) Evaluierung: Sie vergleichen zwei Modellantworten direkt miteinander, bestimmen die überlegene Antwort und verfassen klare, nachvollziehbare Begründungen unter Nennung konkreter Turn-Nummern.
• Debug-Info & Datenhygiene: Sie extrahieren Debug-Informationen zur Verifizierung der genutzten Datenquellen und pflegen eine strenge Datenhygiene durch das Löschen von Testgesprächen.

Engagement-Details & Rahmenbedingungen

• Verfügbarkeit: Mindestens 4 Stunden pro Tag und bis zu 40 Stunden pro Woche. Mindestens 4 Stunden Überschneidung mit der Zeitzone PST sind erforderlich.
• Engagement-Typ: Auftragnehmer (Contractor).
• Projektdauer: 3 Monate.
• Vergütung: 15 $ pro Stunde.

Auswahl- und Onboarding-Prozess

Der Einstieg in das Projekt folgt einem strukturierten Prozess:

1. Interesse bekunden: Ausgewählte Kandidaten erhalten ein Job Interest Form.
2. Assessment: Nach der Profilprüfung wird eine praktische Aufgabe verschickt, die innerhalb von 24 Stunden bearbeitet werden muss.
3. Vor-Onboarding & Onboarding: Nach erfolgreichem Testergebnis werden Sie kontaktiert, um die vor-onboarding Anforderungen abzustimmen. Nach dem vollständigen Onboarding absolvieren Sie **10 Stunden Arbeit zur Stabilitätssicherung**, um einen reibungslosen Start zu gewährleisten und sich für weitere Aufgaben zu qualifizieren.