Créer une file de révision pour le contenu généré par les utilisateurs
Trier des signalements et publications pour une revue humaine sans laisser un modèle prendre la décision finale de modération.
Rendre les étiquettes de politique utilisables
Une étiquette comme "dangereux" est trop vague. Définissez le domaine de politique, la gravité, la confiance et l’action attendue du réviseur. Gardez une catégorie pour les cas incertains.
Écrivez les règles d’escalade avant de traiter le backlog. Les menaces, l’automutilation, la sécurité des enfants, les demandes juridiques et le piratage de compte vont à une personne immédiatement.
Conserver la soumission avec la suggestion
Le réviseur a besoin du texte ou de la référence média, de la raison du signalement, de l’étiquette proposée, de la phrase de preuve et de la confiance. Une étiquette seule ne suffit pas.
Créez un petit échantillon étiqueté avec les spécialistes de politique. Mesurez les faux négatifs par domaine de politique.
Renvoyez policy_area, severity, evidence_quote, confidence et reviewer_action.
reviewer_action accepte review_now, standard_review ou needs_specialist.
Utilisez toujours needs_specialist pour les menaces, l’automutilation, une suspicion d’exploitation d’enfant, le piratage de compte ou une demande légale de retrait. Ne recommandez pas de sanction finale.Traiter une ancienne file de façon asynchrone
Un backlog historique est un problème de lot. Batch Inference de DigitalOcean accepte des requêtes JSONL et retourne les résultats après traitement asynchrone. Gardez le travail sur des requêtes texte et donnez à chaque enregistrement un identifiant unique.
Exécutez un lot limité et échantillonnez chaque étiquette avant de router tout le backlog. Arrêtez si les réviseurs voient une erreur systématique.
Vérifier ce flux avant de l’étendre
- Entrée
- Utilisez un échantillon de signalements étiquetés avec soumission originale, raison du signalement, domaine de politique et décision finale du réviseur.
- Mise en place
- Créez un contrat de lot qui propose gravité et action de revue, jamais une décision finale de sanction.
- Résultat attendu
- Les réviseurs voient la preuve originale près de la suggestion et les urgences de sécurité vont à un spécialiste.
- Arrêter si
- Arrêtez si une étiquette n’a pas de citation de preuve, si une urgence devient une revue ordinaire ou si le modèle recommande une sanction.
- Étape suivante
- Comparez les suggestions aux décisions des réviseurs et révisez l’instruction avant une file plus large.
Mesurer les résultats des réviseurs
Suivez délai de révision, accord avec la décision finale, appels ou annulations, et éléments urgents captés par les règles. La confiance du modèle ne sert qu’au tri.
Conservez la politique et l’instruction datées avec chaque lot pour pouvoir expliquer un changement ou revenir en arrière.