Évaluer une file de révision pour les contenus utilisateurs
Trier des signalements et publications pour une revue humaine sans laisser un modèle prendre la décision finale de modération.
Rendre les étiquettes de politique utilisables
Ce guide prépare une évaluation de file de révision. L’enregistrement ci-dessous décrit une sortie, pas un système de modération déployé. Terminez l’intégration API liée avant de traiter un historique texte. Les signalements urgents restent dans votre procédure immédiate existante.
Une étiquette comme "dangereux" est trop vague. Définissez le domaine de politique, la gravité, la confiance et l’action attendue du réviseur. Gardez une catégorie pour les cas incertains.
Écrivez les règles d’escalade avant de traiter le backlog. Les menaces, l’automutilation, la sécurité des enfants, les demandes juridiques et le piratage de compte vont à une personne immédiatement.
- Utilisez les trois cas historiques fictifs ci-dessous. Gardez les parcours attendus hors de l’entrée du modèle. Ces exemples hors ligne ne sont pas un canal de signalement urgent.
- Suivez le guide par lots pour créer des requêtes JSONL valides pour le fournisseur, avec l’instruction et un cas par requête. Envoyez le fichier, créez le lot, conservez son identifiant, attendez sa fin et récupérez résultats et erreurs.
- Reliez les sorties par identifiant dans une feuille de revue locale. Affichez le texte original, la route proposée et un champ vide pour la décision humaine. Arrêtez si un identifiant manque ou si le cas urgent ne rejoint pas un spécialiste.
Conserver la soumission avec la suggestion
Le réviseur a besoin du texte ou de la référence média, de la raison du signalement, de l’étiquette proposée, de la phrase de preuve et de la confiance. Une étiquette seule ne suffit pas.
Créez un petit échantillon étiqueté avec les spécialistes de politique. Mesurez les faux négatifs par domaine de politique.
Vérifications attendues : UGC-01 → standard_review pour spam possible ; UGC-02 → standard_review avec contexte manquant signalé, sans sanction proposée ; UGC-03 → needs_specialist pour prise de contrôle de compte. Le résultat final reste vide jusqu’à la décision humaine.
Renvoyez policy_area, severity, evidence_quote, confidence et reviewer_action.
reviewer_action accepte review_now, standard_review ou needs_specialist.
Utilisez toujours needs_specialist pour les menaces, l’automutilation, une suspicion d’exploitation d’enfant, le piratage de compte ou une demande légale de retrait. Ne recommandez pas de sanction finale.{
"submission_id": "report-801",
"report_reason": "threat",
"policy_area": "credible_threat",
"severity": "high",
"evidence_quote": "[extrait minimal pertinent]",
"confidence": "medium",
"reviewer_action": "needs_specialist",
"final_reviewer_outcome": null
}[
{
"id": "UGC-01",
"text": "The same advertisement was posted five times."
},
{
"id": "UGC-02",
"text": "The report says this joke is harassment, but the surrounding conversation is missing."
},
{
"id": "UGC-03",
"text": "The report says an unknown person took control of the account."
}
]Traiter une ancienne file de façon asynchrone
Un backlog historique est un problème de lot. Batch Inference de DigitalOcean accepte des requêtes JSONL et retourne les résultats après traitement asynchrone. Gardez le travail sur des requêtes texte et donnez à chaque enregistrement un identifiant unique.
Exécutez un lot limité et échantillonnez chaque étiquette avant de router tout le backlog. Arrêtez si les réviseurs voient une erreur systématique.
Mesurer les résultats des réviseurs
Suivez délai de révision, accord avec la décision finale, appels ou annulations, et éléments urgents captés par les règles. La confiance du modèle ne sert qu’au tri.
Conservez la politique et l’instruction datées avec chaque lot pour pouvoir expliquer un changement ou revenir en arrière.
Vérifier le résultat
- Résultat attendu
- Les réviseurs voient la preuve originale près de la suggestion et les urgences de sécurité vont à un spécialiste.
- Arrêter si
- Arrêtez si une étiquette n’a pas de citation de preuve, si une urgence devient une revue ordinaire ou si le modèle recommande une sanction.
- Étape suivante
- Comparez les suggestions aux décisions des réviseurs et révisez l’instruction avant une file plus large.