Nettoyer un backlog de retours produit avant de planifier la feuille de route
Préparer un grand backlog de retours pour la revue humaine sans faire passer un décompte de thèmes pour une feuille de route.
Corriger les données avant de les classer
Cette évaluation utilise trois requêtes OpenAI prêtes à importer. JSONL signifie un objet JSON par ligne. Enregistrez le bloc ci-dessous en UTF-8 dans feedback.jsonl. Utilisez le traitement par lots OpenAI avec gpt-4.1-mini et vérifiez l’accès dans le catalogue avant l’envoi. Pour un autre modèle OpenAI compatible, remplacez le modèle dans les trois lignes.
Exportez chaque retour avec un identifiant stable, une date, une source, le segment du compte lorsque cela est autorisé et le texte original. Retirez les doublons, commentaires internes, coordonnées et anciens statuts qui biaiseraient le résultat.
Écrivez une taxonomie qui mène à une action réelle : défaut, capacité manquante, difficulté d’utilisation, intégration, prix ou éloge. La catégorie "autre" indique où votre taxonomie doit évoluer.
- Étiquetez à la main les trois exemples avec defect, integration et usability. Gardez ces réponses hors de l’entrée du modèle.
- Utilisez feedback.jsonl tel quel avec la procédure d’import par lots liée. Choisissez /v1/chat/completions lors de la création du lot, comme dans chaque ligne.
- Suivez les étapes documentées de préparation et d’envoi du fichier, créez un lot et conservez son identifiant. Consultez son état, puis récupérez les résultats et erreurs. Reliez-les par custom_id, jamais par ordre des lignes.
- Vérifiez que chaque identifiant apparaît une seule fois, puis comparez catégories et citations aux originaux. Examinez les erreurs avant d’agrandir l’échantillon.
Tester sur un échantillon étiqueté
Demandez à des personnes produit et support d’étiqueter un petit échantillon séparément. Réglez les désaccords avant d’écrire l’instruction. Un modèle ne rend pas cohérente une politique de classification floue.
Mesurez l’accord par catégorie et lisez les faux positifs. Corrigez une confusion entre défaut et demande de fonctionnalité avant de traiter des milliers de lignes.
Renvoyez category, requested_outcome, affected_workflow, evidence_quote, confidence et needs_human_review.
Catégories autorisées : defect, missing_capability, usability, integration, pricing, praise, other.
Définissez needs_human_review sur true pour les sujets de sécurité, accessibilité, juridique ou spécifiques à un compte.Utiliser un lot pour un travail qui peut attendre
Batch Inference de DigitalOcean traite une collection de requêtes texte de façon asynchrone. C’est adapté à un nettoyage de backlog ou à un test de taxonomie, pas à l’écran d’un agent qui attend une réponse en direct. L’entrée est en JSONL et chaque requête doit avoir un identifiant unique.
Soumettez d’abord un lot représentatif. Rattachez le résultat aux identifiants source et laissez un responsable produit filtrer d’une catégorie au message original.
{"custom_id":"feedback-1042","method":"POST","url":"/v1/chat/completions","body":{"model":"gpt-4.1-mini","messages":[{"role":"system","content":"Renvoyez category, requested_outcome, affected_workflow, evidence_quote, confidence et needs_human_review.\n\nCatégories autorisées : defect, missing_capability, usability, integration, pricing, praise, other.\nDéfinissez needs_human_review sur true pour les sujets de sécurité, accessibilité, juridique ou spécifiques à un compte."},{"role":"user","content":"Exporting a report fails after I select a date range."}],"max_tokens":350}}
{"custom_id":"feedback-1043","method":"POST","url":"/v1/chat/completions","body":{"model":"gpt-4.1-mini","messages":[{"role":"system","content":"Renvoyez category, requested_outcome, affected_workflow, evidence_quote, confidence et needs_human_review.\n\nCatégories autorisées : defect, missing_capability, usability, integration, pricing, praise, other.\nDéfinissez needs_human_review sur true pour les sujets de sécurité, accessibilité, juridique ou spécifiques à un compte."},{"role":"user","content":"Please add SSO for our team."}],"max_tokens":350}}
{"custom_id":"feedback-1044","method":"POST","url":"/v1/chat/completions","body":{"model":"gpt-4.1-mini","messages":[{"role":"system","content":"Renvoyez category, requested_outcome, affected_workflow, evidence_quote, confidence et needs_human_review.\n\nCatégories autorisées : defect, missing_capability, usability, integration, pricing, praise, other.\nDéfinissez needs_human_review sur true pour les sujets de sécurité, accessibilité, juridique ou spécifiques à un compte."},{"role":"user","content":"The labels in the onboarding screen are confusing."}],"max_tokens":350}}Transformer les comptes en ordre du jour
Les comptes montrent où regarder. Ils ne prouvent pas la valeur client. Ajoutez le segment, la gravité, la rétention, l’adéquation stratégique et le coût du contournement.
Publiez la version de la taxonomie et la date avec chaque rapport.
Taille de l’échantillon : 50 enregistrements répartis entre les catégories
Pour chaque enregistrement, indiquez :
- la catégorie attendue
- la catégorie proposée
- si la citation soutient la catégorie
- si une revue humaine était nécessaire
- la correction et sa raisonVérifier le résultat
- Résultat attendu
- Chaque résultat conserve une citation de preuve et un lien vers le retour original pour la revue produit.
- Arrêter si
- Arrêtez si un défaut devient une demande, si un sujet de sécurité ne va pas en revue ou si des doublons gonflent un thème.
- Étape suivante
- Utilisez les thèmes nettoyés pour préparer une discussion humaine de feuille de route, pas un ordre automatique.