Shopify Community — Bằng chứng thật về Sidekick failure (cho guardrail prompt sidekickskills.com)
Nguồn: community.shopify.com, fetch trực tiếp (WebFetch) + WebSearch site:community.shopify.com. Ngày thu thập: 2026-07-21.
Quy tắc: mọi quote dưới đây là verbatim lấy từ nội dung fetch được thật — KHÔNG bịa.
1. Hallucinate / bịa SKU, mã kỹ thuật
Thread: Warning: Shopify AI (Sidekick/Magic) hallucinates technical data and sabotages strategic SEO User: Dawsonx Quote: “hallucinates and invents new codes during processing” Guardrail đề xuất: SKU/data-integrity lock — cấm AI tự sinh giá trị alphanumeric (SKU, mã sản phẩm, ID); mọi giá trị kỹ thuật phải lấy trực tiếp từ store data (cite-source), không “storytelling” khi touch technical fields.
2. Phớt lờ forbidden keyword / negative SEO constraint
Thread: cùng thread 589483 User: Dawsonx Quote: “ignored these instructions entirely, inserting forbidden keywords” Quote bổ sung (post khác cùng thread): “no setting to prevent the AI from hallucinating data or ignoring negative SEO constraints” Guardrail đề xuất: Forbidden-word lock — hard filter chặn output chứa từ nằm trong danh sách cấm của merchant, check TRƯỚC khi apply, không chỉ “cố gắng tuân theo” qua prompt instruction.
3. Tự đổi ngôn ngữ về English dù store multi-language
Thread: 589483 User: Dawsonx Quote: “frequently reverted to English” Quote bổ sung: “If a tool is configured for a specific language and it ignores it” Guardrail đề xuất: Language lock — detect ngôn ngữ gốc của field/store trước khi generate, reject/flag output nếu ngôn ngữ output khác ngôn ngữ store default hoặc locale đang edit.
4. Vượt giới hạn ký tự bắt buộc (title/meta)
Thread: 589483 User: Dawsonx Quote: “fails to respect explicit character limits” Guardrail đề xuất: Char-limit lock — validate độ dài output (title, meta description, alt text…) so với limit cứng của field trước khi ghi, reject và regenerate nếu vượt.
5. Gánh nặng audit lại — tốn thời gian hơn tiết kiệm
Thread: 589483 User: Dawsonx Quote: “requires the merchant to spend more time auditing basic errors than it saves” Guardrail đề xuất: Preview-before-apply — bắt buộc hiển thị diff/summary thay đổi trước khi commit vào store, đặc biệt với batch/bulk actions, để merchant review 1 lần thay vì audit toàn bộ sau khi đã apply.
6. Hallucination là mặc định → false positive/negative liên tục
Thread: Sidekick disappointment User: PaulNewton Quote: “hallucinations are the default so that’s setting everyone up to get constant false positives AND false negatives” Guardrail đề xuất: Confidence-flag / cite-source — mọi claim/kết quả tìm kiếm (đặc biệt semantic/tự do) phải kèm nguồn gốc dữ liệu hoặc mức tin cậy, không present như fact chắc chắn.
7. Chỉ tìm được structured data, không hiểu nội dung ảnh — nhưng không tự disclose giới hạn
Thread: 606883 User: mastroke Quote: “It can only search structured data like products, orders, and collections. It cannot search images or understand image content right now.” User khác — LetsGetDigital mô tả pain point gốc: “inability to search through the image files in the content library for a particular image based on its description” Guardrail đề xuất: Scope-disclosure guardrail — khi task nằm ngoài khả năng thật (vd tìm ảnh theo mô tả), AI phải nói rõ giới hạn ngay từ đầu thay vì cố trả lời (dẫn tới trả lời sai/hallucinate) hoặc im lặng.
8. Không thể build backend app / infra phức tạp — nhưng dễ khiến user hiểu lầm phạm vi
Thread: Sidekick for backend apps User: gunjanj Quote: “Sidekick can’t build fully featured backend applications with custom infrastructure, external databases, or complex integrations the way a traditional development workflow can.” Guardrail đề xuất: Scope-disclosure guardrail (capability boundary) — khai báo rõ Sidekick giới hạn ở Admin API/admin experience, không nhận task ngoài phạm vi thay vì cố generate giải pháp không khả thi.
9. Conversation dài → chậm dần, lock up, crash browser
Thread: Sidekick becomes extremely slow / locks up as conversations get longer User: k10whosun Quote: “Sidekick works fine at the start of a conversation but becomes progressively slower and eventually locks up as the conversation grows longer.” Quote bổ sung: “Response times go from seconds to minutes, and in some cases Sidekick stops responding altogether mid-session.” User: Maximus3 xác nhận: “Yes the length of a Sidekick conversation can cause the browser to crash.” Guardrail đề xuất: Session-length guardrail — chủ động đề xuất tách conversation mới khi context dài (thay vì để user tự phát hiện qua crash), tránh mất việc đang làm dở giữa chừng.
10. Mất context/memory giữa các session, phải “re-train” lại
Thread: 631994 User: Maximus3 Quote: “some of its memory will be lost so you have to re-train for your task” Thread khác — Using Shopify’s Sidekick Ai to Build a Shopify Store, cùng user Maximus3: Quote: “It has limited memory for your previous conversations and your store in general…you need to tell it specifically. Like what theme you are using.” Guardrail đề xuất: Context-persistence guardrail — khi mở conversation mới hoặc context bị reset, AI phải chủ động hỏi lại thông tin nền tảng (theme, ngôn ngữ, forbidden words…) thay vì âm thầm giả định/áp dụng sai.
11. Code generator sai phần lớn thời gian (“fail 90%”)
Thread: 615584 User: Maximus3 Quote: “The ai code generator will fail in what you want 90% of the time…you get very limited options to adjust before making it.” Guardrail đề xuất: Preview-before-apply / test-before-deploy — không tự động deploy code do AI sinh ra vào theme production; luôn có bước preview + user confirm.
12. Tự nhận đưa thông tin/code sai
Thread: 615584 User: Maximus3 Quote: “If you get frustrated because it gives inaccurate or wrong information or code” Guardrail đề xuất: Cite-source + confidence disclosure — mọi thông tin kỹ thuật (code, config) nên kèm ghi chú “chưa test” hoặc yêu cầu user verify trước khi apply, đặc biệt khi liên quan store data thật.
13. Không có khả năng tra cứu thông tin online (khác ChatGPT)
Thread: 615584 User: Maximus3 Quote: “It’s not like ChatGpt where it can look up information online.” Guardrail đề xuất: Scope-disclosure — AI nên nói rõ giới hạn “không tra cứu real-time web” khi user hỏi thứ cần thông tin ngoài store data, tránh AI tự bịa (liên hệ trực tiếp tới lỗi #1, #6).
14. Phụ thuộc hoàn toàn vào chất lượng data có sẵn — dễ khuếch đại lỗi gốc
Thread: 606883 User: Moss_Mercury Quote: “depends heavily on the quality and structure of the data already in your store” Guardrail đề xuất: Data-quality pre-check — trước khi generate content hàng loạt (bulk edit, SEO rewrite), AI nên flag nếu source data (product info) thiếu/thin, thay vì generate output tự tin dựa trên data rỗng.
Ghi chú về các hướng tìm không ra bằng chứng trực tiếp
- Search cụ thể
"ignored my instructions",bulk edit wrong products,character limit title meta(ngoài thread 589483),changed language English(ngoài 589483),reverted my changes,price wrong incorrect,negative keyword/forbidden word— không tìm thêm được thread Sidekick-specific mới ngoài các thread đã liệt kê ở trên. Không bịa thêm quote cho các hướng này. - Thread Sidekick best practices: chỉ có 1 bài gốc + 1 reply, đều tích cực/best-practice, KHÔNG chứa failure mode nào — bỏ qua, không dùng làm bằng chứng.
- Thread Can I get rid of Sidekick conversations from sidebar: chủ yếu complaint về UX (không muốn dùng, browser crash khi conversation dài — trùng với mục 9, chatbot không hiểu lệnh xoá conversation) — dùng bổ trợ cho mục 9, không tính là failure mode riêng để tránh trùng lặp đếm.
- Thread Sidekick & custom liquid with theme update và Sidekick ran into an issue: fetch được nhưng KHÔNG chứa mô tả lỗi cụ thể phù hợp (thread đầu là feature request, thread sau là lỗi kết nối chung chung “not working” không có chi tiết kỹ thuật) — không dùng làm bằng chứng.
Tổng hợp mapping Guardrail → Failure mode
| Guardrail | Failure mode chặn được |
|---|---|
| SKU/data-integrity lock | #1 |
| Forbidden-word lock | #2 |
| Language lock | #3 |
| Char-limit lock | #4 |
| Preview-before-apply / audit-before-bulk | #5, #11 |
| Cite-source / confidence-flag | #6, #12, #13 |
| Scope-disclosure (capability boundary) | #7, #8, #13 |
| Session-length guardrail | #9 |
| Context-persistence guardrail | #10 |
| Data-quality pre-check | #14 |