Sidekick — Market Pain Evidence (Phase B synthesis, 2026-07-21)
Input cho Phase C (build Guardrail pack sidekickskills.com). Gom + dedup bằng chứng từ 3 file research:
community-guardrail-evidence-2026-07-21.md(14 failure mode, Shopify Community forum)reddit-sidekick-2026-07-21.md(bản CẬP NHẬT — 6 thread fetch được thật + danh sách 429, không phải bản 3-thread ban đầu)blog-review-sidekick-2026-07-21.md(9 nguồn verified — A1-A9)
Quy tắc: mọi quote dưới đây copy nguyên văn từ 3 file trên, không bịa thêm.
Lưu ý dedup quan trọng: Community #2/#3/#4 (forbidden-word, language, char-limit) và Blog A2 đều trích từ cùng một thread gốc (community.shopify.com/…/589483, user Dawsonx) — 2 file research độc lập cùng tìm ra, nhưng về bản chất vẫn là lời kể của 1 merchant → xếp “single-source” ở tầng bằng chứng thật (không phải 2 merchant khác nhau xác nhận).
Bảng chính — Failure cluster → Guardrail prompt
| # | Failure cluster | Nguồn (multi/single) | Quote đại diện + link | Guardrail prompt đề xuất | Ưu tiên |
|---|---|---|---|---|---|
| 1 | Bịa SKU / mã sản phẩm / spec kỹ thuật / SEO title sai chuẩn (wattage, Bluetooth version, barcode, nomenclature) | Multi mạnh — Community #1 (first-hand) + Reddit thread #6, u/nsxn (xác nhận độc lập, khác merchant) + Blog A7 case 1 (anecdote) | “hallucinates and invents new codes during processing” — Dawsonx, thread 589483; “Sku and barcode generation is a little f-ed. It will miss active products and it will use a nomenclature that Google doesn’t reccomend. Same goes for SEO titles.” — u/nsxn, r/shopify thread 1qztv8b; “Wattage figures off by an order of magnitude. Bluetooth versions that did not exist.” — Blog A7 (Monkeyman) | sidekick-guardrail-sku-integrity |
Cao |
| 2 | Phớt lờ forbidden-keyword / negative-SEO constraint | Single (Community thread 589483, cross-confirmed cùng thread bởi Blog A2, không phải merchant khác) | “ignored these instructions entirely, inserting forbidden keywords” — Dawsonx | sidekick-guardrail-forbidden-words |
TB |
| 3 | Tự đổi ngôn ngữ về English dù store set locale khác | Single (cùng thread 589483) | “frequently reverted to English” — Dawsonx | sidekick-guardrail-language-lock |
TB |
| 4 | Vượt giới hạn ký tự bắt buộc (title/meta) | Single (cùng thread 589483) | “fails to respect explicit character limits” / “ignoring the character limits I set for meta-titles and descriptions” — Dawsonx | sidekick-guardrail-char-limit |
TB |
| 5 | Không preview/diff trước khi apply — đặc biệt theme/code, gây audit burden hoặc phải revert tay | Multi — Community #5, #11 + Blog A4, A6, A9 + Reddit thread #1, #6 | “requires the merchant to spend more time auditing basic errors than it saves” — Community Dawsonx; “a fast first draft, not a final answer” — Blog A4 (PageFly); “sometimes it makes the wrong change. I will just keep on reverting.” — Reddit u/geeky_traveller, r/ecommerce; “I couldnt get it working for much on my dawn theme. The things it could do struggled a bit when I got to a 3rd iteration.” — Reddit u/Immediate_Focus9690, thread #6 | sidekick-guardrail-preview-before-apply |
Cao |
| 6 | Bulk/batch action sai hoặc không tự thực thi được; data nguồn thin không được flag trước khi generate hàng loạt | Multi — Community #5, #14 + Blog A3, A4 + Reddit thread #2 | “depends heavily on the quality and structure of the data already in your store” — Community Moss_Mercury; “Sidekick can suggest bulk edits, but it can’t execute them autonomously in most cases” — Blog A3 (Tenten); “Sidekick gave me wrong info suggesting the products could be added from bulk edit in the products section” — Reddit u/JeveSt0bs, r/shopify | sidekick-guardrail-audit-before-bulk |
Cao |
| 7 | Confident-wrong-answer / tự mâu thuẫn khi bị vặn lại / sycophancy — không disclose độ tin cậy | Multi (mạnh nhất — cả 3 nguồn) — Community #6, #12 + Blog A5, A7 case 2, A9 + Reddit thread #2 | “hallucinations are the default so that’s setting everyone up to get constant false positives AND false negatives” — Community PaulNewton; “Sidekick rarely says ‘I don’t know’” — Blog A5 (Let’s Talk Shop); “gives me an answer that’s wrong…then when I say it doesn’t work, it says that Shopify doesn’t allow it” — Reddit u/eatsalinity | sidekick-guardrail-cite-source-confidence |
Cao |
| 8 | Không chủ động disclose giới hạn phạm vi năng lực cốt lõi (không search ảnh, không build backend app phức tạp) | Multi — Community #7, #8 + Blog A5, A6 (corroborate diện rộng) | “It can only search structured data like products, orders, and collections. It cannot search images” — Community mastroke; “Sidekick can’t build fully featured backend applications with custom infrastructure” — Community gunjanj | sidekick-guardrail-scope-disclosure-capability |
TB/Cao |
| 9 | Conversation dài → chậm dần, lock up, crash browser (multi-step/long session) | Single (Community #9), gợi ý củng cố yếu bởi Reddit thread #3 (task phức tạp prompt kéo dài 4 ngày không ra kết quả — không phải cùng hiện tượng kỹ thuật nhưng cùng theme “long/compounding session không đáng tin”) | “Sidekick works fine at the start of a conversation but becomes progressively slower and eventually locks up as the conversation grows longer.” — Community k10whosun; “Yes the length of a Sidekick conversation can cause the browser to crash.” — Community Maximus3 | sidekick-guardrail-one-task-per-session |
TB |
| 10 | Mất context/memory giữa các session, phải “re-train” lại thông tin nền (theme, ngôn ngữ, forbidden word) | Multi — Community #10 (Maximus3) + Reddit thread #5 (u/No-Assistance-9211, xác nhận độc lập) | “some of its memory will be lost so you have to re-train for your task” — Community Maximus3; “got frustrated previously when teaching it something then the next day it forgot” — u/No-Assistance-9211, r/ShopifyWebsites thread 1po9k5p | sidekick-guardrail-context-persistence-recap |
TB |
| 11 | Task phức tạp (mega menu, multi-level nav, animation) vượt hẳn khả năng dù prompt kỹ | Single (Reddit thread #3 only) | “It has been 4 days I am trying to prompt and it just doesn’t give me a good result…” — Reddit u/[thread mega menu], r/shopifyDev | — (xem Gap section, không phải lỗi hành vi prompt-fixable) | — |
| 12 | Không truy cập được external tool/data (Klaviyo, CRM, Zendesk, Notion, Google Sheets, ad platform, real-time web) | Multi mạnh — Blog A3, A4, A5, A6 + Community #13 + Reddit thread #2 (Lifetwozero) | “Sidekick cannot read your Klaviyo flows, your Gorgias tickets, your Google Sheets inventory file, your Zendesk macros, or your Notion SOPs.” — Blog A5; “The thing barely has access to its own data.” — Reddit u/Lifetwozero | — (xem Gap section — capability gap, không fix được bằng prompt) | — |
| 13 | App-recommendation bias (luôn gợi ý cùng top-listed app, chôn vùi niche fit) | Single (Blog A5 only — tự flag trong file gốc là cần thêm nguồn) | “tends to recommend the same top-listed apps in every category regardless of fit” — Blog A5 (Let’s Talk Shop) | — (xem Gap section — cần thêm nguồn trước khi build gì) | — |
| 14 | Analytics module không gộp được nhiều nguồn data trong 1 report (vd sales + inventory) | Single (Reddit thread #4 only, u/altuser99) | “I used it to write an inventory report admin app because the analytics module cannot generate a report that contains sales data and inventory data.” — u/altuser99, r/shopify thread 1u9f91n | — (xem Gap section — capability gap Analytics, không fix bằng prompt) | — |
| 15 | Quota tuần bị burn hết khi dùng Sidekick cho task nặng (app/flow build) | Single (Reddit thread #4 only, u/datatenzing) | “Only problem is a burned through my weekly quota.” — u/datatenzing, cùng thread 1u9f91n | — (giới hạn billing/plan, không phải hành vi AI — không map guardrail) | — |
DoD check: 10/15 failure cluster map tới 1 guardrail prompt cụ thể (≥8 đạt). 5 cluster còn lại (#11, #12, #13, #14, #15) cố ý KHÔNG map — đẩy sang Gap section / ghi chú riêng theo đúng chỉ định nhiệm vụ.
Prompt nên viết Phase C (10 slug, xếp ưu tiên)
sidekick-guardrail-cite-source-confidence(Cao) — Bằng chứng mạnh nhất, cả 3 nguồn đều có (Community + Blog + Reddit). Buộc mọi claim/kết quả kèm nguồn dữ liệu hoặc mức tin cậy, không present như fact chắc chắn; xử lý luôn pattern “tự mâu thuẫn khi bị vặn lại”.sidekick-guardrail-sku-integrity(Cao) — Cấm AI tự sinh giá trị alphanumeric (SKU, mã sản phẩm, spec kỹ thuật, SEO title); mọi giá trị kỹ thuật phải lấy trực tiếp từ store data. Giờ là multi-source thật (Community + Reddit u/nsxn xác nhận độc lập “SKU/barcode generation… miss active products… nomenclature Google không khuyến nghị”), không chỉ 1 merchant.sidekick-guardrail-preview-before-apply(Cao) — Bắt buộc hiển thị diff/summary trước khi commit vào store, đặc biệt theme/code edit và batch action — multi-source rõ (Community, Blog, Reddit đều xác nhận “phải revert tay”).sidekick-guardrail-audit-before-bulk(Cao) — Trước bulk edit/generate hàng loạt: flag nếu data nguồn thin, không tự nhận đã “thực thi” khi chỉ mới gợi ý — multi-source (bulk shipping-profile fail trên Reddit là ví dụ cụ thể nhất).sidekick-guardrail-scope-disclosure-capability(TB/Cao) — Khi task nằm ngoài năng lực cốt lõi (tìm ảnh trong content library, build backend app phức tạp), AI phải nói rõ giới hạn ngay từ đầu thay vì cố trả lời sai.sidekick-guardrail-forbidden-words(TB) — Hard filter chặn output chứa từ cấm của merchant, check TRƯỚC khi apply. Chỉ single-source (1 merchant, thread 589483) nhưng risk nghiêm trọng (SEO sabotage) nên vẫn giữ ưu tiên TB.sidekick-guardrail-language-lock(TB) — Detect ngôn ngữ gốc field/store trước khi generate, reject nếu output lệch locale. Single-source, cùng thread 589483.sidekick-guardrail-char-limit(TB) — Validate độ dài output so với giới hạn cứng field trước khi ghi. Single-source, cùng thread 589483.sidekick-guardrail-one-task-per-session(TB) — Chủ động đề xuất tách conversation mới / giới hạn phạm vi 1 task khi context dài hoặc task nhiều bước, tránh compounding error và crash. Evidence chính từ Community, củng cố yếu bởi Reddit (task phức tạp kéo dài không ra kết quả).sidekick-guardrail-context-persistence-recap(TB) — Khi mở session mới/context reset, chủ động hỏi lại thông tin nền (theme, ngôn ngữ, forbidden word) thay vì âm thầm giả định sai. Nâng từ Thấp lên TB vì giờ có 2 nguồn độc lập xác nhận (Community Maximus3 + Reddit u/No-Assistance-9211 “next day it forgot”).
Gap mới ngoài guardrail (chờ Sam duyệt — KHÔNG tự build)
Các pain điểm dưới đây lộ rõ trong research nhưng nằm ngoài phạm vi “guardrail prompt” — guardrail prompt sửa được hành vi AI (thận trọng hơn, disclose rõ hơn), nhưng 5 pain này là giới hạn năng lực/sản phẩm/billing mà prompt không fix được tận gốc, hoặc chưa đủ bằng chứng để build ngay. Đề xuất Sam duyệt trước khi quyết định có mở category mới trên site không:
- External tool / data access (không đọc được Klaviyo, Gorgias, Zendesk, Notion, Google Sheets, ad platform, không tra cứu real-time web) — bằng chứng mạnh nhất trong 3 gap này (multi-source: Blog A3/A4/A5/A6 + Community #13 + Reddit Lifetwozero “barely has access to its own data”). Đây là giới hạn kiến trúc (Admin API only), một guardrail prompt chỉ có thể giúp AI nói rõ giới hạn này sớm hơn (đã cover trong
scope-disclosure-capability), nhưng bản thân pain “muốn Sidekick làm được việc đó” thì không prompt nào giải quyết được — có thể xứng đáng 1 category riêng dạng “integration gap checklist” hoặc so sánh với tool khác, không phải guardrail. - App-recommendation bias (luôn gợi ý cùng top-listed app, bỏ qua niche fit) — chỉ single-source (Blog A5, chính file gốc cũng tự flag “cần tìm thêm nguồn thứ 2 nếu muốn dùng làm claim mạnh”). Cần research thêm trước khi quyết định có mở category/prompt riêng hay không.
- Task phức tạp vượt khả năng thật (mega menu multi-level, animation kiểu Louis Vuitton/Dior) — single-source (Reddit thread #3, non-dev merchant prompt 4 ngày không ra kết quả). Đây có thể là chất liệu cho 1 dạng nội dung khác (vd “prompt playbook cho task phức tạp” hoặc “khi nào nên dùng dev thay vì Sidekick”) chứ không phải guardrail hành vi.
- Analytics module không gộp được nhiều nguồn data trong 1 report (vd sales + inventory cùng lúc) — single-source (Reddit thread #4, u/altuser99: “the analytics module cannot generate a report that contains sales data and inventory data” → merchant phải tự build app riêng để bù). Giới hạn năng lực Analytics JTBD, không phải hành vi prompt-fixable.
- Quota giới hạn khi dùng Sidekick cho task nặng (app/flow build) — single-source (Reddit thread #4, u/datatenzing: “burned through my weekly quota”). Đây là giới hạn billing/plan của Shopify, hoàn toàn ngoài phạm vi guardrail prompt — chỉ nêu để Phase C không hứa hẹn “dùng Sidekick không giới hạn”.
Ghi chú thêm (không phải gap category, chỉ để Phase C biết mà tránh hứa hẹn): một số lỗi tìm thấy (block-generation lỗi 500 ~1/3 lần, icon biến mất do bug theme — Blog A7 case 4-5) là bug sản phẩm thuần tuý, không phải hành vi AI có thể sửa bằng guardrail prompt — không đưa vào bảng chính, không đưa vào category mới, chỉ nêu ở đây để Phase C không cố “guardrail hoá” chúng.