종이 카드인가 화면인가? 카드 소팅 매체는 어떻게 선택해야 할까

클라이언트가 120페이지 분량의 제품 카탈로그를 전면 개편하면서 공식 웹사이트 메뉴도 함께 리뉴얼하려 합니다. 당신은 먼저 카드 소팅(card sorting)을 진행하자고 제안합니다. 품목명을 적은 카드를 내부 영업팀과 대리점에 나눠주고 그룹으로 묶게 하여, '그들의 머릿속 분류'와 '회사 내부의 품번 논리'가 얼마나 차이 나는지부터 파악하기 위함입니다

곧바로 문제가 발생합니다. 피실험자들이 여러 지역에 흩어져 있어 직접 방문할 수 있는 사람도 있고 온라인으로만 참여 가능한 사람도 있습니다. 매체를 통일하기 위해 무리해서 모두를 한자리에 불러 모아야 할까요? 아니면 절반은 종이 카드, 절반은 온라인 툴로 섞어서 데이터를 수집해야 할까요?

이것은 단순한 행정적 문제가 아니라 방법론의 문제입니다. 매체 자체가 분류 결과에 영향을 미치는지 여부는 두 그룹의 데이터를 합쳐서 분석할 수 있는지를 결정짓습니다. 아래의 4가지 실무 질문을 통해 매체 선택 기준을 명확히 짚어봅니다

차이는 분명 존재하지만, 한쪽이 잘못된 방법이 될 정도로 극단적이지는 않다는 것이 기존 비교 연구들이 내린 결론입니다. 컴퓨터 기반 카드 소팅과 지류 기반 카드 소팅의 수행 방식을 체계적으로 비교한 연구 역시 바로 이 의문을 바탕으로 설계되었으며, 두 매체에서 도출된 분류 결과를 동등한 것으로 볼 수 있는지에 분석 초점을 맞췄습니다 [1]

실무 관점에서 볼 때 차이점은 '분류가 맞고 틀렸는가'에 있지 않고, '분류하는 과정이 어떤 모습인가'에 있습니다

・100장의 종이 카드가 테이블 위에 펼쳐져 있으면, 피실험자는 곁눈질만으로도 아직 배치되지 않은 카드를 훑어보며 이미 묶어둔 그룹을 언제든 다시 해체하고 재구성할 수 있습니다

・디지털 툴은 스크롤, 페이지 전환, 드래그 영역의 한계로 인해, 피실험자가 먼저 눈에 들어온 카드부터 우선 배치하고 나중에 본 카드는 이미 만들어진 그룹에 억지로 끼워 넣는 경향을 보입니다

구체적으로 종이 카드 세션에서는 '예상치 못한 제3의 카테고리'가 도출되기 쉬운 반면, 디지털 세션은 소수의 대분류로 수렴하는 경향이 있습니다. 따라서 미지의 구조를 탐색할 때는 종이 카드가 훨씬 유리하고, 기존 구조를 검증할 때는 디지털 툴이 충분하면서도 비용 효율적입니다

판단 기준은 예산이나 피실험자의 거주지가 아니라 연구 목적입니다. 문제를 두 가지 케이스로 나눠 살펴보겠습니다

종이 카드를 선택해야 하는 시점

・오픈 카드 소팅(open sort): 진행자조차 몇 개의 카테고리가 나와야 할지 아직 확신이 없는 경우

・피실험자가 생각하면서 동시에 말해야 하는 경우(think-aloud): 최종 결과뿐만 아니라 그들의 망설임과 시행착오 과정을 파악하고자 할 때

・카드 내용에 촉각적 단서가 필요한 경우: 종이의 평량, 촉감, 후가공 샘플(박인쇄, 형압, 부분 코팅 등) 자체가 분류 대상일 때. 이때 '카드'는 정보 전달 매체가 아니라 제품 자체이므로, 이를 디지털화하면 실험 변수 자체가 완전히 사라집니다

・표본 규모가 작고(10~15명), 통계적 군집화가 아닌 정성적 해석을 목적으로 하는 경우

디지털 툴을 선택해야 하는 시점

・클로즈드 카드 소팅(closed sort): 카테고리가 이미 정해져 있고, 특정 항목이 어디에 속하는지 검증하고자 할 때

・피실험자가 흩어져 있고, 통계 분석을 위해 표본을 30명 이상 확보해야 하는 경우

・단계별 조작 로그(각 카드의 이동 횟수, 머무른 시간 등)가 필요한 경우: 종이 카드 세션에서는 녹화하지 않는 한 확보하기 어려운 데이터입니다

카탈로그 프로젝트의 경우 가장 합리적인 방식은 이렇습니다. 먼저 내부 영업 담당자와 베테랑 대리점 관계자 8~10명을 대상으로 종이 카드 소팅을 진행해 후보 아키텍처를 도출합니다. 그런 다음 디지털 툴을 활용한 클로즈드 카드 소팅으로 40명 이상의 외부 고객을 테스트하여, 이 구조가 실제 사용자 환경에서도 타당한지 검증하는 것입니다. 두 단계, 두 가지 매체, 두 가지 목적으로 나누는 것이지 두 데이터를 무작정 섞는 것이 아닙니다

가장 큰 리스크는 타당도 문제라기보다 매체의 차이를 피실험자 간의 차이로 오독하는 데 있습니다

만약 종이 카드 그룹에서는 7개의 카테고리가 도출되고 디지털 그룹에서는 4개만 도출되었다면, 이것이 '두 집단의 멘탈 모델이 달라서'인지, 아니면 '두 매체의 조작 비용이 달라서'인지 구분할 수 없습니다. 데이터를 혼합 수집하면 매체가 통제되지 않은 외생 변수가 되어, 관찰하고자 하는 핵심 변수와 뒤엉켜 버립니다

실무적인 접근법에는 3단계 원칙이 있습니다

1. 가급적 섞지 않는다. 동일한 연구 라운드 내에서는 매체를 통일해야 합니다

2. 부득이하게 혼합해야 할 때는 매체를 독립된 변수 필드로 기록한다. 분석 단계에서 먼저 층화 분석을 진행해 두 그룹의 구조가 유사한지 확인한 후 병합을 검토해야 합니다

3. 결과 보고서에 매체 구성을 명확히 기재한다. 이는 연구 재현성을 위한 기본 요건이자, 추후 타인이 이 결론을 인용할 때 반드시 인지해야 할 한계 조건입니다

여기서 흔히 발생하는 용어 혼동을 하나 짚고 넘어갈 필요가 있습니다. 데이터 분석 소프트웨어에서 말하는 'sorting data / selecting cases'는 이미 구축된 데이터셋을 정렬하고 관측치를 필터링하는 분석 단계의 작업을 뜻합니다 [2][3]. 반면 디자인 리서치의 카드 소팅(card sorting)은 분류 구조를 생성하기 위한 데이터 수집 방법론입니다 [1]. 둘 다 'sorting'이라는 단어를 쓰지만, 하나는 데이터 생성 이전 단계이고 다른 하나는 이후 단계입니다. 이종 분야 문헌을 검색할 때 키워드를 혼용하면 엉뚱한 결과가 대량으로 걸려 나오게 됩니다

분명히 존재하며, 특정 조건에 집중되어 있습니다. 바로 분류 대상 자체가 물질성을 지니고 있을 때입니다

지류 샘플북, 후가공 샘플(박인쇄, 형압, 부분 코팅 등), 다양한 평량의 명함 세트처럼 피실험자가 그룹을 나누는 기준에는 촉감, 두께, 빛 반사, 바스락거리는 소리까지 포함됩니다. 이러한 속성은 화면에 담아낼 수 없습니다. '표현력이 부족해서'가 아니라 디지털 매체의 전달 범위 자체를 벗어나기 때문입니다. 고객이 머릿속에서 종이 재질을 어떻게 분류하는지 연구할 때, 종이 카드는 여러 선택지 중 하나가 아니라 유일한 선택지입니다

두 번째 시나리오는 의사결정이 이루어지는 공간 자체가 오프라인 현장일 때입니다. 전시 동선, 매장 진열대, 카탈로그 양면 펼침면의 페이지 넘김 순서 등은 작업의 공간 구조가 테이블 위에 카드를 펼치는 물리적 구조와 동형을 이루므로, 종이 카드의 시뮬레이션 충실도가 훨씬 높습니다

반대로 분류 대상이 순수 정보 객체(페이지 타이틀, 기능 명칭, 아티클 태그 등)여서 물질성이 판단에 개입하지 않는다면, 디지털 툴이 비용·확장성·데이터 무결성 면에서 압도적으로 유리합니다. 이 경우 종이 카드를 고집하는 것은 방법론이 아닌 형식주의적 의식에 매달리는 것에 불과합니다

실행 일주일 전이 아니라, 프로젝트 킥오프 시점에 다음 3가지 사항을 연구 계획서에 명시해야 합니다

・연구 목적이 탐색인지 검증인지에 따라 오픈(open) 또는 클로즈드(closed) 소팅을 결정합니다

・분류 대상에 물질적 속성이 있는지에 따라 종이 카드의 대체 불가능 여부를 판단합니다

・표본 규모와 분석 방식이 정성적 해석인지 통계적 군집화인지에 따라 매체와 세션 수를 결정합니다

이 3가지 조건이 정리되면 매체 선택은 대개 단 하나의 합리적인 정답으로 귀결되며, 더 이상의 소모적인 논쟁은 불필요해집니다

적용 한계: 위 기준은 피실험자가 두 매체 모두에 조작상의 큰 장벽이 없다는 것을 전제로 합니다. 만약 대상 집단의 디지털 툴 숙련도 편차가 크다면(예: 현장 베테랑 기술자와 젊은 마케터가 섞여 있는 경우), 디지털 환경의 조작 부하 자체가 결과에 편향을 줄 수 있습니다. 이때는 연구 목적이 검증이라 하더라도 종이 카드나 현장 보조 방식을 우선 고려해야 하며, 보고서에 이러한 조정 사항을 명시해야 합니다. 마찬가지로 다국어 또는 다문화 연구에서는 매체 외적인 변수의 영향력이 매체 자체보다 클 수 있으므로, 본문의 기준을 상황에 맞게 재조정해야 합니다

종이 카드와 디지털 카드 소팅의 차이는 결과의 정오(옳고 그름)가 아니라 과정과 시야 범위에 있으며, 기존 연구에서도 두 방식을 상호 비교 가능한 방법론으로 평가하고 있습니다 [1]

미지의 분류 구조를 탐색할 때는 종이 카드를 우선하고, 기존 구조를 검증할 때는 디지털 툴이 충분하며 비용도 절감됩니다

분류 대상이 촉감, 평량, 후가공 등 물질적 속성을 지니고 있다면 종이 카드는 디지털 매체로 대체될 수 없습니다

동일한 연구 라운드 내에서는 매체를 통일해야 하며, 부득이하게 혼합할 경우 매체를 분석 필드로 기록하고 층화하여 검토해야 합니다

디자인 리서치의 카드 소팅(card sorting)과 통계 소프트웨어의 데이터 정렬/케이스 선택(sorting/selecting cases)은 서로 다른 연구 단계의 작업이므로 문헌 검색 시 키워드를 혼용하지 않아야 합니다 [1][2][3]

인쇄·제조 업계 관점에서 카드 소팅의 매체 선택은 그동안 간과되었던 중요한 사실 하나를 일깨워 줍니다. 바로 지류와 후가공 샘플이 단순한 견적용 부속물이 아니라 훌륭한 연구 도구라는 점입니다. 샘플북을 분리 가능하고 그룹별로 나눌 수 있는 형태로 디자인한다면 고객의 분류 논리를 가시화할 수 있어, 향후 제품군 기획과 카탈로그 구조화에 직접적인 가치를 창출합니다. 디자인 측면에서는 2단계(종이 카드 탐색 → 디지털 검증) 분업을 통해 정성적 방법론을 무리하게 통계적 기대치에 끼워 맞추지 않으면서도 비용을 효율적으로 통제하는 표준 프로세스를 구축할 수 있습니다. AI 도입의 기회는 디지털 세션의 인터랙션 데이터에 있습니다. 드래그 궤적, 망설인 시간, 반복 수정 횟수 등 현재 대부분 버려지고 있는 이 시그널들을 구조화하여 저장한다면 클러스터링 모델을 위한 보기 드문 고품질 입력값이 될 것입니다. SaaS 분야의 과제 또한 명확합니다. 기존 카드 소팅 툴은 대부분 최종 결과만을 기록할 뿐 프로세스 전체를 온전히 캡처하지 못하며, 혼합 매체 데이터를 층화 분석하는 기능도 부재합니다. '매체를 통제 변수로 관리하는 기능'을 먼저 제품에 구현하는 기업이 이 방법론의 가장 큰 공백을 메우게 될 것입니다

[1] Goetz（2114）. Different or alike? Comparing computer-based and paper-based card sorting. International Journal of Strategic Innovative Marketing. DOI: 10.15556/ijsim.01.01.003

[2] 데이터 정렬 및 케이스 선택. Data Analysis Using SAS Enterprise Guide. DOI: 10.1017/cbo9780511804786.006

[3] 케이스 선택, 정렬 및 가중치 부여. Applied Statistics with SPSS. DOI: 10.4135/9781446249390.n10