같은 방법을 두 번째 데이터셋에 적용하자 상위 두 순위가 뒤바뀌었습니다

분석을 한 번 더 실행한 이유

앞 글의 결론은 한 데이터셋에서 나왔습니다. 그 글도 ‘이 데이터로 내릴 수 없는 결론’ 절에서 CPSC가 소비재를 담당하므로 전자 산업이나 산업용 부품에 적용해서는 안 된다고 밝혔습니다.

당시 이 문장은 신중하게 단 제한 조건이었을 뿐, 측정된 내용은 아니었습니다. 이 글은 그것을 측정합니다.

두 번째 데이터셋과 완전히 같은 기준

미국 FDA의 의료기기 리콜 공개 인터페이스인 openFDA를 사용했습니다. reason_for_recall 필드에서 체결부품 용어를 검색하자 1 973건이 나왔습니다. 한 번에 최대 1 000건만 받을 수 있어 두 번에 나누어 전부 가져왔으며, 표본이 아니라 전체 모집단입니다.

이어서 앞 글과 완전히 같은 기준을 적용했습니다. 체결부품 용어와 고장 동사가 60자 이내에 있어야 한다는 기준을 통과한 것은 477건입니다. 분류 규칙도 그대로 복사했으며 이 데이터에 맞춰 조정하지 않았습니다.

결과

상위 두 순위가 바뀌었습니다. 반면 이탈 항목은 양쪽이 비슷합니다(16.7 대 14.7). 이 사실 자체도 살펴볼 가치가 있습니다. 데이터 전체가 일괄적으로 이동한 것이 아니라 특정 범주가 이동했음을 보여주기 때문입니다.

열다섯 가지 계산법에서도 방향은 같았습니다

이 순위 역전이 우연히 적합한 검색식을 골랐기 때문일 수 있을까요? 이를 확인하기 위해 기준을 다섯 가지 형태로 나누고 각각 세 가지 거리 범위(30자, 60자, 100자)와 조합해 총 열다섯 가지 조합을 모두 다시 실행했습니다.

• 공개한 조합(60자 범위)
• 단어 경계(word boundary)를 제거한 정규식
• fail 제거(범위가 가장 넓어 결과를 부풀릴 수 있음)
• missing과 strip 제거
• 풀림과 파단 두 범주만 남기고 나머지는 모두 제외

결과는 다음과 같습니다. 열다섯 가지 조합 모두에서 소비재 쪽은 풀림이 첫째였고(44.8%~75.0%), 의료기기 쪽은 파단이 첫째였습니다(38.8%~65.1%). 방향은 한 번도 뒤집히지 않았습니다.

⚠️ 그러나 규모는 크게 달라집니다. 의료기기 쪽 검색 결과는 218~598건, 소비재 쪽은 12~30건입니다. 따라서 가져갈 수 있는 결론은 두 데이터셋의 순위가 다르다는 것이지, 특정 비율이 아닙니다. 이 절의 비율은 풀림과 나머지 모든 파단 유형을 나눈 이분법을 사용해 위 표의 네 가지 분류와 다릅니다. 따라서 수치가 약간 다른 것(50.3 대 49.3)은 오류가 아닙니다.

의료기기가 더 쉽게 파단된다는 뜻은 아닙니다

두 데이터셋은 분야만 다른 것이 아닙니다. 적어도 다음 세 가지도 다릅니다.

• 분석한 필드가 다릅니다. CPSC에서는 설명, 제목, 위해 필드를 읽었고 FDA에서는 리콜 사유 필드를 읽었습니다. 작성 관행이 서로 다릅니다.
• 연도 범위가 다릅니다. CPSC 데이터는 2023~2026년이고, 가져온 FDA 1 000건은 2003~2025년에 걸쳐 있습니다.
• 보고 제도가 다릅니다. 어느 수준에서 보고하는지, 누가 작성하는지, 얼마나 자세히 쓰는지가 두 체계에서 다릅니다.

교란 요인을 제거하지 않았으므로 이 페이지는 원인을 주장하지 않습니다. 말할 수 있는 것은 같은 기준이 두 데이터셋에서 다른 순위를 만든다는 점입니다. 따라서 앞 글의 순위를 체결부품의 보편적 특성으로 볼 수 없습니다.

확신할 수 없는 부분

체결부품을 지정하는 사람이 활용할 수 있는 결론

두 데이터셋이 일치하는 것은 한 가지뿐입니다. 풀림과 파단이 상위 두 범주이며 둘을 합하면 양쪽 모두 열에 일곱 정도입니다. 어느 것이 첫째인지는 살펴보는 산업에 따라 달라집니다.

따라서 실무에서는 무엇이 첫째인지 외울 것이 아니라 자신의 적용 환경에서 어느 고장이 더 큰 비용을 만드는지 먼저 물어야 합니다. 풀리는 체결부와 파단되는 체결부에는 서로 다른 대책이 필요하며, 한쪽을 막는 조치가 다른 쪽까지 함께 막아 주는 경우는 일반적이지 않습니다.

이 글은 여섯 단계 중 하나에만 해당하지 않습니다. 여러 단계를 아우르거나 조립 후에 나타나는 문제입니다. 관련 결정은 영어 글 Specifying a screw에서 설명합니다.

자주 묻는 질문

그렇다면 앞 글이 틀렸습니까?

틀린 것이 아니라 적용 범위가 원래 적힌 것보다 더 좁습니다. 그 수치는 CPSC 데이터에서는 여전히 성립하며, 앞 글도 전자 산업이나 산업용 부품에 적용해서는 안 된다고 밝혔습니다. 이 페이지는 그 신중한 제한 조건을 측정한 결과로 바꿉니다. 다른 데이터셋에서는 상위 두 순위가 뒤바뀝니다.

n을 늘리기 위해 CPSC 데이터를 더 가져오지 않은 이유는 무엇입니까?

CPSC 데이터는 이미 2023~2026년 리콜 1 458건 전체이며, 체결부품이 원인으로 기록된 것은 24건뿐입니다. n을 늘리려면 더 이전 연도를 가져와야 하고, 그러면 두 데이터셋의 연도 범위가 더 달라집니다. 이 페이지는 표본을 확대해 작은 n을 가리는 대신 그 사실을 명시했습니다.

의료기기 표본 236건이 더 신뢰할 만하지 않습니까?

통계적으로는 더 안정적이지만 자체 문제가 있습니다. 236건은 1 973건 중 먼저 가져온 1 000건에서 걸러졌고 정렬을 지정하지 않았으므로 무작위 표본인지 확인할 수 없습니다. 두 데이터셋에는 각자의 약점이 있으며 이 페이지는 양쪽의 약점을 모두 밝혔습니다.

참고 자료

• openFDA 의료기기 리콜 인터페이스 — 이 페이지의 두 번째 데이터셋 출처
• 앞 글: 공개 리콜 데이터에서 나사의 더 흔한 문제는 풀림입니다 — 이 페이지가 재검증한 대상
• 미국 CPSC 리콜 인터페이스 — 앞 글의 데이터 출처

두 데이터셋에 같은 기준을 사용했습니다. 체결부품 용어와 고장 동사가 60자 이내에 있어야 하며, 그 뒤 공고 자체의 표현에 따라 분류했습니다. ✅ FDA 쪽은 두 번에 나누어 가져온 1 973건의 전체 모집단이며 표본이 아닙니다. ⚠️ 필드, 연도 범위, 보고 제도가 다르고 교란 요인을 제거하지 않았으므로 이 페이지는 원인을 주장하지 않습니다. Fisher 정확 검정은 당사가 직접 계산했습니다.