본문 바로가기
반응형

전체 글477

Mann–Whitney U 검정 실습: 동점에서 exact와 순열검정이 다른 이유 표본에 동점이 있는데 Mann–Whitney U 검정의 exact와 auto가 다른 p값을 반환한다면 어느 값을 그대로 써야 할까요? SciPy의 exact는 동점을 보정하지 않으며, auto는 동점이 있으면 점근 방법을 선택합니다. 작은 표본의 동점은 순열 방법과 함께 검토하는 것이 좋습니다.독립 표본과 U 직접 세기서로 독립인 두 표본 x=[1, 1, 2], y=[2, 2, 3]을 비교합니다. x의 각 값이 y보다 크면 1점, 같으면 0.5점, 작으면 0점으로 모든 쌍을 더하면 x의 U입니다.x = [1, 1, 2]y = [2, 2, 3]u_x = sum((a > b) + 0.5 * (a == b) for a in x for b in y)u_y = len(x) * len(y) - u_xprint('U.. 2026. 11. 18.
PCA 설명분산이 99%인데 분류 성능은 왜 낮을까? 저분산 신호 실습 PCA가 분산의 99% 이상을 보존했는데 분류 정확도가 낮아질 수 있을까요? 가능합니다. PCA는 정답을 구별하는 정보가 아니라 입력의 변동이 큰 방향을 우선 보존하기 때문입니다. 아래 합성 예제에서는 설명분산비가 약 99.9997%인데 시험 정확도는 50%로 떨어집니다.큰 변동과 작은 정답 신호 만들기첫 번째 열은 정답과 관계없이 크게 변하고, 두 번째 열은 -0.1과 0.1로 두 클래스를 구분합니다. 학습용과 시험용의 좌표는 다릅니다. 실제 데이터나 서비스의 성능을 측정한 결과가 아니라 원리를 확인하기 위해 의도적으로 만든 반례입니다.다음 코드는 Python 3.14.7, NumPy 2.5.4, scikit-learn 1.9.1에서 실행했습니다. 코드 블록은 위에서부터 같은 Python 세션에서 실행.. 2026. 11. 18.
IPv4 단편화 계산: MTU에서 헤더를 빼도 980바이트를 채우면 안 되는 이유 IPv4 단편화에서 MTU가 1000바이트라면 데이터 1000바이트씩 나누면 될까요? 아닙니다. 각 조각에도 IP 헤더가 들어가며 마지막 조각을 제외한 데이터 길이는 8바이트 배수로 맞춰야 합니다. 헤더 20바이트라면 비마지막 조각의 데이터 최대 크기는 976바이트입니다.문제 조건과 한 조각의 크기원래 IPv4 전체 길이는 4000바이트, 헤더는 20바이트, 데이터는 3980바이트라고 하겠습니다. MTU는 1000바이트이고 DF는 0입니다. 옵션이 없는 패킷의 최초 단편화이며, 아래 계산은 재단편화가 아닙니다.MTU - 헤더 = 1000 - 20 = 980바이트비마지막 데이터 최대 = (980 // 8) * 8 = 976바이트각 비마지막 조각의 전체 길이 = 20 + 976 = 996바이트980은 8의 .. 2026. 11. 18.
빅분기 이항검정: 양측 p값은 단측의 두 배일까? 이항검정의 양측 p값을 언제나 단측 p값의 두 배로 계산하면 틀릴 수 있습니다. 성공 확률이 0.3인 가설에서 10번 중 6번 성공했다면, SciPy 방식의 양측 값은 약 0.0756이고 오른쪽 단측의 두 배는 약 0.0947입니다.문제의 조건부터 정하기독립적인 시행 10번에서 성공 횟수 X가 이항분포를 따르고, 귀무가설의 성공 확률이 0.3이라고 가정합니다. 관측 결과는 6회입니다. 오른쪽 단측 대립가설은 확률이 0.3보다 크다는 뜻이고, 양측은 0.3과 다르다는 뜻입니다.이산형 분포는 좌우 확률이 대칭이 아닐 수 있습니다. 여기서는 관측값의 확률질량보다 작거나 같은 확률질량을 가진 결과의 확률을 합하는 SciPy의 양측 정의를 사용합니다.모든 가능한 결과를 직접 더해 보기from math import.. 2026. 11. 17.
인터넷 체크섬 계산: 1의 보수 덧셈에서 올림을 다시 더하는 이유 인터넷 체크섬을 계산할 때 16비트를 넘은 올림을 버리면 값이 달라집니다. 넘친 올림을 맨 아래 비트에 다시 더하는 1의 보수 덧셈을 사용하고, 최종 합의 비트를 뒤집어 체크섬을 만듭니다.작은 예제로 직접 계산설명을 위해 16비트 단어 두 개가 0xFFFF와 0x0001이라고 가정해 보겠습니다. 먼저 일반 덧셈의 결과는 0x10000입니다. 0xFFFF + 0x0001 = 0x10000 하위 16비트 0x0000 + 올림 0x0001 = 0x0001 1의 보수: 0xFFFF XOR 0x0001 = 0xFFFE따라서 이 두 단어만을 대상으로 계산한 체크섬은 0xFFFE입니다. 수신 측에서 원래 단어와 체크섬을 같은 방식으로 더하면 0xFFFF가 됩니다. 올림을 단순히 버리면 이 검산이 맞지 않습니다... 2026. 11. 17.
TF-IDF 검색에서 R·C·집이 안 잡힐 때: 한 글자 토큰과 빈 벡터 검사 검색 자료에는 R이라는 단어가 있는데 질의 R의 점수가 전부 0이라면 모델을 다시 학습시키기 전에 토큰과 희소 벡터부터 확인해 보세요. scikit-learn의 기본 TF-IDF는 한 글자 단어를 토큰으로 선택하지 않습니다. 한 글자 허용 설정으로 문서와 질의를 함께 다시 벡터화할 수 있지만 C와 C++가 같아지는 부작용도 검사해야 합니다.재현할 문서와 기본 설정아래는 실제 모델 API 호출이 아닌 로컬 TF-IDF 검색 실험입니다. 다섯 문서는 설명을 위한 합성 예시입니다. Python 3.14.7, scikit-learn 1.9.1에서 확인했습니다. 코드 블록은 위에서부터 같은 Python 세션에서 실행합니다.from sklearn.feature_extraction.text import TfidfVe.. 2026. 11. 17.
반응형