01입력과 증적
판정 전에, 입력부터 확인
진단 스크립트 결과를 항목별로 분리하고, 누락·형식 오류와 수집 상태를 확인합니다. 불완전한 증적을 판정 과정에서 구분합니다.
TXT / ZIP 업로드 · 항목별 파싱 · 입력 검증
INFRASTRUCTURE SECURITY / 개발 진행 중
진단의 근거를 연결하고,
검토의 흐름을 만들다.
인프라 진단 결과를 분석하고, 방법론에 따른 AI 판정을 사람이 검토·확정해 보고서로 연결하는 프로젝트입니다.
THE ASSESSMENT WORKFLOW01 — 04
01 / EVIDENCE진단 증적
TXT방법론 · 판정 기준
02 / AI ASSESSMENTAI 판정과 근거
AI불일치 · 저신뢰 항목 검토
03 / HUMAN REVIEW사람의 검토·확정
REVIEW확정 결과 우선 반영
04 / REPORT최종 진단 보고서
XLSXEvidence → Decision → ReviewHUMAN IN THE LOOP
- PROJECT
- 인프라 취약점 진단
- APPROACH
- AI 판정 + 사람 검토
- OUTPUT
- 증적에서 Excel 보고서까지
- STATUS
- 개발 진행 중
01 / PROJECT OVERVIEW
진단 결과와 보고서 사이,
반복되는 검토를 연결합니다.
항목별 증적과 진단 기준을 함께 읽고, 판정의 차이를 확인하고, 최종 결과를 보고서에 옮기는 과정을 하나의 작업 공간으로 연결합니다.
02AI와 사람의 검토
판정의 차이를 검토의 시작으로
스크립트와 AI의 판정 불일치, 저신뢰 항목을 찾아 증적·기준·판정 근거를 함께 검토합니다. 사람이 확정한 결과를 보고서에 우선 반영합니다.
불일치 필터 · 선택 재판정 · 검토 확정
03보고서와 추적
검토한 결과를 보고서까지
사람 확정, AI 판정, 스크립트 판정의 우선순위를 적용합니다. 진단 결과와 AI 근거를 템플릿 기반 Excel 보고서로 연결합니다.
최종 판정 우선순위 · Excel 템플릿 출력
최종 결과 반영 순서사람 확정AI 판정스크립트 판정
확정된 결과를 우선하고, 판정의 근거를 함께 남깁니다.
02 / REVIEW EXPERIENCE
결과를 보는 것에서,
근거를 확인하는 것으로.
예시 항목을 선택해 증적과 판정의 연결을 살펴보세요. 아래 화면은 합성 데이터로 재구성한 설명용 데모이며, 실제 제품 캡처나 진단 결과가 아닙니다.
판정 검토ILLUSTRATIVE DEMODEMO-01
판정 불일치관리자 원격 접속 설정
EVIDENCE증적 예시
# 설명용 설정 예시 PermitRootLogin yes PasswordAuthentication yes # 적용 범위와 예외 확인 필요
ASSESSMENT판정 비교
스크립트양호
AI 판정취약
관리자 원격 로그인 허용 설정이 보입니다. 설정의 적용 범위와 방법론의 예외 조건을 확인할 필요가 있습니다.
검토 시 확인할 내용
유효 설정, 적용 대상, 인증 방식과 승인된 예외 조건을 함께 확인합니다.
검토 예시
예시에서는 관리자 원격 접속 허용 설정을 검토 대상으로 봅니다. 설정 파일 한 줄만으로 확정하지 않고, 유효 설정과 접근 통제 증적을 추가 확인한 뒤 최종 판정과 의견을 남깁니다.
학습용 예시입니다. 실제 판정은 적용 방법론과 전체 증적을 확인해야 합니다.EXAMPLE, NOT A PRODUCTION RESULT
화면의 호스트명·IP·증적·판정은 모두 설명을 위한 가상 값입니다.
03 / ENGINEERING DECISIONS
기능 뒤에 있는
세 가지 설계 판단.
반복 처리의 효율, 판정 품질의 측정, 실패의 추적. 진단 업무에서 생기는 문제를 어떤 조건과 기준으로 다루는지 정리했습니다.
01CONSISTENCY & REUSE같은 증적의 판정을, 어디까지 재사용할 수 있을까?
판정에 영향을 주는 정보로 지문을 만들고, 증적이나 기준이 바뀌면 다시 판단합니다.
문제 / PROBLEM
반복되는 진단 증적을 매번 AI에 전달하면 호출이 늘어납니다. 한편 증적이 비슷하다는 이유만으로 결과를 복사하면 OS나 진단 기준의 차이를 놓칠 수 있습니다.
설계 판단 / DECISION
항목 코드, 스크립트 판정, OS 정보, 정규화한 증적, 판정 기준을 지문으로 묶습니다. 일반 항목은 OS 계열을 비교하고, EOS/EOL 관련 항목은 버전 차이를 구분하도록 OS 전체 문자열을 사용합니다.
확인 범위 / EVIDENCE
재판정 여부를 공통 함수로 판단합니다. 재사용 조건과 재판정 예외를 다루는 테스트 소스가 있으며, 운영 호출 절감률은 별도 측정이 필요합니다.
IMPLEMENTATION REFERENCE · judge.py / test_judgment_reuse.py
02QUALITY & EVALUATIONAI 일치율을, 믿을 수 있는 지표로 만들려면?
사람 판단의 출처와 중복 증적, 검토 순서에 따른 편향을 구분합니다.
문제 / PROBLEM
AI 답변을 그대로 승인한 결과까지 정답에 넣거나, 복사된 판정을 여러 건으로 세면 품질 지표가 왜곡됩니다. 불일치 항목부터 검토하는 순서도 표본에 영향을 줍니다.
설계 판단 / DECISION
직접 검토한 라벨과 AI 답변 승인 라벨을 나누고, 동일 지문은 한 판단으로 집계합니다. 무작위 표본 감사로 별도의 검토 집합을 만들고, 미탐·과탐과 신뢰도 구간별 일치율을 살핍니다.
확인 범위 / EVIDENCE
품질 집계와 표본 감사를 다루는 구현 및 테스트 소스가 있습니다. 화면의 일치율은 사람 검토를 기준으로 한 값이며, AI 자체의 신뢰도 점수와 구분합니다.
IMPLEMENTATION REFERENCE · quality.py / test_quality.py
03FAILURE & TRACEABILITYAI가 답하지 못한 항목도, 검토에서 놓치지 않도록
판정 실패를 별도로 남기고, 보고서에서 어떤 결과를 사용했는지 드러냅니다.
문제 / PROBLEM
AI 호출이 실패한 항목을 단순히 건너뛰면 미실행과 실패를 구분하기 어렵고, 보고서를 검토할 때도 AI가 확인한 결과인지 알기 어렵습니다.
설계 판단 / DECISION
실패 사유를 기록하고 별도 검토 대상으로 표시합니다. 보고서가 스크립트 판정으로 대체될 때는 AI 판정 실패와 대체 사유를 함께 남기며, 선택한 항목을 재판정할 수 있도록 연결합니다.
확인 범위 / EVIDENCE
실패 기록과 보고서 사유 표시를 소스에서 확인할 수 있습니다. 구현 유무와 실제 운영에서의 복구 성공률을 별도로 다룹니다.
IMPLEMENTATION REFERENCE · judge.py / report.py
04 / ARCHITECTURE
하나의 진단 흐름,
역할이 분명한 구성.
INPUT스크립트 결과TXT · ZIP
PROCESS파싱 · 기준 연결증적 · 방법론
ASSESSAI 판정 · 재사용프로바이더 · 지문
REVIEW검토 · 최종 확정사람의 판단
OUTPUT보고서 생성Excel 템플릿
Python · FastAPI
파싱, 판정 실행, 검토·설정 API
React · TypeScript
진단 진행 상태와 증적 검토 화면
SQLite · JSONL · Excel
실행 이력, 판정 기록, 템플릿 보고서
CLI · API · Ollama
프로바이더를 선택하는 판정 구조
05 / WORK IN PROGRESS
완성해 가는 과정도,
프로젝트의 일부입니다.
현재 소스에서 확인한 구현 범위와 앞으로 검증할 항목을 구분합니다. 기능의 존재와 운영 효과는 각각의 근거로 설명합니다.
현재 구현 범위
소스 확인 기준- 판정 전에, 입력부터 확인소스 확인
- 판정의 차이를 검토의 시작으로소스 확인
- 검토한 결과를 보고서까지소스 확인
- 같은 증적의 판정을, 어디까지 재사용할 수 있을까?소스 확인
- AI 일치율을, 믿을 수 있는 지표로 만들려면?소스 확인
- AI가 답하지 못한 항목도, 검토에서 놓치지 않도록소스 확인
빌드 시 관련 파일과 식별자를 확인한 상태입니다. 전체 기능의 실행 성공이나 테스트 통과를 의미하지 않습니다.
프로젝트 기록
PORTFOLIO NOTES포트폴리오
진단·검토 흐름을 공개용 자료로 정리
합성 증적을 이용한 설명용 화면과 설계 사례를 구성했습니다. 이 날짜는 프로젝트의 최초 개발일이나 기능 배포일을 의미하지 않습니다.
SECURITY / PROJECT PORTFOLIO
판정의 근거부터,
최종 보고서까지.
진단 업무의 반복을 줄이고 검토의 맥락을 남기는 과정을 이어갑니다.