새로운 질서 위키

이중 인코딩

이중 인코딩은 변환이 중복되거나 잘못 읽은 문자열을 다시 저장해 원래 표현이 어긋나는 문제를 가리킨다. 여기서는 문자 인코딩을 잘못 해석한 뒤 재저장한 문자 깨짐를 다룬다. (ftfy의 문자 손상 설명)

  • 화면의 깨진 문자열만 고치기 전에 원본 바이트와 저장 경로를 확인한다. 잘못 읽는 단계가 남아 있으면 다시 같은 문제가 생긴다. (잘못 해석된 UTF-8)
  • ftfy 같은 도구는 이미 유니코드 문자열이 된 입력에서 손상의 흔적을 찾는다. 임의의 파일이 어떤 인코딩인지 무조건 알아내는 도구는 아니다. (입력과 복원 범위)
  • 일괄 변환 전에 원본을 보관하고 복원 전후를 비교한다. 인코딩 변환 기록에는 추정한 원인과 적용한 변환을 남기는 편이 좋다. (복원 휴리스틱)

기타 등등

  • ftfy는 한 번이 아니라 여러 차례 잘못 처리된 문자열을 복원하는 예도 제시한다. 출처
  • 깨진 문자열에 따옴표 모양을 바꾸는 처리까지 적용되면 복원이 더 복잡해질 수 있다. 출처

#문자 #인코딩 #데이터

검색