UTF-8이전작업/브라우저GET요청인코딩판별

1. 브라우저의 GET 요청의 인코딩 판별

1.1. wiki.pl 수정

1.2. 추가 업데이트 내역

1.3. 참고 자료

1.4. 의견

1. 브라우저의 GET 요청의 인코딩 판별

1.1. wiki.pl 수정

• Unicode::CheckUTF8 모듈이 있으면 "legal UTF-8"인지 정확히 알 수 있다. 이건 없어도 큰 지장 없을 듯
• Encode와 Encode::Guess 모듈이 있어야 추측하고 변환하는 것이 가능하다.
  • Encode는 웬만한 서버에는 있을 법 하고, Encode::Guess는 모르겠다.
  • 무수한 캐릭터셋을 다 대조해볼 수 없기 때문에, 후보군을 넣어야 한다. 아래의 경우는 euc-kr과 utf8 중에서 비교. (utf-8이라고 대쉬를 쓰면 안 된다. 그러면 결과가 "utf-8-strict or utf8" 두 가지로 나온다.)
  • 후보군을 한중일 세 언어를 동시에 넣을 수 있으면 좋겠는데, euc-kr과 euc-jp,shift뭐시기 등의 일본어 셋과는 코드가 겹치는 게 많아서, 한글을 넣었는데 일본어로 판단하는 경우가 생겨서 힘들 듯

sub guess_and_convert {
    my ($string) = @_;

    # legal UTF-8인지 체크
    if ($HttpCharset =~ /utf-8|utf8/i) {
        if (eval "require Unicode::CheckUTF8;") {
            if (Unicode::CheckUTF8::is_utf8($string)) {
                # ok
                return $string;
            }
        }
    }

    # 추측
    if (eval "require Encode; require Encode::Guess;") {
        my @suspects = qw(euc-kr utf8);
        my $decoder = Encode::Guess::guess_encoding($string, @suspects);
        if (ref($decoder)) {
            # 추측 성공
            return convert_encode($string, $decoder->name, $HttpCharset);
        }
    }

    # 모듈이 없거나, 있지만 추측 실패. 변환 포기
    return $string;
}

sub DoBrowseRequest {
    ...
    if ($id) {                    # Just script?PageName

### QUERY_STRING 이 utf-8이 아닌 인코딩인 경우 - 여기 한 줄
        $id = guess_and_convert($id);

        if ($FreeLinks && (!-f &GetPageFile($id))) {
            $id = &FreeToNormal($id);
        }
        if (($NotFoundPg ne '') && (!-f &GetPageFile($id))) {
            $id = $NotFoundPg;
        }
        $DocID = $id;
        &BrowsePage($id)  if &ValidIdOrDie($id);
        return 1;
    }
    $action = lc(&GetParam('action', ''));
    $id = &GetParam('id', '');
### QUERY_STRING 이 utf-8이 아닌 인코딩인 경우 - 여기 두 줄
    $id = guess_and_convert($id);
    $q->param('id', $id);

    $DocID = $id;
    ...
}

sub DoWikiRequest {
    ...
### QUERY_STRING이 %-인코딩된 형태로 오는 경우
### guess를 해도 ascii로 판정되기 때문에 변환이 안 된다.
### 이 시점에서 디코딩하여 복원함
#    $ENV{'QUERY_STRING'} =~ s/%([0-9a-fA-F]{2})/chr(hex($1))/ge;

### slashlinks 처리
    if ($SlashLinks && (length($ENV{'PATH_INFO'}) > 1)) {
        $ENV{'QUERY_STRING'} .= '&' if ($ENV{'QUERY_STRING'});
        $ENV{'QUERY_STRING'} .= substr($ENV{'PATH_INFO'}, 1);
    }

### QUERY_STRING 또는 PATH_INFO가 utf-8이 아닌 인코딩인 경우
    $ENV{'QUERY_STRING'} = guess_and_convert($ENV{'QUERY_STRING'});

    &InitLinkPatterns();
    if (!&DoCacheBrowse()) {
        eval $BrowseCode;
        &InitRequest() or return;
        if (!&DoBrowseRequest()) {
            eval $OtherCode;
            &DoOtherRequest();
        }
    }
}

• UseCache 옵션을 켰을 때도 잘 동작한다.
• 쿼리에 페이지이름이나 id= 이외에 어떤 파라메터에 들어간 한글도 다 인코딩 변환이 된다.
• 나머지 코드 어느 지점이 수정되어도 인코딩 걱정을 할 필요가 없다.

• 이래도 괜찮은 건지 모르겠음 -_-; [comp.lang.perl.misc 그룹]에서는 CGI 모듈을 쓰기로 했으면 CGI모듈에서 제공하는 기능을 사용하라고 말리는 분위기였다. 근데 주인장은 아무리 생각해도 어차피 멀티바이트 캐릭터에만 영향을 미치기 때문에 상관없을 거라 생각하고 있다.
• 요청이 EUC-KR이나 UTF-8일 때만 테스트해보고 있는데, 라틴 언어권에서 요청을 보내면 제대로 되는지 확인할 수 없음. 설마 ext2 버전을 그 동네에서 쓰는 사람이 있을라구 -_-;

1.2. 추가 업데이트 내역

구글로 '모카포트' '에스프레소'를 검색하면 각각 
nyxity.com/wiki/wiki.pl?%B8%F0%C4%AB%C6%F7%C6%AE         <-- 이런 거
nyxity.com/wiki/wiki.pl?%BF%A1%BD%BA%C7%C1%B7%B9%BC%D2 
이렇게 페이지가 검색되는데, 클릭하면 페이지가 연결이 안되네요. 

• ext2.4a 의 패치는, 디코딩하지 말아야 하는 것까지 디코딩하는 문제가 있다. OTL 예를 들어 UseModWiki소스수정/웹페이지링크쉽게올리기에서 북마클릿 URL에 들어가는 인자. 따라서 2.4a 의 패치는 주석 처리하고, 예전에 넣었다가 없앤 패치를 다시 적용한다. (CGI모듈을 통해 가져온 인자를 guess_and_convert에 넣음)

1.3. 참고 자료

1.4. 의견

• /reverse=페이지이름 - 이건 아예 역링크를 부르는 액션을 action=reverse&id=페이지이름 의 형태로 바꿔버렸고 -_-;
• /search=문자열 - 이렇게 GET으로 특정 문자열 찾기 요청을 할 수도 있고
• /action=links&reverse=페이지이름 - action=links&reverse=UseModWiki소스수정처럼 reverse 파라메터가 또 등장하는 곳도 있고...

sub DoWikiRequest {       # 제일 처음 불리는 함수에서
    ...
### 본격적으로 뭘 해보기 전에 이 시점에서 인코딩을 판단하여 바꿔버리자
    $ENV{'QUERY_STRING'} = guess_and_convert($ENV{'QUERY_STRING'});   # wiki.pl? 뒤에 오는 쿼리 스트링
    $ENV{'PATH_INFO'} = guess_and_convert($ENV{'PATH_INFO'});         # wiki.pl/ 뒤에 오는 여분의 패쓰
### 그러면 이제부터 뭘 하든 이미 다 컨버트 되어 있으니 따로 신경쓸 필요가 없을 것이다

    &InitLinkPatterns();
    if (!&DoCacheBrowse()) {
        eval $BrowseCode;
        &InitRequest() or return;
        if (!&DoBrowseRequest()) {
            eval $OtherCode;
            &DoOtherRequest();
        }
    }
}

### slashlinks 처리                     - 여기서부터 추가
    if ($SlashLinks && (length($ENV{'PATH_INFO'}) > 1)) {
        $ENV{'QUERY_STRING'} .= '&' if ($ENV{'QUERY_STRING'});
        $ENV{'QUERY_STRING'} .= substr($ENV{'PATH_INFO'}, 1);    # wiki.pl/ 뒤에 있는 내용을 QUERY_STRING에 옮긴 후
    }
    $ENV{'QUERY_STRING'} = guess_and_convert($ENV{'QUERY_STRING'});   # QUERY_STRING 값을 컨버트 해 주고

# 이제 진행을 하면
    &InitLinkPatterns();
    if (!&DoCacheBrowse()) {          # 캐쉬도 ok가 되지 않을까
        eval $BrowseCode;
...

음, "이래도 괜찮은 거냐"라는 질문 자체가 "그렇다"라고 대답하기 쉽지 않은 질문이긴 하지만.... [KLDP 질문글]과 [펄매니아 질문글]에 주말이 지나도록 그렇다 아니다 답글이 없어서, [comp.lang.perl.misc 그룹]에도 올림...

-- Raymundo 2007-3-4 11:37 pm