Perl/한글

1. Perl과 한글

1.1. 기본 개념, 문자열 상수, 표준 입출력, 정규표현식

1.2. 파일 입출력

1.3. 기타

2. 기타 & Comments

1. Perl과 한글

• [1. 기본 개념, 문자열 상수, 표준 입출력]
• [2. 파일 입출력]
• [3. 기타 등등 (완결)]

1.1. 기본 개념, 문자열 상수, 표준 입출력, 정규표현식

#!perl
# 01_length.pl
use strict;
use warnings;

my $eng = "hello";
print length($eng), "\n";
my $kor = "안녕하세요";
print length($kor), "\n";

5
10

• A는 0100 0001(2진수) = 65(10진수) = 41(16진수) 로 저장됩니다.
• B는 0100 0010 = 66 = 0x42 로 저장됩니다.
• ...

• "영어에서 사용하는 알파벳 문자 중에 '에이'라고 발음하는 첫번째 문자의 대문자 형태, 종이에 그릴 때는 A 이렇게 그림" - 추상적인 정보
• 0100 0001 또는 0x41 - 구체적인 코드

• MS윈도우즈에서 사용되는 코드페이지949(cp949)에서는 0xb0a1 에 대응됩니다.
• 유닉스/리눅스에서 사용되었던 euc-kr에서도 0xb0a1 에 대응됩니다. (cp949는 euc-kr에 빠져있던 문자들을 추가한 거라서, euc-kr에 들어있던 문자들은 그대로 cp949에서도 같은 값에 대응됩니다)
• cp949나 euc-kr에서는 한글 "가"를 저장하기 위해서는 2바이트가 필요합니다. 다른 한글 문자들도 다 마찬가지로 2바이트가 필요합니다.
• 유닉스/리눅스에서 최근에 일반적으로 사용되고, 웹페이지에서도 널리 사용되는 UTF-8 규약에서는 0xea b0 80 에 대응됩니다. 즉 "가" 또는 그 외 한글 문자 하나를 저장하기 위해서는 3바이트가 필요합니다.

• cp949 인코딩을 사용해 저장한 파일은 151바이트
• UTF-8 인코딩을 사용해 저장한 파일은 159바이트

print "[$eng][$kor]\n";

• 입출력에 사용되기 위한 바이트들의 덩어리. 이것을 Encode 문서에서는 octets 라고 부릅니다. 이 연재에서는 주로 "바이트 덩어리"라고 부를 것입니다.
• 세상 여러 언어에서 사용되는 문자들이 하나 이상 모여 이뤄진 문자열. 이걸 string 으로 부르며, 이 연재에서는 "문자열" 또는 "추상적 문자열"이라고 표현할 것입니다.

• decode 함수는 "바이트 덩어리"를 "문자열"로, octets을 string으로 바꿉니다.
• encode 함수는 "문자열"을 "바이트 덩어리"로, string을 octets로 바꿉니다.

 1  #!perl
 2  # 02_length_cp949.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6
 7  my $eng = "hello";
 8  print length($eng), "\n";
 9  my $kor = "안녕하세요";
10  print length($kor), "\n";
11  # 문자열로 변환
12  my $string = decode("cp949", $kor);
13  print length($string), "\n";
14  # 명령 프롬프트 창에 출력하기 위해 cp949 에 맞춰 변환
15  my $output = encode("cp949", $string);
16  print "[$output]\n";

 1  #!perl
 2  # 02_length_utf-8.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6
 7  my $eng = "hello";
 8  print length($eng), "\n";
 9  my $kor = "안녕하세요";
10  print length($kor), "\n";
11  # 문자열로 변환
12  my $string = decode("UTF-8", $kor);
13  print length($string), "\n";
14  # 명령 프롬프트 창에 출력하기 위해 cp949 에 맞춰 변환
15  my $output = encode("cp949", $string);
16  print "[$output]\n";

14 # 명령 프롬프트 창에 출력하기 위해 cp949 에 맞춰 변환
15 my $output = encode("cp949", $string);
16 print "[$output]\n";

my $str = "안녕하세요";

chomp( my $input = <STDIN> );
if ( $str =~ /$input/ ) {
    print "match\n";
}
else {
    print "not match\n";
}

• $str 변수에는 "안녕하세요"라는 문자열이 아니라, 사실은 be c8, b3 e7, c7 cf, bc bc, bf e4 (cp949로 저장한 코드) 또는 ec 95 88, eb 85 95, ed 95 98, ec 84 b8, ec 9a 94 (UTF-8로 저장한 코드) 로 구성된 바이트 덩어리가 들어 있습니다.
• 키보드로 입력한 "안녕"은 펄 프로그램으로 전달될 때 be c8, b3 e7 (cp949를 사용하는 쉘) 또는 ec 95 88, eb 85 95 (UTF-8을 사용하는 쉘)의 형태로 전달됩니다.
• 매치연산자는 저장된 바이트 덩어리 내의 일부가 전달받은 바이트 덩어리와 일치하는지를 검사합니다.

 1  # 이 파일은 cp949 로 저장되어 있음
 2  use Encode;
 3
 4  my $str = decode("cp949", "안녕하세요");
 5
 6  chomp( my $input = <STDIN> );
 7  $input = decode("UTF-8", $input);   # 입력이 UTF-8로 들어오는 경우
 8  if ( $str =~ /$input/ ) {
 9      print "match\n";
10  }
11  else {
12      print "not match\n";
13  }

 1  my $str = "안녕하세요";
 2
 3  if ( $str =~ /녕(.)/ ) {
 4      print "[$1]\n";
 5  }
 6  if ( $str =~ /녕(..)/ ) {
 7      print "[$1]\n";
 8  }
 9  if ( $str =~ /녕(...)/ ) {
10      print "[$1]\n";
11  }

• cp949 에서는, 코드의 6번 라인에서 "녕" 뒤에 (..) 이렇게 마침표 두 개를 넣었을 때 제대로 "하"를 잡아냅니다.
• UTF-8 에서는, 코드의 9번 라인에서 (...) 이렇게 마침표 세 개를 넣었을 때 제대로 "하"를 잡아냅니다.

 1  # 이 파일은 UTF-8 로 저장되어 있음
 2  use Encode;
 3
 4  my $str    = decode("UTF-8", "안녕하세요");
 5  my $prefix = decode("UTF-8", "녕");
 6
 7  if ( $str =~ /$prefix(.)/ ) {
 8      print "[", encode("UTF-8", $1), "]\n";
 9  }
10  if ( $str =~ /$prefix(..)/ ) {
11      print "[", encode("UTF-8", $1), "]\n";
12  }
13  if ( $str =~ /$prefix(...)/ ) {
14      print "[", encode("UTF-8", $1), "]\n";
15  }

/.{4}/

• cp949 인코딩을 쓰는 경우 substr( "안녕하세요" , 2, 4 ) 가 "녕하"입니다.
• UTF-8 인코딩을 쓰는 경우 substr( "안녕하세요", 3, 6 ) 가 "녕하"입니다.

 1  # 이 파일은 cp949로 저장되어 있음
 2  use Encode;
 3
 4  my $str    = decode("cp949", "English와 한글");
 5  my $length = length($str);
 6
 7  for (my $i = 1; $i < $length; $i++) {
 8      printf "%2d : ", $i;
 9      print "[",
10          encode("cp949", substr($str, 0, $i)),
11          "] [",
12          encode("cp949", substr($str, $i)),
13          "]\n";
14  }

• 4번 라인, 바이트 덩어리를 디코드해서 문자열로 변환했습니다.
• 5번 라인, 이제 length는 정확히 문자 갯수를 반환합니다. 11글자입니다.
• 7번 라인, $i 는 1부터 10까지 증가하며 루프를 돕니다
• 10번 라인, substr은 $str의 제일 처음(오프셋0)부터, $i개의 문자를 얻어냅니다. 이걸 출력하기 위해 다시 인코드합니다.
• 12번 라인, substr은 $str의 오프셋 $i 부터, 그 뒤의 문자 모두를 얻어냅니다. 즉 $i+1번째 문자부터 마지막 문자까지로 구성된 문자열을 반환합니다. 역시 인코드해서 출력합니다.

1. "인간에게 의미있는 정보를 담고 있는 추상적인 문자열"과 "컴퓨터가 그 정보를 저장하기 위해 사용하는 구체적인 바이트 덩어리"를 구분해서 생각해야 한다. (사용자는 그럴 이유가 없지만 프로그래머는 그래야 한다)

2. Perl 은 "문자열"을 다룰 수 있으나, 기본적으로 우리가 작성해서 저장한 펄 스크립트는 "바이트 덩어리" 형태로 저장되어 있고, 따라서 별도의 지시가 없으면 바이트 단위로 연산을 하게 된다.

3. 안타깝게도 한글은 한개의 "문자"가 한개의 "바이트"에 대응되지 않기 때문에, 문제가 생긴다.

4. 따라서 Perl 프로그램 내에서 한글 영문을 가리지 않고 "문자열"로써 다루고자 하면 바이트 덩어리를 문자열로 변환, 즉 디코드해야 한다.

5. 일단 디코드된 문자열은, 정규식이나 각종 스트링 관련 함수에서 정확히 의미에 맞게 다룰 수 있다.

6. 문자열을 외부에 출력하기 전에는 다시 바이트 덩어리로 인코드해야 한다. 또 외부에서 입력을 받을 때도 바이트 덩어리 형태로 들어온다는 걸 염두에 둬야 한다.

1.2. 파일 입출력

1  #!perl
2  # 08_cat.pl
3  use strict;
4  use warnings;
5
6  while ( my $line = <STDIN> ) {
7      chomp $line;
8      print $., "\t", "[$line](", length($line), ")\n";
9  }

hello
안녕하세요
반갑습니다요
이 파일은 cp949로 인코딩해서 저장되었습니다.

 1  #!perl
 2  # 09_cat.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6
 7  while ( my $line = <STDIN> ) {
 8      chomp $line;
 9      $line = decode("cp949", $line);
10
11      print $., "\t", "[",
12            encode("cp949", $line),
13            "](", length($line), ")\n";
14  }

1       [hello](5)
2       [안녕하세요](5)
3       [반갑습니다요](6)
4       [이 파일은 cp949로 인코딩해서 저장되었습니다.](27)

• 입력을 받은 직후에는 decode를 해서 문자열로 변환하고
• 출력을 하기 직전에는 encode를 해서 바이트 덩어리로 재변환

 1  #!perl
 2  # 10_cat.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6
 7  binmode STDIN,  ":encoding(cp949)";
 8  binmode STDOUT, ":encoding(cp949)";
 9
10  while ( my $line = <STDIN> ) {
11      chomp $line;
12      print $., "\t", "[$line](", length($line), ")\n";
13  }

                                       +------------------------+
 +--------------+                      |                        |                      +--------------+
 |              |      표준 입력       |                        |      표준 출력       |              |
 |    키보드    |+-------------------->|   Perl 프로그램        |+-------------------->|     화면     |
 |              |                      |                        |                      |              |
 +--------------+                      |                        |                      +--------------+
                                       +------------------------+

                                       +------------------------+
 +--------------+     +----------+     |                        |     +----------+     +--------------+
 |              |     |  cp949   |     |                        |     |  cp949   |     |              |
 |    키보드    |+----|          |---->|   Perl 프로그램        |+----|          |---->|     화면     |
 |              |     |  decode  |     |                        |     |  encode  |     |              |
 +--------------+     +----------+     |                        |     +----------+     +--------------+
                                       +------------------------+

d:\Work\Perl\PerlStudy_cafe\20110709_lecture_한글>perl 10_cat.pl < input1_cp949.txt
1       [hello](5)
2       [안녕하세요](5)
3       [반갑습니다요](6)
4       [이 파일은 cp949로 인코딩해서 저장되었습니다.](27)

hello
안녕하세요
반갑습니다요
이 파일은 UTF-8로 인코딩해서 저장되었습니다!!

7 binmode STDIN,  ":encoding(UTF-8)";

 1  #!perl
 2  # 11_cat.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6  use autodie;
 7
 8  my $in_file  = $ARGV[0];
 9  my $out_file = $ARGV[1];
10
11  open my $in,  "<", $in_file;
12  open my $out, ">", $out_file;
13
14  binmode $in,  ":encoding(cp949)";
15  binmode $out, ":encoding(cp949)";
16
17  while ( my $line = <$in> ) {
18      chomp $line;
19      print {$out} $., "\t", "[$line](", length($line), ")\n";
20  }
21
22  close $in;
23  close $out;

• 11,12번 라인에서 입력파일과 출력파일을 열고 파일핸들을 할당합니다.
• 14,15번 라인에서 두 파일핸들에 인코딩 레이어를 추가합니다.
• 17번 라인에서 $in을 통해서 읽고, 19번 라인에서 $out을 통해서 출력합니다. 여기서는 별도의 인코드/디코드 과정이 필요없습니다.

11 open my $in,  "<:encoding(cp949)", $in_file;
12 open my $out, ">:encoding(cp949)", $out_file;

• 명령행 인자가 있다면 그 인자들, 즉 @ARGV의 원소를 하나씩 읽어서 그 이름의 파일을 열어 한 라인씩 입력을 받고
• 명령행 인자가 없다면 표준 입력으로부터 한 라인씩 입력을 받습니다

• 명령행 인자가 없는 경우는 표준 입력으로부터 입력을 받으니까, STDIN 파일 핸들에 binmode 를 수행하면 되는데,
• 명령행 인자가 있다면 도대체 무슨 파일핸들에다 조작을 해야 하는가?

 1  #!perl
 2  # 13_cat.pl
 3  use strict;
 4  use warnings;
 5  use Encode;
 6
 7  use open IN => ':encoding(cp949)';
 8  use open OUT => ':encoding(cp949)';
 9  use open ':std';
10
11  open my $out, ">", "output2.txt";
12  while ( my $line = <> ) {
13      chomp $line;
14      print $., "\t", "[$line](", length($line), ")\n";
15      print {$out} $., "\t", "[$line](", length($line), ")\n";
16  }

• 7번 라인에서, 입력에 대해 cp949 규약을 써서 디코드하라고 선언합니다. 이 라인 이후부터는 open()을 써서 파일을 열어 읽을 때 저 레이어가 적용됩니다.
• 8번 라인에서, 출력에 대해 마찬가지로 cp949 규약을 써서 인코드하라고 선언합니다. 이 라인 이후부터는 open()을 써서 파일을 열어 데이타를 쓸 때 저 레이어가 적용됩니다.
• 9번 라인에는 open 뒤에 :std 라고만 적혀 있습니다. 표준입출력에 대해서, IN과 OUT에 정해진 대로 적용하라는 의미입니다. 따라서 표준입력, 표준출력 전부 cp949 규약을 써서 변환하게 됩니다.
• 11번 라인에서는 테스트를 위해 출력을 저장할 파일을 하나 엽니다. 이 때 입출력방향을 지정하는 ">" 인자에 따로 레이어가 명시되지 않았지만, 위에서 OUT 에 대해서 cp949 인코딩을 사용하라고 지정이 미리 되어 있으므로 자동으로 레이어가 적용됩니다.
• 12번 라인에서, "<>" 연산자를 사용해서 한 라인씩 읽습니다.

• 표준 입력으로 읽었을 때의 출력결과 output.txt
• 명령행 인자로 받아서 열었을 때의 출력결과 output3.txt
• 두 경우 다 스크립트 내부에서 따로 저장한 output2.txt

• 표준 입력으로 입력을 받든 스크립트 내부에서 파일을 열어서 읽든 (<>를 썼기 때문에 명시적으로 open하진 않았지만), 제대로 디코딩되었다는 걸 확인할 수 있고
• 반대로 출력할 때도 표준 출력이든 명시적으로 open해서 파일에 출력을 하든 제대로 인코딩되었다는 것도 확인할 수 있습니다.

 8 use open OUT => ':encoding(UTF-8)';

• open을 써서 읽을 때와 표준 입력을 받을 때는 cp949를 쓰고
• open을 써서 쓸 때와 표준 출력으로 내보낼 때는 UTF-8을 씁니다

 7 use open IO => ':encoding(cp949)';

 7 use open ':encoding(cp949)';

my $str = "안녕하세요";

my $str = "안녕하세요";
$str = decode("cp949", $str);    # 스크립트 자체가 cp949로 저장된 경우

my $str = decode("UTF-8", "안녕하세요");  # 스크립트 자체가 UTF-8로 저장된 경우

• 스크립트 자체를 UTF-8 인코딩을 적용하여 저장하고,
• utf8 프라그마를 사용

 1  #!perl
 2  # 14_utf8.pl
 3  # 이 스크립트는 반드시!! UTF-8로 저장되어야 함
 4  use strict;
 5  use warnings;
 6  use Encode;
 7  use utf8;
 8
 9  binmode STDOUT, ":encoding(cp949)";
10
11  my $eng = "hello";
12  print "[$eng][", length($eng), "]\n";
13  my $kor = "안녕하세요";
14  print "[$kor][", length($kor), "]\n";
15
16  if ( $kor =~ /하(.)/ ) {
17      print "'하' 다음에는 '$1'자가 있군요\n";
18  }

• 7번 라인에서 use utf8; 선언이 있습니다. 이 프라그마가 적용되는 스코프 내에서는 이제부터 스크립트 자체의 텍스트가 바이트 덩어리가 아니라 문자열로 간주됩니다.
• 9번 라인, 이제는 내부에서 다루는 데이타가 자동으로 디코드가 되니까, 출력할 때는 인코딩을 해야 합니다. 명령 프롬프트 창에서 출력할 거니까 cp949를 쓰도록 지정했습니다.
• 13번 라인, 처음처럼 그냥 문자열 상수 "안녕하세요"를 저장합니다. 따로 디코드하지 않습니다.
• 14번 라인, 이 문자열을 출력하고, 길이도 출력합니다.
• 16번 라인, 정규표현식을 지정해봅니다. 정규표현식 내에 적힌 "하" 역시 특정한 바이트 덩어리가 아니라 그냥 문자 "하"로 취급됩니다.
• 17번 라인, 정규표현식에서 마침표 하나에 매치되는 부분을 출력시켜봅니다.

1. 파일을 읽을 때는 파일의 내용은 바이트 덩어리이고, 이걸 문자열로써 다루기 위해서는 디코드해야 한다.

• 읽고 나서 읽은 내용을 decode()를 써서 디코드하거나,
• 읽을 파일 핸들에 binmode() 를 써서 입력 레이어를 삽입하여 자동으로 디코드 하거나
• 읽을 파일을 여는 시점에 open()의 인자로 입력 레이어를 명시해주거나
• open()을 하기 전에 미리 use open 프라그마를 써서 디폴트 레이어를 명시해 줄 수 있다

2. 문자열을 다룬 후에 파일에 저장할 때는 내가 희망하는 형태의 바이트 덩어리로 인코딩해야 한다

• 쓰기 전에 쓸 내용을 encode()를 써서 인코드하거나,
• 쓸 파일 핸들에 binmode() 를 써서 출력 레이어를 삽입하여 자동으로 인코드 하거나
• 쓸 파일을 여는 시점에 open()의 인자로 출력 레이어를 명시해주거나
• open()을 하기 전에 미리 use open 프라그마를 써서 디폴트 레이어를 명시해 줄 수 있다

3. "<>"는 파일핸들이 명시되지 않으니 use open을 써서 입력 레이어를 명시하면 된다

4. 프로그램 코드 내에 있는 문자열 상수는 use utf8 프라그마를 써서 자동으로 디코드된 상태로 사용할 수 있다.

1.3. 기타

• 역시나 한글 윈도에서는 cp949를 따릅니다. (실제로는 내부적으로는 아닐 수도 있습니다만, 적어도 cp949에 맞춰 파일 이름을 검색하면 찾을 수 있습니다)
• 리눅스/유닉스에서는 사용자의 지역 정보, locale 설정에 따라 다릅니다. 예전에는 euc-kr이었고, 요새는 UTF-8이 대세입니다만, 사용자가 환경 변수 설정에 따라 달라질 수 있습니다.

• 하나는 "한글문서_cp949.txt"이고, 그 안에는 한글텍스트가 cp949 인코딩으로 저장되어 있습니다.
• 또 하나는 "한글문서_utf-8.txt"이고, 그 안에는 한글텍스트가 UTF-8 인코딩으로 저장되어 있습니다.

 1  #!perl
 2  # 16_filename.pl
 3  # 이 스크립트는 반드시!! UTF-8로 저장되어야 함
 4  use strict;
 5  use warnings;
 6  use autodie;
 7  use Encode;
 8  use utf8;
 9
10  binmode STDOUT, ":encoding(cp949)";
11
12  {
13      my $filename = encode("cp949", "한글문서_cp949.txt");
14      open my $in, "<:encoding(cp949)", $filename;
15      while ( <$in> ) {
16          chomp;
17          print "[$_][", length($_), "]\n";
18      }
19      close $in;
20  }
21
22  {
23      my $filename = encode("cp949", "한글문서_utf-8.txt");
24      open my $in, "<:encoding(utf-8)", $filename;
25      while ( <$in> ) {
26          chomp;
27          print "[$_][", length($_), "]\n";
28      }
29      close $in;
30  }

• 8번 라인에서, use utf8 프라그마를 사용했습니다. 따라서 이하 코드에서 문자열 상수는 전부 디코딩된 "문자열"로 처리됩니다.
• 10번 라인, 명령프롬프트 창에서 출력할 거라서 표준출력의 인코딩을 cp949로 지정했습니다.

• 12-20번 라인에서는 "한글문서_cp949.txt" 파일을 열어서 읽습니다.
• 13번 라인, 파일명이 코드 내에 그대로 적혀 있는데, 위에서 utf8 프라그마를 썼으니 이 파일명은 "문자열"입니다. 이 파일을 디스크에서 찾기 위해서는, 파일명을 "바이트 덩어리"로 바꿔서 운영체제에 부탁해야 합니다. 따라서 인코딩해야 합니다. 윈도우즈는 cp949 인코딩이 기본이므로, cp949 규약에 맞춰 인코딩합니다.
• 14번 라인, 파일을 엽니다. 그런에 이 파일의 "내용"이 cp949로 인코딩된 한글 텍스트라고 그랬습니다. 따라서 읽을 때 cp949에 따라서 디코드하라고 레이어를 지정해줍니다.
• 15번 라인에서 읽고
• 17번 라인, 읽은 라인의 내용과 길이를 출력합니다.

• 22-30번 라인에서는 "한글문서_utf-8.txt" 를 열어서 읽습니다.
• 23번 라인, 13번 라인과 마찬가지로 파일명을 인코드해야 하는데, 역시나 cp949 로 인코드해야 합니다. (UTF-8이 아닙니다!) 파일의 내용과 무관하게 파일명은 시스템에서 정해진 규약에 맞춰 인코딩되어 있기 때문입니다.
• 24번 라인, 이 파일을 읽을 때는 내용을 UTF-8 에 따라서 디코드하라고 레이어를 지정해야 합니다.
• 나머지는 앞과 동일

• utf8 프라그마를 쓰지 않고 스크립트를 그냥 cp949 로 저장했다면, $filename 은 encode() 하지 않고 그냥 문자열 상수를 써도 될 겁니다. 문자열 상수가 결국 바이트 덩어리인 상태니까요
• 파일 이름을 사용자가 키보드로 입력한다면, 입력이 들어올 때 cp949 상태로 들어올 테니 따로 encode() 하지 않고 그대로 써도 될 겁니다. (물론 표준입력을 자동으로 디코드하고 있는 상태라면 다시 인코드해줘야겠죠)

• 내가 만든 파일이 아니라면 그 파일의 내용이 어떤 인코딩으로 되어 있는지 알 수 없습니다.
• 네트워크로 전송받은 내용은 내가 알 수 없습니다.
• 내 컴퓨터가 아닌 다른 시스템에서 수행될 경우는 그 시스템이 표준입출력 또는 파일이름을 어떻게 인코딩하는 지 알 수 없습니다. (이 경우는 환경 변수 등을 검사해서 알아내면 되겠습니다만)
• 기타 등등, 암튼 내가 만든 게 아니면 모르는 게 일반적입니다.

 1  # $data 안에 잘못된 값이 들어있지 않은게 확실하다면
 2
 3  use Encode;
 4  use Encode::Guess qw/euc-jp shiftjis 7bit-jis/;
 5  my $utf8 = decode("Guess", $data);
 6  my $data = encode("Guess", $utf8);   # 이건 동작하지 않는다!
 7
 8  # 좀 더 정교한 방법
 9  use Encode::Guess;
10  my $enc = guess_encoding($data, qw/euc-jp shiftjis 7bit-jis/);
11  ref($enc) or die "Can't guess: $enc"; # 에러를 잡아냄
12  $utf8 = $enc->decode($data);
13  # 또는
14  $utf8 = decode($enc->name, $data)

• $data 변수에 어떤 바이트 덩어리가 담겨 있는 상태입니다.
• 4번 라인, Encode::Guess 모듈을 불러오는데, 이 때 뒤에 "조사할 대상 인코딩"의 이름을 나열해 줍니다. 위에서 말했듯이 어떤 인코딩은 서로 구분이 불가능(하거나 아주 어렵거나)하며, 따라서 모든 인코딩을 다 찾아줄 수는 없고, 사용자가 지정한 인코딩들 중에 어느 인코딩에 해당하는지를 추측해줍니다. 기본적으로 ascii / utf8 / UTF-16 with BOM / UTF-32 with BOM 네 가지는 조사 대상에 포함이 되어 있습니다. 여기에 추가로 조사할 인코딩 목록을 적어주는 겁니다. 위 예제에서는 일본어를 인코딩하는 데 사용되는 세 가지 인코딩 방법을 나열했습니다.
• 5번 라인, 이제 $data 의 내용을 디코드해서 추상적인 "문자열"로 변환하여 $utf8 이라는 변수에 넣습니다. Encode 모듈에서 사용하는 decode() 함수를 쓰는데, 인코딩 이름을 넣는 첫번째 인자 자리에 "Guess"라고 넣어줍니다. 그러면 $data 의 인코딩을 추측해서, 찾아낸 인코딩 규약에 맞춰 디코드해 줍니다.
• 6번 라인은 역으로, 문자열을 인코드해서 바이트 덩어리로 만드는 예인데, 주석에도 나와 있지만 이건 실제로는 동작하지 않습니다. 상식적으로, 문자열을 인코드할 때는 내가 어떤 규약에 맞추어 인코드할지를 지정해줘야 하는데, 그걸 지정하지 않고 "추측해서" 인코드하라는 게 말이 안 됩니다.

• 9번 라인에서 Encode::Guess 모듈을 로드하는데, 이번에는 체크할 "인코딩 후보"를 명시하지 않았습니다.
• 10번 라인, 모듈에서 제공하는 guess_encoding() 함수를 쓰는데, 이 때 두번째 인자로 인코딩 후보 리스트를 넘겨줍니다.
• 11번 라인, 10번 라인에서 만일 인코딩을 추측해내는데 성공하면, $enc 에는 해당 데이타에 사용된 인코딩 규약에 대한 정보가 담겨 있는 레퍼런스가 들어갑니다. ref()는 인자가 레퍼런스(대상이 무엇이든)인지 아닌지를 검사합니다. 참이면 레퍼런스의 대상의 타입이름을 반환하고, 레퍼런스가 아니라면 빈 스트링을 반환합니다. 따라서 이 값을 검사해서 추측에 성공했는지를 알아낼 수 있습니다. 여기서는 추측에 실패하면 die합니다.
• 12번 라인, 추측에 성공한 경우는 12번 라인 또는 14번 라인에서와 같이 하여서 디코드할 수 있습니다.

 1  #!perl
 2  # 17_guess.pl
 3  use strict;
 4  use warnings;
 5  use autodie;
 6  use Encode;
 7  use Encode::Guess;
 8  use utf8;
 9
10  binmode STDOUT, ":encoding(cp949)";
11
12  my $filename = $ARGV[0];
13  open my $in, "<", $filename;
14
15  while ( my $line = <$in> ) {
16      chomp $line;
17
18      my $enc = guess_encoding( $line, qw/cp949/ );
19
20      if (not ref($enc)) {
21          print "인코딩 추측 실패\n";
22          next;
23      }
24
25      print "[", $enc->name, "]";
26      my $str = $enc->decode($line);
27      print "[$str]\n";
28  }

• 18번 라인, 파일의 각 라인을 읽어서 그 라인이 무슨 인코딩으로 되어 있는지를 추측합니다. 이때 조사할 후보는 utf-8을 비롯한 기본후보에 추가로 cp949 까지입니다.
• 20-23번 라인, 추측에 실패하면 그 라인은 포기하고 다음 입력 라인으로 통과
• 25-27번 라인, 추측에 성공하면 그 인코딩의 이름을 출력하고, 그 다음 라인의 내용을 디코드하고, 그걸 출력합니다. 이때 출력은 명령 프롬프트 창으로 나오니까 cp949로 인코딩하도록 10번 라인에서 지정했습니다.

• 첫번째 라인은 영문밖에 없기 때문에, ascii 코드로 인코딩했다고 추측합니다.
• 두번째부터 네번째 라인까지는 cp949로 인코딩되었다는 걸 맞췄습니다.

• 역시 첫번째 라인은 ascii 로 추측했고
• 나머지 라인은 utf8 이라고 제대로 맞추었고, 그에 따라 제대로 디코드하고 다시 cp949로 변환하여 출력했습니다.

18     my $enc = guess_encoding( $line, qw/cp949 euc-kr/ );

# $data 에는 cp949로 인코딩된 바이트 덩어리가 들어있음
# 이걸 UTF-8로 인코딩된 형태로 바꾸고자 함
my $string  = decode("cp949", $data);    # 일단 디코드해서 문자열로 만들고
my $newdata = encode("UTF-8", $string);  # 이 문자열을 UTF-8로 인코드

# $string 이라는 중간 변수를 쓰지 않고 한번에
my $newdata = encode( "UTF-8", decode("cp949", $data) );

# 아니면 아예 $data 자체를 바꿔버려도 된다면
from_to( $data, "cp949", "UTF-8" );

• UTF-8 인코딩 규약에 따라 인코드하고, (일부 시스템에서는 다른 규약을 사용)
• 이 데이타가 Perl 내부에서 다루는 문자열이라는 걸 별도로 표시해 둡니다. (이 표시를 UTF8 flag 라고 합니다)

• 어떤 경우는 그냥 "UTF-8" 인코딩 규약을 나타내는 다른 이름이기도 하고
• 어떤 경우는 "UTF-8로 인코딩되어 있고 UTF8 flag 가 켜져 있는 상태로 저장되어 있는 문자열" = "펄 내부 문자열" = "디코딩된 상태의 문자열" 을 의미하기도 합니다.

2. 기타 & Comments

• [unicode - Why does modern Perl avoid UTF-8 by default? - Stack Overflow]
• /정규표현식
• [Perl Unicode Cookbook: Decode Standard Filehandles as Locale Encoding - Perl.com] - 아니 이런 좋은 게... 힘들게 윈도우인지 유닉스인지 따져가며 표준입출력의 인코딩을 지정할 필요가 없었군.
• [Win32 환경에서 Perl 로 UTF-8, 유니코드 텍스트 파일 다루기 소고(小考) : 부엉이의 나무구멍 속 작은 공간]
• [열한번째 날: 유니코드를 활용한 정규 표현식 | R.I.P. @am0c - Seoul.pm 펄 크리스마스 달력 #2013]
• [넷째 날: 한글 문자열 자모 단위 일치 검사 | Seoul.pm 펄 크리스마스 달력 #2015]