Perl/한글 페이지의 소스 보기 (부분)

내용출력
로그인[l]
수정할 수 없습니다: Perl/한글 는 읽기 전용 페이지입니다.
=== # 파일 입출력  ===


1장에 이어서, 이번 장에서는 파일을 다루는 데 연관되는 인코딩/디코딩 문제를 살펴보겠습니다.


'''1) 다시 표준입력 얘기부터'''

가계도 프로젝트에서 표준 입력 또는 파일을 읽어서 간단한 정보를 추출하여 출력하는 예를 다시 살펴 봅시다.
http://cafe.naver.com/perlstudy/689  여기 있던 코드 중에서, 줄번호와 각 라인의 길이를 출력하는 코드를 가져와서 살짝 고쳐서 사용해 보겠습니다.

{{{#!vim perl number
#!perl
# 08_cat.pl
use strict;
use warnings;

while ( my $line = <STDIN> ) {
    chomp $line;
    print $., "\t", "[$line](", length($line), ")\n";
}
}}}

이 코드는 표준입력을 읽어서 각 라인의 길이를 출력합니다. 입력이 영문으로만 되어 있을 때는 아주 잘 동작하지만, 한글이 포함되면 문제가 있습니다.

다음과 같은 내용으로 입력 파일을 만들어서, cp949 인코딩으로 저장하고, 파일 이름은 "input1_cp949.txt"라고 하겠습니다.
{{{#!vim
hello
안녕하세요
반갑습니다요
이 파일은 cp949로 인코딩해서 저장되었습니다.
}}}

이제 실행해 보겠습니다. 한 번은 키보드로 직접 입력하고 또 한 번은 입력 리다이렉션을 써서 파일의 내용을 표준입력으로 집어넣겠습니다.

Upload:encoding12.png

앞 장에서와 마찬가지로, 한글은 글자 하나당 길이가 2로 계산되고 있습니다.

해결책도 앞 장과 같습니다. 들어온 입력은 바이트 덩어리이므로 일단 문자열로 변환하여 계산하고, 출력할 때는 다시 바이트 덩어리로 변환합니다.

{{{#!vim perl number
#!perl
# 09_cat.pl
use strict;
use warnings;
use Encode;

while ( my $line = <STDIN> ) {
    chomp $line;
    $line = decode("cp949", $line);

    print $., "\t", "[",
          encode("cp949", $line),
          "](", length($line), ")\n";
}
}}}

9번 라인에서 문자열로 디코드, 12번 라인에서 출력을 위해 다시 인코드. 여러 번 반복해서 나왔던 형태입니다.

실행 결과:
{{{#!vim
1       [hello](5)
2       [안녕하세요](5)
3       [반갑습니다요](6)
4       [이 파일은 cp949로 인코딩해서 저장되었습니다.](27)
}}}

이제는 제대로 글자 수를 세고 있는 걸 볼 수 있습니다.



'''2) 매번 decode 하고 encode 하자니 너무 힘들어요'''


지난 장부터 지금까지 계속
* 입력을 받은 직후에는 decode를 해서 문자열로 변환하고
* 출력을 하기 직전에는 encode를 해서 바이트 덩어리로 재변환
하고 있습니다.

이건 너무 귀찮은 일입니다.


표준 입력으로 들어오는 건 자동으로 디코드하고, 표준 출력으로 나가는 건 자동으로 인코드하게 할 수 있습니다.

{{{#!vim perl number
#!perl
# 10_cat.pl
use strict;
use warnings;
use Encode;

binmode STDIN,  ":encoding(cp949)";
binmode STDOUT, ":encoding(cp949)";

while ( my $line = <STDIN> ) {
    chomp $line;
    print $., "\t", "[$line](", length($line), ")\n";
}
}}}

7번과 8번 라인에서 binmode 는 표준입력 파일핸들과 표준출력 파일핸들에다가 <code>:encoding(cp949)</code>라는 레이어를 추가합니다.

기존에 표준입력, 표준출력과 우리가 만든 프로그램 사이의 데이타 흐름이 아래와 같다면

{{{
                                       +------------------------+
 +--------------+                      |                        |                      +--------------+
 |              |      표준 입력       |                        |      표준 출력       |              |
 |    키보드    |+-------------------->|   Perl 프로그램        |+-------------------->|     화면     |
 |              |                      |                        |                      |              |
 +--------------+                      |                        |                      +--------------+
                                       +------------------------+
}}}

binmode 로 레이어를 추가하면 다음과 같은 형태가 됩니다.

{{{
                                       +------------------------+
 +--------------+     +----------+     |                        |     +----------+     +--------------+
 |              |     |  cp949   |     |                        |     |  cp949   |     |              |
 |    키보드    |+----|          |---->|   Perl 프로그램        |+----|          |---->|     화면     |
 |              |     |  decode  |     |                        |     |  encode  |     |              |
 +--------------+     +----------+     |                        |     +----------+     +--------------+
                                       +------------------------+
}}}

이제는 우리가 일일이 변환하지 않아도, 표준입력으로 들어온 데이타는 자동으로 "문자열"로 변환되고 (이때 cp949 규약에 따라 변환됩니다) 또 표준출력으로 내보내는 데이타는 자동으로 "바이트 덩어리"로 다시 변환됩니다. (역시 cp949 규약에 따름)

따라서 10번-13번 라인에서는 제일 처음 봤던 코드와 똑같이, 별도의 encode, decode 를 하지 않은 채로 그냥 사용합니다.

실행 결과는 1)에서와 똑같이, 글자수를 제대로 세는 걸 확인할 수 있습니다.
{{{#!vim
d:\Work\Perl\PerlStudy_cafe\20110709_lecture_한글>perl 10_cat.pl < input1_cp949.txt
1       [hello](5)
2       [안녕하세요](5)
3       [반갑습니다요](6)
4       [이 파일은 cp949로 인코딩해서 저장되었습니다.](27)
}}}


만약에, 입력 파일이 cp949 가 아니라 UTF-8 로 작성되어 있었다면 어떻게 해야 할까요? 위에서와 비슷하게, 다음과 같은 내용으로 입력 파일을 만들어서, UTF-8 인코딩으로 저장하고, 파일 이름은 "input1_utf-8.txt"라고 하겠습니다.

{{{#!vim
hello
안녕하세요
반갑습니다요
이 파일은 UTF-8로 인코딩해서 저장되었습니다!!
}}}

위 프로그램에서 7번 라인만 바꿔줍니다.
{{{#!vim perl
7 binmode STDIN,  ":encoding(UTF-8)";
}}}

Upload:encoding13.png

입력 텍스트가 UTF-8 인코딩된 형태라도, 정확히 변환되어서 글자수를 제대로 세고 있습니다.

(** 다만 이 코드는 사용하기에 무리가 있는 것이, UTF-8로 된 파일을 입력 리다이렉션을 써서 읽을 수는 있지만 정작 키보드로 입력하는 건 제대로 처리를 못합니다. 키보드로 입력되는 데이타는 cp949 로 되어 있을테니까요. 애초에 표준입력과 표준출력이 서로 다른 인코딩 규약을 사용하는 건 흔치 않은 일입니다. **)




'''3) open 으로 파일을 열어서 읽거나 쓸 때'''


위에서는 표준 입력으로 입력받고, 표준 출력으로 출력했습니다.

파일 이름 두 개를 인자로 받아서, 첫번째 인자로 주어진 파일을 열어서 라인의 길이를 측정한 후 두번째 인자로 주어진 파일에 저장하도록 해 봅시다.

일일이 decode, encode 하는 코드는 계속 반복했으니, 이제부터는 생략하겠습니다. 곧바로 binmode 를 쓰는 코드를 보도록 하겠습니다:

{{{#!vim perl number
#!perl
# 11_cat.pl
use strict;
use warnings;
use Encode;
use autodie;

my $in_file  = $ARGV[0];
my $out_file = $ARGV[1];

open my $in,  "<", $in_file;
open my $out, ">", $out_file;

binmode $in,  ":encoding(cp949)";
binmode $out, ":encoding(cp949)";

while ( my $line = <$in> ) {
    chomp $line;
    print {$out} $., "\t", "[$line](", length($line), ")\n";
}

close $in;
close $out;
}}}

* 11,12번 라인에서 입력파일과 출력파일을 열고 파일핸들을 할당합니다.
* 14,15번 라인에서 두 파일핸들에 인코딩 레이어를 추가합니다.
* 17번 라인에서 $in을 통해서 읽고, 19번 라인에서 $out을 통해서 출력합니다. 여기서는 별도의 인코드/디코드 과정이 필요없습니다.

실행결과를 보면:

Upload:encoding14.png

생성된 output.txt 파일의 내용을 보면 제대로 나오는 걸 볼 수 있습니다.

여기서는 입력 파일과 출력 파일의 인코딩이 반드시 동일할 필요도 없고, 특정한 인코딩을 사용할 이유도 없습니다. 자기가 원하면 출력 파일은 UTF-8 인코딩을 써서 저장하도록 할 수 있습니다. 아 물론 이건 출력 부분의 얘기고, 입력 쪽은 입력 파일이 저장될 때 사용된 인코딩을 따라줘야겠죠.




'''4) open 으로 파일을 열 때 - binmode 도 필요없다'''

open 후 binmode 를 써서 레이어를 추가하려니 일을 두 번 하는 것 같습니다. open 할 때 레이어를 같이 지정해 줄 수 있습니다.

{{{#!vim perl
11 open my $in,  "<:encoding(cp949)", $in_file;
12 open my $out, ">:encoding(cp949)", $out_file;
}}}

위와 같이, open 을 호출할 때 인자 3개 형식으로 호출할 때, 두번째 인자에 입출력 방향을 나타내는 기호 뒤에 레이어를 추가로 적어줄 수 있습니다. 이 경우는 binmode 를 추가로 사용하지 않아도 됩니다.



'''5) null filehandle, "<>"의 경우 - open 프라그마를 사용하여 디폴트 입출력 레이어 지정'''

<code><></code> 연산자(다이아몬드 연산자라고도 합니다)는
* 명령행 인자가 있다면 그 인자들, 즉 @ARGV의 원소를 하나씩 읽어서 그 이름의 파일을 열어 한 라인씩 입력을 받고
* 명령행 인자가 없다면 표준 입력으로부터 한 라인씩 입력을 받습니다
([http://cafe.naver.com/perlstudy/688 가계도 프로젝트 1.장] 참조 )

여기에 입력 레이어를 삽입하려면, 묘한 상황에 처합니다
* 명령행 인자가 없는 경우는 표준 입력으로부터 입력을 받으니까, STDIN 파일 핸들에 binmode 를 수행하면 되는데,
* 명령행 인자가 있다면 도대체 무슨 파일핸들에다 조작을 해야 하는가?

사실 이 경우는 ARGV 라는 이름의 파일 핸들이 관여가 됩니다만, 이 파일 핸들을 조작하는 것은 좀 까다롭습니다. 이건 옆으로 치워버리고, open 프라그마를 사용하도록 합니다. Perl 내장 함수 open과는 별개입니다. (perldoc open 참조)

{{{#!vim perl number
#!perl
# 13_cat.pl
use strict;
use warnings;
use Encode;

use open IN => ':encoding(cp949)';
use open OUT => ':encoding(cp949)';
use open ':std';

open my $out, ">", "output2.txt";
while ( my $line = <> ) {
    chomp $line;
    print $., "\t", "[$line](", length($line), ")\n";
    print {$out} $., "\t", "[$line](", length($line), ")\n";
}
}}}

* 7번 라인에서, 입력에 대해 cp949 규약을 써서 디코드하라고 선언합니다. 이 라인 이후부터는 open()을 써서 파일을 열어 읽을 때 저 레이어가 적용됩니다.
* 8번 라인에서, 출력에 대해 마찬가지로 cp949 규약을 써서 인코드하라고 선언합니다. 이 라인 이후부터는 open()을 써서 파일을 열어 데이타를 쓸 때 저 레이어가 적용됩니다.
* 9번 라인에는 open 뒤에 :std 라고만 적혀 있습니다. 표준입출력에 대해서, IN과 OUT에 정해진 대로 적용하라는 의미입니다. 따라서 표준입력, 표준출력 전부 cp949 규약을 써서 변환하게 됩니다.
* 11번 라인에서는 테스트를 위해 출력을 저장할 파일을 하나 엽니다. 이 때 입출력방향을 지정하는 ">" 인자에 따로 레이어가 명시되지 않았지만, 위에서 OUT 에 대해서 cp949 인코딩을 사용하라고 지정이 미리 되어 있으므로 자동으로 레이어가 적용됩니다.
* 12번 라인에서, "<>" 연산자를 사용해서 한 라인씩 읽습니다.

테스트하기 위해서, 출력도 두 가지로 나눕니다. 14번 라인에서는 표준 출력으로 출력하고, 15번 라인에서는 output2.txt 파일에 똑같은 출력을 기록합니다.

실행 결과를 살펴보겠습니다.

Upload:encoding15.png

첫번째 줄을 보면, 입력 리다이렉션을 사용했으므로, 입력이 표준입력으로부터 들어갑니다.

또 첫번째 줄에 보면 실행할 때 "> 파일이름" 의 형태로 뒤에 적어주었습니다. 이것은 입력 리다이렉션과 반대로, 출력 리다이렉션입니다. 표준출력으로 나오는 것을 가로채서 파일에 저장해줍니다. 입력 리다이렉션과 마찬가지로 이것은 Perl 이 하는 게 아니라 명령 프롬프트 창이 처리해 주는 부분입니다. 어쨌거나, 표준출력으로 나오는 것을 가로채서 output.txt 라는 파일에 저장했습니다.

두번째 줄에서는 실행할 때 입력파일 이름을 인자로 주었습니다. 따라서 perl 이 저 파일을 열어서 읽습니다. 이 때 표준출력으로 나오는 것은 "output3.txt" 라는 이름으로 저장했습니다.

실행이 끝나고
* 표준 입력으로 읽었을 때의 출력결과 output.txt
* 명령행 인자로 받아서 열었을 때의 출력결과 output3.txt
* 두 경우 다 스크립트 내부에서 따로 저장한 output2.txt
(사실 두 번 실행을 시켰기 때문에 처음 실행할 때 저장된 output2.txt 는 덮어써 버려서 없어졌습니다만)

이 세 파일을 비교해보면 크기도 동일하고, 실제로 열어보면 완전히 내용이 똑같습니다. 이로써
* 표준 입력으로 입력을 받든 스크립트 내부에서 파일을 열어서 읽든 (<>를 썼기 때문에 명시적으로 open하진 않았지만), 제대로 디코딩되었다는 걸 확인할 수 있고
* 반대로 출력할 때도 표준 출력이든 명시적으로 open해서 파일에 출력을 하든 제대로 인코딩되었다는 것도 확인할 수 있습니다.


open 프라그마의 사용예제를 몇 가지 더 들어보자면:

1. 입력은 cp949로 된 것을 받는데, 내가 출력할 때는 UTF-8로 인코딩하고 싶다면?
{{{#!vim perl
 8 use open OUT => ':encoding(UTF-8)';
}}}
8번 라인만 위와 같이 인코딩을 UTF-8로 명시해주면 됩니다. 이 경우는
* open을 써서 읽을 때와 표준 입력을 받을 때는 cp949를 쓰고
* open을 써서 쓸 때와 표준 출력으로 내보낼 때는 UTF-8을 씁니다

2. open을 쓸 때와 표준입출력을 별개로 다루고 싶다면?

':std'가 언급된 9번 라인은 제거하고, binmode를 써서 STDIN과 STDOUT에 적용될 레이어를 별도로 지정해 줍니다.

3. 위 코드에서는 IN과 OUT에 동일한 인코딩 레이어를 사용합니다. 이런 경우는 굳이 두번 나눌 필요 없이
{{{#!vim perl
 7 use open IO => ':encoding(cp949)';
}}}
이렇게 "IO"에 대해서 레이어를 지정해주면 입력과 출력 양쪽에 적용되며, 아예
{{{#!vim perl
 7 use open ':encoding(cp949)';
}}}
이렇게만 적어줘도 됩니다.



'''8) 스크립트 내에 들어있는 문자열 상수들을 일일이 디코딩하는 것도 귀찮아요 - utf8 프라그마'''


지난 1.장에서 스크립트 코드 내에 한글 문자열이 있는 경우:
{{{#!vim perl
my $str = "안녕하세요";
}}}
$str 에는 문자열이 담기는 게 아니라 바이트 덩어리가 담긴 상태이므로, 문자열로써 다루기 위해서는 $str 의 내용을 decode를 해야 했습니다.
{{{#!vim perl
my $str = "안녕하세요";
$str = decode("cp949", $str);    # 스크립트 자체가 cp949로 저장된 경우
}}}
또는 한번에
{{{#!vim perl
my $str = decode("UTF-8", "안녕하세요");  # 스크립트 자체가 UTF-8로 저장된 경우
}}}

그런데 이렇게 스크립트 안에 들어있는 모든 비영어권 문자열에 대해서 이런 디코드를 일일이 해주는 것도 매우 불편한 일입니다.

스크립트 내에 들어있는 문자열 상수들을, 바이트 덩어리가 아닌 추상적 문자열로 간주하여 처리하도록 지정할 수 있습니다. 다음 두 조건을 따라야 합니다:
* 스크립트 자체를 UTF-8 인코딩을 적용하여 저장하고,
* <code>utf8</code> 프라그마를 사용

{{{#!vim perl number
#!perl
# 14_utf8.pl
# 이 스크립트는 반드시!! UTF-8로 저장되어야 함
use strict;
use warnings;
use Encode;
use utf8;

binmode STDOUT, ":encoding(cp949)";

my $eng = "hello";
print "[$eng][", length($eng), "]\n";
my $kor = "안녕하세요";
print "[$kor][", length($kor), "]\n";

if ( $kor =~ /하(.)/ ) {
    print "'하' 다음에는 '$1'자가 있군요\n";
}
}}}

다시 한 번 얘기하지만, 위 코드를 디스크에 저장할 때는 UTF-8 인코딩을 사용하여야 합니다. 사용하시는 에디터에서 옵션을 잘 뒤져보면 저장할 때 사용할 인코딩을 지정할 수 있을 겁니다.

* 7번 라인에서 use utf8; 선언이 있습니다. 이 프라그마가 적용되는 스코프 내에서는 이제부터 스크립트 자체의 텍스트가 바이트 덩어리가 아니라 문자열로 간주됩니다.
* 9번 라인, 이제는 내부에서 다루는 데이타가 자동으로 디코드가 되니까, 출력할 때는 인코딩을 해야 합니다. 명령 프롬프트 창에서 출력할 거니까 cp949를 쓰도록 지정했습니다.
* 13번 라인, 처음처럼 그냥 문자열 상수 "안녕하세요"를 저장합니다. 따로 디코드하지 않습니다.
* 14번 라인, 이 문자열을 출력하고, 길이도 출력합니다.
* 16번 라인, 정규표현식을 지정해봅니다. 정규표현식 내에 적힌 "하" 역시 특정한 바이트 덩어리가 아니라 그냥 문자 "하"로 취급됩니다.
* 17번 라인, 정규표현식에서 마침표 하나에 매치되는 부분을 출력시켜봅니다.

실행 결과는 다음과 같습니다.

Upload:encoding16.png

모든 것이 우리의 의도대로!!! 잘 처리되고 있습니다.



'''9) 이 장의 내용 정리'''


이 장의 내용을 정리하면,

<blockquote>
1. 파일을 읽을 때는 파일의 내용은 바이트 덩어리이고, 이걸 문자열로써 다루기 위해서는 디코드해야 한다.
* 읽고 나서 읽은 내용을 decode()를 써서 디코드하거나,
* 읽을 파일 핸들에 binmode() 를 써서 입력 레이어를 삽입하여 자동으로 디코드 하거나
* 읽을 파일을 여는 시점에 open()의 인자로 입력 레이어를 명시해주거나
* open()을 하기 전에 미리 use open 프라그마를 써서 디폴트 레이어를 명시해 줄 수 있다

2. 문자열을 다룬 후에 파일에 저장할 때는 내가 희망하는 형태의 바이트 덩어리로 인코딩해야 한다
* 쓰기 전에 쓸 내용을 encode()를 써서 인코드하거나,
* 쓸 파일 핸들에 binmode() 를 써서 출력 레이어를 삽입하여 자동으로 인코드 하거나
* 쓸 파일을 여는 시점에 open()의 인자로 출력 레이어를 명시해주거나
* open()을 하기 전에 미리 use open 프라그마를 써서 디폴트 레이어를 명시해 줄 수 있다

3. "<>"는 파일핸들이 명시되지 않으니 use open을 써서 입력 레이어를 명시하면 된다

4. 프로그램 코드 내에 있는 문자열 상수는 use utf8 프라그마를 써서 자동으로 디코드된 상태로 사용할 수 있다.
</blockquote>

다음 장에서는 이번 장에서 다루지 못한 몇가지 상황에서의 인코딩 이슈를 다루고 연재를 마무리하도록 하겠습니다.
Perl/한글 페이지로 돌아가기 | 다른 수정본 보기