Dump Cookie

engdic은 90년대 리눅스 초창기 배포판에 거의 항상 포함되어있던 유명한 영한사전입니다. 이 영한사전을 요즈음 배포판에서는 찾기가 어려워졌지만, 검색을 통해서 어렵지 않게 자료를 받을 수 있습니다.

engdic 사전 데이터는 Kwangsuk Lee씨가 만든 것이라고 밝히고 있습니다. (FreeBSD ports의 descr 파일)

engdic
------

engdic is a english dictionary for korean working on unix enviroment system.

Special thanks to : KwangSuk Lee (Dictionary data maker)

Oh Junseon <hollywar@mail.holywar.net>

좀 더 찾아보니 다음과 같은 내용이 freebsd 메일링리스트에 있었습니다. http://www.kr.freebsd.org/ml/ports/1999/06/msg00010.shtml

참.. 그리고 사전 데이타는 이광석 님이 제공해주신것으로서 
공개하셨기에 따로 적어주질 않았습니다. Linux 의 edic 에서 사용하는
데이타를 그대로 가져온것이긴 한데.. 말씀을 듣고 보니.. 
최소한 이름 석자라도 적어야 도리일듯 싶네요..

위 내용에 대해서 참고적으로 설명하자면, 리눅스에 원래 배포되던(아마도 최초 배포는 알짜 리눅스이며, engdic.tar.gz 파일이 패키징된 날짜는 1998년 6월8일) edic 혹은 engdic이라는 사전 프로그램의 사전 데이터를 그대로 사용하고, 원래 쉘 스크립트로 처리되어 조금 느리던 edic 스크립트를 c언어로 만들어서 속도를 향상시키고, FreeBSD의 패키지로 등록시키고 있는 내용입니다.
(원래의 리눅스 배포판에서 사용되던 edic 쉘 스크립트는 다음의 사이트를 통해서 확인해 보실 수 있습니다. https://github.com/liks79/edic 및 https://github.com/liks79/edic/blob/master/README.md 참조)

다음은 여기에 올려있는 edic 사전의 스크린샷입니다. (출처: https://github.com/liks79/edic)

engdic 사전 저작권은 GPL이 아니다

그런데 engdic의 사전 데이터가 GPL이라고 알려져있나본데, 적어도 위에서 열거한 내용에 의하면 이 사전데이터가 GPL이라고 배포자는 밝히고 있지 않습니다. 사전 데이터는 이광석씨가 만든 것이며 그것을 그대로 가져왔다는 내용 뿐입니다. 프로그램 본체 engdic의 실행파일 edic은 GPL일지는 몰라도 사전데이터는 GPL 라이선스와 무관한 것입니다.

engdic을 등록한 몇몇 배포판을 찾아보아도 이는 마찬가지였습니다.

• 최초 패키징으로 추정되는 알짜 리눅스 - distributable이라고만 되어있음
• OpenSUSE - distributable이라고만 나와있음 (알짜 리눅스 자료를 사용한 것으로 보임)

1. engdic 버전 0.1 - 초기에 나온 사전. redhands(적수네 동네의 주인장 필명)과 redhat이 사전에 등록되어있다.
2. engdic 버전 0.2 - 버전 0.1과 거의 같고, freebsd가 단어목록에 추가되어 있다.
3. engdic 0.1 / 0.2의 초기 버전 - 발음기호 정보가 들어있다. => engdic 버전 0.1 / 0.2에는 발음기호가 제대로 제거되지 않은 단어들이 여러개 포함되어 있는 것으로 보아서 이 사전이 engdic의 원본 데이터로 추정됩니다.

engdic의 저작권은 GPL일 수 있으나 engdic 사전의 저작권은 GPL일 가능성은 희박한 것입니다.

아무튼 engdic에 대한 여러 추측성 내용을 적어본다면,

1. 그 당시 PC통신을 통해서 퍼진 자료로 추측됨
2. 사전 데이터가 상당히 크기때문에 이 사전 자료가 직접 만들어졌다면 많은 사람이 공동작업을 했을 가능성도 있다.
3. 사전 데이터가 상당히 일관성있는 것으로 보아서는 공동작업 지침이 있었거나 아니면 출처불명의 사전이었을 것이다.
4. 사전의 저작권이 GPL이라고 공개적으로 밝힌 자료는 없다. GPL일 것이라고 추측하고 있지만 GPL같은 공개 라이선스일 가능성은 적다.
5. 또 이번에 알게된 사실이지만 engdic 사전은 산에디터의 출처불명의 사전자료의 일부를 사용한 것으로 생각됩니다. 혹은 그 반대로 산에디터의 사전이 engdic의 원본 사전을 사용하였을 수 있습니다.
   즉, 산에디터의 사전데이터와 비교해보니 상당수의 뜻이 일치하였고, 산에디터의 사전데이터는 종종 이보다 간략하게 줄인듯한 흔적이 있었습니다. (아니면 버전이 조금 다른 사전?)
6. 모 대학교의 연구실에서 나온 자료일 가능성도 있다. 인터넷이 덜 발달하고 PC통신이 인기있던 시절, 이처럼 꽤 방대한(?) 자료가 나올 수 있는 출처는 의외로 대학교 연구실일 가능성도 있다.
   POS 태그가 꽤 잘 남아있고, 특히 태그가 "x."라고 되어있는 특이한 자료는 engdic(및 산에디터의 사전자료)이 거의 유일하다.
7. 혹은 engdic 사전자료를 만든 이가 모든 사전 단어에 POS 태그를 붙이려고 시도했을 수도 있다. 즉, 분류가 없는 단어에 대해서 단순히 "x."라고 POS 태그를 붙였을 가능성

재밌는것은 engdic 사전 자료를 GPL로 오해하고, 이것을 바탕으로 해서 개선시키려고 하던 시도가 있었다는 것입니다.

• http://papillon.imag.fr/static/info_media/3077748.pdf
• http://www.papillon-dictionary.org/static/info_media/3077683.pdf

또한 engdic 사전자료는 OpenOffice에서 사용할 수 있는 stardict 사전의 영한사전 자료가 되며, 여기에는 사전 자료의 저작권을 GPL이라고 잘못 표기하고 있습니다만, 이 사전자료 역시 그 출처는 engdic이며 저작권은 GPL이 아닙니다.
http://abloz.com/huzheng/stardict-dic/ko/

널리 애용된 engdic 사전 데이터

그럼에도 불구하고 engdic의 사전 데이터는 산에디터의 사전자료와 함께 많은 사랑(?)을 받게됩니다.

1. 꽤 많은 공개 웹사전에서 engdic의 사전 데이터를 사용하고 있는 것으로 추정됩니다.
   즉, 다음과 같은 잘못된 사전 정의가 engdic에 들어있는데, Azov를 검색하면 상당수의 공개 웹사전이 이 정보를 검색해냅니다 ^^;;
   Azov n 아즈라엘(죽음에 순간에 영혼을 육체에서 분리시키는 천사) => Azov가 아니라 Azrael
2. engdic 사전 데이터는 상당히 고유합니다. 다른 네x버, x음 등등에서 제공하는 웹사전에서 이와 똑같이 일치하는 사전정의를 찾기 어렵습니다.
   engdic 사전은 인터넷이 발달하기 전 90년대 초창기에 나온 것으로 추정되며, PC통신시절의 출처불명의 사전자료를 기반으로 탄생한 것이기때문에 그런 것으로 추측됩니다.
3. 모 공개 웹사전 사이트에서 누군가가 사전데이터에 대해서 문의하니 PC통신에서 받은 자료를 가공한 것이라고 설명하고있었습니다.

마치며

영어 단어장 앱을 준비하면서 공개된 단어장 데이터에 발목이 잡혀서 몇일동안 사전 자료에 관련된 정보를 분석해보았던 것인데, engdic이 1998년에 배포되었다고 하니 벌써 15년이 넘었습니다만, 그간 engdic보다 낫거나 좋은 영한 사전이 없다는 사실이 안타깝기도 하네요. engdic 정도의 공개 한영사전을 만드는 것은 사실 마음만 먹으면 큰 일은 아닐 것 같습니다만 혼자 하기에는 쉽지도 않은 작업인것 같습니다. 예를 들자면 engdic 단어목록만 사용하고, wordnet에서 뜻을 가져와 이것을 번역하는 것입니다. 다음에 시간이 나면 engdic 수준의 공개 한영사전을 만드는 방법론에 대해서 살펴볼 기회가 있었으면 싶습니다~ ^^

공개된 영-한 사전을 검색해보려다가 우연히 산 에디터에 사용된 사전 데이터에 대해 알게 되었습니다. 예전에 한번 보았던 내용인데, 이번에 좀 더 유심히 살펴보게 된 것이지요.

http://www.114pda.com/language/dic-data/dic-ek-57873.htm (2005년 이후로 업데이트가 없지만, http://www.114pda.com 운영자분은 고맙게도 사이트를 계속 유지시키고 계시네요 ^^)

여기에 써있기를 다음과 같은 내용이 있습니다.

예전의 도스용 산에디터라는 프로그램에서 사용할 수 있는 공개판 영한사전이 있었습니다. 원래는 DbaseIII용 으로 되어있었는데요. 그것을 기반으로 해서 kdic용 영한사전으로 변환 시켰습니다.

과연 산에디터의 영한사전은 공개된 것일까?

산에디터라고 하면 90년대 도스를 사용할 무렵에 Q에디터와 함께 이 편집기를 모르는 사람이 없을 정도로 상당히 유명한 편집기중에 하나였다고 기억합니다.

logo from http://hp.vector.co.jp/authors/VA008289/page2.htm

산에디터는 처음에는 쉐어웨어 형식이었다가, 나중에는 그 당시에는 정말 획기적으로 프로그램의 소스를 공개해서 더욱 유명한 프로그램이였죠. 산에디터에 대해서 검색해보니 산에디터의 원저자 박규현님의 최근 블로그글도 찾을 수 있더군요 ^^

산에디터를 검색해서 다운로드를 받아서 살펴보았습니다.
http://oilman.new21.net/ 자료실 http://oilman.new21.net/zero/zboard.php?id=LXAP&no=88
http://sirjhswin.egloos.com/2203664

압축을 풀어보니 여기에는 DBase III 포맷의 사전데이터가 들어있었는데, 포함된 README파일을 읽어보니, 산에디터에는 원래 영한사전이 들어있지 않았습니다만, 산에디터의 소스가 공개되자 이주형씨가 이 편집기에 영한 사전 기능을 추가하게 된 것이더군요. README파일(당연하게도 문서 인코딩이 조합형으로 되어있어서 iconv로 UTF-8로 변환해서 보면)에 다음과 같은 내용이 있습니다.

산에디터 Version 1.2  영한사전 기능 추가에 대하여

산에디터가 공개된 것은 정말 다행스러운 일이다.
화면 스크롤 속도가 빠르고 깔끔한 것이 특징이다.
컴퓨터 통신으로 갈무리한 화일을 보고 간단히 편집하기에는
부족함이 없다. (중략)...

엄청나게 큰 영한사전 데이터는 아쉽지만 공개된 것이 아니다.
꼬투리를 잡으려 들면 한이 없겠지만 발뺌하는 것도 마찬가지로
끝이없다. 직접 데이터를 입력했다고 우겨도 별 수가 없는 것이다.
현재는 약 5만여 단어지만 필요한 사람은 더 추가할 수도 있다.
소스를 공개한 박규현님과 사전 데이터를 입력한 순수한 노동의 대가를
치룬 분들께 감사의 말씀을 전하며 이만 줄인다.

1996. 8. 12
작성자 : 이주형

@.@ 이주형씨가 밝히길 이 사전자료는 공개된 것이 아니라고 밝히고 있었습니다 ^^;; 이어지는 말이 약간 애매하긴 한데, 약 5만여 단어를 모두 직접 입력했다는 뜻은 아닌 것으로 보입니다.

따라서 이 글에 의하면 산에디터의 영한사전은 자유롭게 쓸 수 있는 공개된 것이 아닌 것으로 생각됩니다.

사전 데이터를 검증해보자

아무튼 이렇게 다운로드 받은 dbase III 파일을 직접 검수해보았습니다.

$ ls  *DBF *dbf
EDIC_A.DBF  EDIC_F.DBF  EDIC_K.DBF   EDIC_O.DBF   EDIC_S.DBF   EDIC_W.DBF
EDIC_B.DBF  EDIC_G.DBF  EDIC_L.DBF   edic_p.dbf   EDIC_T.DBF   EDIC_X.DBF
EDIC_C.DBF  EDIC_H.DBF  EDIC_M.DBF   _Edic_p.dbf  EDIC_U.DBF   EDIC_Y.DBF
EDIC_D.DBF  EDIC_I.DBF  edic_n.dbf   EDIC_Q.DBF   edic_v.dbf   EDIC_Z.DBF
EDIC_E.DBF  EDIC_J.DBF  _Edic_n.dbf  EDIC_R.DBF   _Edic_v.dbf

php에 익숙하다면 dbase 모듈을 이용하거나 간단히 hexdump를 이용해서 살펴볼 수 있더군요.

처음에는 php dbase모듈로 읽어봤더니 몇몇 dbf파일이 오류가 났습니다. 이상해서 hexdump로 살펴보니 파일 자체가 깨진 것이더군요 -_-;;

$ file EDIC_A.DBF
EDIC_A.DBF: DBase 3 data file (3460 records)
$ hexdump -s 0x62 -e '71/1 "%c" "\n"' EDIC_A.DBF |iconv -f JOHAB -t UTF-8 -c
...
auction             n.경매;공매
auction off         경매되다
auctioneer          n.경매인 vt.경매하다
auctorial           a.작가의;저자의
audacious           a.대담한;넉살좋은;철면피의;무례
$ hexdump -s 0x62 -e '71/1 "%c" "\n"' EDIC_A.DBF  |iconv -f JOHAB -t UTF-8 -c | wc -l
3143

위에서 볼 수 있는 것처럼 A로 시작하는 단어의 개수가 3460이어야 하는데, 3143개밖에 안되고 중간에 끊어진 것입니다. 이렇듯이 일부 DBF파일이 손상이 되어있었습니다. (이것이 제가 받은 DBF파일만 그런 것인지 아니면 원래 손상되어있던 파일인 것인지는 알 수 없었습니다)

(이 사전자료만 따로 뽑아서 변형시킨 자료도 천리안에 있다는 글도 보이는데 http://oilman.new21.net/zero/zboard.php?id=LXAP&no=89 여기의 사전데이터도 살펴보니 일부 내용이 유실되어있기는 마찬가지 였습니다.)

pda114에서 변환된 자료도 약간의 문제가 있기는 마찬가지였습니다.

• 일부 단어의 뜻 내용이 잘려있다. 예) vulpicide /// n,(사냥개 이외의 방법에 의한)여우 잡아 죽이기,그러....???
• 따옴표가 잘못 들어가 있다. 예) vie /// "vi,경쟁하다,다투다(with)"
• 단어가 잘 못 되어있다. 예) psychological techno /// "logy                x,심리공학" ^^;;

그런데 이러한 단어들을 구글로 검색해보니 산에디터에서 쓰이는 사전의 원본으로 추정되는 사전을 쓰고 있는 웹 사전 서비스를 하는 곳이 많더군요!! 이 사전을 사용하고 있는 사이트로는 다음과 같습니다.

• http://ko.oldict.com - 영한 사전을 사용하고 있습니다. 가장 원본 데이터를 충실하게 보존하고 있는 듯.
• http://dic.impact.pe.kr/ - 약간의 가공된 부분이 있으나 원본 사전데이터를 사용하는 것으로 보입니다.
• 그밖에 몇몇 공개 웹사전에서 쓰이고 있었습니다.

자세히 살펴보니 원본 DB파일은 engdic파일을 구성하는데 일부 사용되었으며, 산에디터에 포함된 DB만을 쓰고있는 공개 웹사전 사이트는 없었습니다.

이러한 사이트에는 산에디터 DBF파일에서 볼 수 있는 문제점이 전혀 없었습니다. 그리고 이러한 흔적들은 DBF 사전자료가 원본자료가 아니라는 것을 말해주며 어딘가에 이 사전의 원본 사전자료가 있었다는 것을 뜻합니다.

아무튼 원본 사전의 DBF파일이 완전하지는 않지만 그 깨진 단어가 많지 않으므로 원본 사전과 거의 같게 복구할 수 있을 듯 합니다.

원본 사전의 특징

그렇다면 산에디터에서 쓰인 것으로 추정되는 원본 사전 데이터는 어디에서 찾을 수 있을까요? 그리고 그 출처는 어디였을까요? (아마도 이것에 대한 힌트는 하이텔이나 천리안의 자료시에서 얻을 수 있을 것으로 생각됩니다만... 하이텔 자료 CD도 없고 사이트도 폐쇄되어 쉽게 찾기는 어려울 것 같고..)

이 사전을 자세히 살펴보면 다음과 같은 특징이 있습니다. 첫째, n. 혹은 vt. vi. 등등의 품사를 표시하는 기호중에 x. 라는 이상한 기호를 다음과 같이 볼 수 있었습니다. 약 1천여개의 단어가 "x."로 지정되어 있었습니다.

vital power         x,생명력
vital signs         x,맥,호흡,체온 및 혈압
vital statistics    x,인구 동태 통계
vital wound         x,치명상
vitamet             n,비타머(비타민 작용을 나타내는 물질의 총칭)

둘째, 이 사전의 분류기호가 약간의 일관성이 떨어집니다. 단어 뜻의 구분기호가 ";"인 경우도 있고 ","인 경우도 있습니다. 분류기호도 "n." 이라고 마침표로 끝나는 경우도 있는가 하면, "n," 처럼 쉼표로 끝나는 경우도 있습니다. 이것은 다시 말해서 이 사전 역시 두개의 또 다른 소스에서 유래했을 수 있다는 것을 가정하게 합니다.

상황이 이쯤 되다보니 그 예전에 리눅스 배포판을 비롯해서 FreeBSD까지 광범위하게 사용되던 engdic 영한사전이 떠오르게 된 것입니다.

영어 학습에 도움이 될만한 앱을 만드는 중입니다.

영어학습 앱을 떠올리면 단어장/깜깜이/플래시 카드와 같은 기능은 거의 필수적으로 필요하고, 여기에 사용 될 단어장이 필요하게 되어서, 공개된 단어장 리스트를 살펴보게 되었습니다. 그러나 왠만해서는 라이선스가 정확히 명시되고 그 출처가 분명한 단어 리스트를 찾기가 어렵더군요.

단어 리스트를 찾기 전에 먼저 출처 및 라이선스가 분명한 영어 사전 데이터를 찾아보니, 공개된 영어 사전으로는 유명한 WordNet 자료와 GCIDE 프로젝트가 있었습니다.

• GCIDE - http://en.wikipedia.org/wiki/GCIDE
• WordNet - http://wordnet.princeton.edu/

그밖에 방대한 Wiktionary (http://en.wiktionary.org/wiki/Wiktionary:Main_Page)를 참고할 수 있을 것입니다.

저작권에 관련된 부분을 좀 더 명확히 하기 위해서 관련 정보를 찾아보니 KLDP에 다음과 같은 글이 있었습니다. http://kldp.org/node/83345 - 저작권있는 사전의 발음기호만 수집해서 배포해도 될까요? (글쓴이: xylosper 토,2007/06/16)
이 내용을 일부 적어보면,

• 특별한 창작성이 없는 단어 목록은 저작권 보호를 받지 못한다고 한다.
• 대부분의 공개되어있는 한-영사전은 창작성이 있는 부분(뜻, 예문이나, 발음기호 등등)에 대한 정확한 출처를 명시하지 못하고 있다. (engdic이 대표적인 예)

아무튼 이러한 사실을 염두해두고 자료를 검색해보았습니다.

출처가 불분명하지만 광범위하게 퍼져있는 자료들

• 교과부 지정 초등영어 기본 800단어 - 검색해보면 무수한 HWP/엑셀 자료를 찾아볼 수 있었습니다.
  예) http://goo.gl/xNyqO
• 단어목록이 거의 유사하나 내용이나 몇몇 단어들이 추가된 경우도 있고, 그 원 출처가 일치하지는 않는 듯.
• 교과부 지정 중고교 2067단어 - 역시 검색하면 무수한 HWP 자료들.
• 중고교 2800단어라고 불리는 자료는 2067 단어 + 초등학교 수준의 단어를 합한 것
• 2067단어라고 이름 붙여놓고 여기에 새로운 단어를 추가한 경우도 있다.
• 이 자료들 역시 그 원래의 출처가 일치하지 않는 것으로 보였다.
• 그밖에 많은 자료들은 그 출처가 불분명하며, HWP파일이나 엑셀 파일을 열어서 살펴보면 학원에서 배포하던 자료이거나, 기타 개인이 만든 자료인 듯 편집이 투박하고 일관성이 없는 경우도 많았다.
• Barron's GRE 3500 단어 : Barron's GRE 3500 책 시리즈에 나온 단어목록에 간략한 뜻과 함께 누군가가 추가로 단어를 합하여 올린 자료가 비교적 광범위하게 퍼져있다. 예를 들어 4759 단어 http://quizlet.com/47571/barrons-gre-wordlist-4759-words-flash-cards/ - quizlet에 올라온 이 자료가 바로 Barron's GRE 단어목록.
  -> 아마도 누군가가 Barron's GRE 3500 단어목록 + alpha를 하고, 단어 뜻을 추가한 듯 하다. (원 출처가 제대로 명시가 안되어 있으므로, 단어의 뜻을 누가 추가한 것인지 알기 어려웠다)

출처가 분명하고 라이선스도 분명한 자료들

• http://www.freevocabulary.com/ SAT용 5천 단어 - 개인 및 학급에서 사용 가능. 상업적 사용 불가 - 그런데 이 자료가 몇몇 잘 알려진 사이트에서 그대로 사용되고 있었다. (이것이 허락을 받아서 쓰이고 있는 것인지 아닌지는 알 수 없었으나, 그 출처가 제대로 명시되지 않은 것으로 보아서는 도용일 것으로 추축됩니다)
• 그밖에 몇몇 사이트에서 올려놓은 단어목록들은 개인 및 학급에서 사용 가능하나 상업적으로 사용이 불가한 경우가 대부분이었다.

사정이 이렇다보니 단어 목록을 가져오는 것은 저작권상 문제가 없다고 하더라도, 그 단어의 뜻은 출처가 불분명하며, 저작권 문제의 소지가 있는 예문이나 단어의 뜻을 그대로 가져다쓰기는 어려운 난점이 있게됩니다. 따라서 저작권 문제가 없는 단어장을 만들기 위해서는,

1. 영-영 사전의 경우라면 Wordnet에서 사전의 뜻을 최대한 단순화시키거나, 여러가지 뜻이 있는 경우에는 주요한 뜻 두어개 + 동의어 위주로 추출 + 예문 1개정도만 추출하는 방식으로 만든다. (이 작업도 만만하지 않을 것입니다)
2. 영-한 사전의 경우라면 사전의 뜻을 1) 원저작자에게 허락을 받거나 2) 직접 수동으로 입력하여 만들거나 ^^;;

그밖에 다음과 같은 사항들은 저작권 문제 없는 사전을 만드는데 참고할만하거나 개인적인 메모 사항입니다.

1. 빈도수 단어목록을 사용하여 빈도수가 높은 단어를 우선순위를 높게 둘 수도 있으며, 다른 단어장과의 차별점이 될 수 있다.
   Wiktionary의 단어 빈도수 목록 http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists
   http://invokeit.wordpress.com/frequency-word-lists/ 참고
   
2. 네이버나 다음의 사전 사이트에서 중/고교 단어 목록 자료를 긁어온 후에 이를 바탕으로 빈도순/중복단어 우선순 등등의 2차 가공을 한 단어 목록을 만드는 것도 가능할 것이다

여기까지 정리해놓고나서, 예전에 리눅스에서 유명했던, GPL로 공개되었던 (그러나 그 출처가 불분명하다 하여 슬금슬금 배포판에서 자취를 감추게 된) 영-한 사전인 engdic의 사전 데이터가 궁금하기도 하고, 일부 인터넷에서 공개 사전서비스를 하고 있는 사전 자료 등등이 궁금하기도 해서, 공개 영-한 사전 데이타를 찾아보고 재밌는 사실을 발견하게 됩니다.

공개 영-한 사전인 engdic에 관한 이야기는 다음 포스팅으로 이어집니다~