ローテクな話 - 第一話 auto_ef について

多少、技術的な話をまとめた自分用のメモ書きのような場所を作ってしまいました。他の方のサイトと違い、最新技術の話や、聞いて役に立つ話はほとんどないと思います... ちなみに、ローテクというは、 ローテク = low technique + localization technique の造語です。 第一話として、Solaris 10 に実装された、auto_ef というコマンドについてです。

このコマンドは私が初めて (というか最初で最後) Solaris に実装したコマンドです。 また、Sun Java Enterprise messaging server のアラビア語とタイ語の問題を 解決するためにも利用されています。タイ語は patch としてしか提供されていない ようですが (確か bugID 5084308 だったと思います)、アラビア語に関しては、一応、 docs.sun.com のドキュメントに掲載されています。 (http://docs.sun.com/source/819-1054/channel2.html)

auto_ef は引数として入力されたファイルの文字のエンコーディングを調べて出力してくれます。 nkf というコマンドが日本語では非常に有名ですが、nkf の国際化版、というのが 一番わかりやすいかと思います。もしくは、Mozilla などの browser に 実装されている文字コード自動判別機能をコマンドと、ライブラリにしたようなものです。

最も単純な使い方は、
% /usr/bin/auto_ef 
と実行すれば、 で指定されたファイルのエンコーディングを出力してくれます。
例: 
% /usr/bin/auto_ef ~/memo/command.doc 
eucJP
ここで、表示されるエンコーディングは、Solaris の iconv (1) で利用可能な、 エンコーディングです。詳しくは、iconv の man page を参照してください。
-a オプションを指定すると、可能性があると判定されてエンコーディングが スコア付きで表示されます。
例:
% /usr/bin/auto_ef ~/memo/command.doc
eucJP  0.94
ko_KR.euc  0.05
この場合、eucJP である確率が 94%、 ko_KR.euc である確率は 5%、(残り 1% は、他のエンコーディング) であると判定されています。

auto_ef とうコマンド自体は、実は、libauto_ef という library を呼び出しているだけの コマンドで、第2話では、libauto_ef について書こうと思っています。
投稿されたコメント:

auto_ef は使わせてもらっています。 特に windows のリソースファイルなどを翻訳するときなどは、もうこのコマンドは必需品です。 でも、橘さんの作とは知りませんでした。ちょっと感激ですね。 最初で最後とは言わず、便利なコマンドはどんどん作っていただきたいものです。

Posted by yuka nomura on 2月月 03日, 2006年 at 01:40 午前 JST #

コメント
  • HTML文法 不許可
About

kenji

Search

Archives
« 4月 2015
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
  
       
今日