🥤 👩🏾‍💻 🐣 すべての費用でテキスト：WCBFFおよびDOC 👩 🌆 🏰

思ったより少し遅れましたが、さまざまなデータ形式からテキストを取得することについて会話を続けています。あなたと私は、元々XMLベースのファイル（docxとodt）を操作し、pdfからテキストを読み取り、rtfの内容をプレーンテキストに変換する方法に精通しています。それでは、おいしく甘いDOC形式に移りましょう。

気配りのある読者がタイトルの奇妙な略語について尋ねる前に、私はまだいくつかのdocファイルの内容を見るように頼みます：

コンピューターリテラシーのd明期に私たちの多くがメモ帳でdocファイルを開こうとすると、同様の亀裂が見られたと思います。しかし、このバイトの混乱から何を得ることができるのか、自分自身に尋ねましょう。これは同じ「帆」に他なりません。ここで最も興味深いのは、ファイルからファイルへの最初の8バイトです。つまり、hex'ahの"D0 CF 11 E0 A1 B1 1A E1"

、またはメモ帳の"Ў±"

です。

タイトルの2番目の略語を解読する価値があります。 WCBFFはWindows Compound Binary File Formatに他なりません。ロシア語では「 Windows Compound binary format files 」のように聞こえます。翻訳を企業の良心に任せて、この形式がひどい名前でどのように役立つか考えてみましょう。

そのため、CFBは祖先、またはより正確には、97番目のバージョンから2007年までのすべてのMicrosoft Office形式のスケルトンです（互換性形式で保存する場合）。このCFBは、Wordのテキストを保存するためだけでなく、ExcelシートまたはPowerPointプレゼンテーションを保存するためにも使用されます。その結果、CFBで「暗号化」されているバックボーンを読み取り、DOC形式を考慮して読み取りデータのテキストを見つける必要があります。

CFBまたは小さなファイルシステム

私が言ったように、最初のステップはCFBを読むことです。 CFBは、セクター、ルートディレクトリ、およびある種のファイルを含む、ミニチュアのファイル構造を示します。このファイルの問題でさえ、通常のファイルシステムの場合と同じです-たとえば、断片化されたセクター。幸いなことに、MicrosoftはCFBと他のすべての「上部構造」形式の両方のドキュメントを数年にわたって公開しています。

情報がCFBファイルにどのようにパックされるかを理解してみましょう。ファイル全体はセクターに分割されます-各512バイト（新しい、4番目のバージョンでは、セクターサイズは4096バイトになります）。最初のセクターはファイルヘッダーです。これは上記のスクリーンショットで見たものです。これ（ヘッダー）には、ファイルから読み取る方法、内容、および順序に関するすべての情報が含まれています。

ファイル内のデータは、同じ512バイトのセグメント（FAT）に格納されます。セクターセグメントに十分なスペースがない場合、残りのデータはチェーン内の次のデータに転送されます。チェーンセクターは、ファイル全体に散在している可能性があります（つまり、上記のようにファイルを断片化できます）。セクターチェーンの整合性を維持するために、すべてのデータが読み取られていない場合に現在のセクターから切り替えるセクターを含む特別なセクターがあります。チェーンの終わりは、特別な単語ENDOFCHAIN = 0xFFFFFFFE

によって特徴付けられます。

一部のデータでは512バイトが非常に大きくなる可能性があるため、ミニFATと呼ばれる「ミニチュア」セクターがあります。ミニFATセクターの長さは64バイトであるため、このような小さなセグメントは8個（または64個）が1つのFATセクターに収まります。 FATまたはミニFATの選択は、現在のデータの全長に基づいています。 4096バイト（ファイルヘッダーのパラメーターの1つ）未満の場合、mini FATを使用する価値があります。それ以外の場合はFATです。

CFBファイル内のデータは何も積み上げられていません-ルートエントリの特別な「ファイルエントリ」にルートを持つツリー構造に構造化されています。各エントリの長さは128バイト（4または32エントリが1つのFATセグメントに収まる）で、その名前、タイプ（ストレージ-ストレージ、ストリーム-ストリーム、ルートストレージ-ルートストレージ、空のスペース-未使用）、子および「兄弟」によって特徴付けられます要素、赤と黒の木の色。さらに、ストリームおよびルート要素の場合、コンテンツのオフセットや長さなどのパラメーターが発生します。

したがって、FSへの各エントリは、「それに添付されたコンテンツ」によって特徴付けられます。ストリームの場合、これはルート要素（ミニFATファイル）に保存されたデータになります。

さらに、ファイルにはDIFATと呼ばれる構造があり、FATシーケンスのチェーンを持つセクターへのリンクを保存します。最初の109個のDIFATリンクはファイルヘッダーの最後にあり、最大8.5 MBのファイルを「提供」できます。これが十分でない場合、ヘッダーには追加のDIFATセクターへのリンクを含めることができます。

この情報は、CFBファイルで発生しているすべての混乱と揺れを簡単に特徴づけます。形式は、原則としてかなりよく文書化されています（リンクはトピックの最後にいつもどおりです）。マニュアルを思慮深く綿密に読むだけで十分です。この記事の目的は、CFBファイルの操作に関する完全な説明ではありませんでしたので、主なことに移りましょう-このすべてからドキュメントを読む方法...

Docまたは彼らは私のオフセットを盗んだ

そもそも、3回目の試行でのみcfbとともにドキュメント解析を記述したと言えます。その前に、何かがどういうわけかあまりよく読めませんでした。そして、ドキュメントに従ってすべてを行わなければならなかった理由ですが、... CFBでこれが大きな問題を引き起こさない場合（手動言語としての英語を除く）、DOCの問題が提供されます。

まず、DOCのファイルシステムを読み取り、その中のテキストデータを探しています。まあ、仕様を開いたマイクロソフトは私たちに贈り物をし、そうする機会を与えてくれました。これを行うには、CFBファイルの要素のツリー構造内の2つのエントリのみを使用します。「 WordDocument

」というストリームと、状況に応じて「 0Table

」または「 0Table

」というストリームです。

最初のストリームにはWord文書のテキストが含まれていますが、取得できません。すべてがひどくバイナリであり、逆バイト順のUnicodeエンコーディングのその他すべて（すべてのCFBファイルのように、注目に値します）。この点に関して、まず、WordDocumentストリームの先頭にあり、バージョンからバージョンへと書き込まれるFIB（ ファイル情報ブロック）からいくつかのフィールドを読み取ります（Word 97では、このタイトルは約700バイトでしたが、2007年^にはすでに2000以上でした）。

まず、オフセット0x000A

のワードを読み取ります。 0x000A

、 0x0200

ビットを見つけます。このビットの単位は、 0Table

テーブルを処理し、 0Table

を処理することを0Table

ます。両方のテーブルを持つファイルに出くわしたことは注目に値するので、いずれにせよビットを読む必要があります。

次に、CLXを見つける必要があります-最もお尻以前に選択したプレートの1つの重要な部分。このCompLeX

構造体は、WordDocumentストリームにテキストデータのシーケンスのオフセットと長さを格納します。 CLXの長さとオフセットは、ドキュメントフローFIBの0x01A2

および0x01A6 DWORDにあります。この情報を受け取った後、テーブルストリームからCLXを読み取り、プラグを見つけました...

実際、CLXには、可変サイズの2つの完全に異なるデータ構造（不要なRgPrcと重要なPlcPcd）が含まれています。実際、PgPrcの長さはゼロまたは任意のいずれかです。幸いなことに、ドキュメントには最初のデータを2番目のデータから切り離す方法が記載されていないため、最終的なコードでは何らかの奇妙な方法で松葉杖を書く必要がありました。

PlcPcdまたは名前でより適切なピーステーブルを受け取った後、この配列を2つに分割できます：配列lcb _i = cp _i+1 - cp _i

テキストピースの長さ（ lcb _i = cp _i+1 - cp _i

）およびpcd（ピース記述子）。後者のそれぞれには、WordDocumentストリームのオフセットとfCompress

特性に関する情報（この部分がUnicodeで圧縮されているか、ANSI（Windows-1252）であるか）が含まれています。

結果として生じるピースでは、オブジェクトや画像の挿入など、いくつかの制御文字が発生する場合があります。私のコードでは、それらの一部が削除されます。残りの特殊文字の解析は読者に任せます。

コードオプション

さて、いつものように、コードの一部とソースへのリンク：

クラスドキュメントは cfbを拡張します {
パブリック関数解析（） {
親:: 解析（） ;
$ wdStreamID = $ this- > getStreamIdByName （ "WordDocument" ） ;
if （ $ wdStreamID === false ） { falseを返す ; }
$ wdStream = $ this- > getStreamById （ $ wdStreamID ） ;
$バイト = $ this- > getShort （ 0x000A 、 $ wdStream ） ;
$ fComplex = （ $バイト＆ 0x0004 ） == 0x0004 ;
$ fWhichTblStm = （ $バイト＆ 0x0200 ） == 0x0200 ;
$ fcClx = $ this- > getLong （ 0x01A2 、 $ wdStream ） ;
$ lcbClx = $ this- > getLong （ 0x01A6 、 $ wdStream ） ;
$ ccpText = $ this- > getLong （ 0x004C 、 $ wdStream ） ;
$ ccpFtn = $ this- > getLong （ 0x0050 、 $ wdStream ） ;
$ ccpHdd = $ this- > getLong （ 0x0054 、 $ wdStream ） ;
$ ccpMcr = $ this- > getLong （ 0x0058 、 $ wdStream ） ;
$ ccpAtn = $ this- > getLong （ 0x005C 、 $ wdStream ） ;
$ ccpEdn = $ this- > getLong （ 0x0060 、 $ wdStream ） ;
$ ccpTxbx = $ this- > getLong （ 0x0064 、 $ wdStream ） ;
$ ccpHdrTxbx = $ this- > getLong （ 0x0068 、 $ wdStream ） ;
$ lastCP = $ ccpFtn + $ ccpHdd + $ ccpMcr + $ ccpAtn + $ ccpEdn + $ ccpTxbx + $ ccpHdrTxbx ;
$ lastCP + = （ $ lastCP ！= 0 ） + $ ccpText ;
$ tStreamID = $ this- > getStreamIdByName （ intval （ $ fWhichTblStm ）。 "Table" ） ;
if （ $ tStreamID === false ） { falseを返す ; }
$ tStream = $ this- > getStreamById （ $ tStreamID ） ;
$ clx = substr （ $ tStream 、 $ fcClx 、 $ lcbClx ） ;
$ lcbPieceTable = 0 ;
$ pieceTable = "" ;
$ pieceCount = 0 ;
$ from = 0 ;
while （（ $ i = strpos （ $ clx 、 chr （ 0x02 ）、 $ from ））！== false ） {
$ lcbPieceTable = $ this- > getLong （ $ i + 1 、 $ clx ） ;
$ pieceTable = substr （ $ clx 、 $ i + 5 ） ;
if （ strlen （ $ pieceTable ）！= $ lcbPieceTable ） {
$ from = $ i + 1 ;
続ける ;
}
休憩 ;
}
$ cp = array （） ; $ i = 0 ;
while （（ $ cp [ ] = $ this- > getLong （ $ i 、 $ pieceTable ）））！= $ lastCP ）
$ i + = 4 ;
$ pcd = str_split （ substr （ $ pieceTable 、 $ i + 4 ）、 8 ） ;
$ text = "" ;
for （ $ i = 0 ; $ i < count （ $ pcd ） ; $ i ++ ） {
$ fcValue = $ this- > getLong （ 2 、 $ pcd [ $ i ] ） ;
$ isANSI = （ $ fcValue ＆ 0x40000000 ） == 0x40000000 ;
$ fc = $ fcValue ＆ 0x3FFFFFFF ;
$ lcb = $ cp [ $ i + 1 ] - $ cp [ $ i ] ;
if （！ $ isANSI ）
$ lcb * = 2 ;
他に
$ fc / = 2 ;
$ part = substr （ $ wdStream 、 $ fc 、 $ lcb ） ;
if （！ $ isANSI ）
$ part = $ this- > unicode_to_utf8 （ $ part ） ;
$ text = $ part ;
}
$ textを返します。
}
}

GitHubにコメントを付けてコードを取得できます。

文学

しない方法：

オブニンスクのマックスブラウンのオプション

トピック「すべての費用でのテキスト」に関する他の記事へのリンク：

すべての費用でテキスト：WCBFFおよびDOC

CFBまたは小さなファイルシステム

Docまたは彼らは私のオフセットを盗んだ

コードオプション

文学

More articles: