AIのためのドキュメント解析：PDF、表、そして厄介な残り

文書を扱うAIプロジェクトの多くは、ある静かな破綻点を共有しています。そしてそれはほぼ例外なくモデルではありません。モデルの手前の工程、すなわちPDFやスキャンされた書式、表計算ファイルを、モデルが実際に読めるきれいなテキストに変える工程です。これがドキュメント解析であり、パイプライン全体の中で最も地味で、最も過小評価されている部分です。AIシステムが文書について奇妙な答えを返すとき、その原因は混乱したモデルよりも、文字化けした入力であることのほうがはるかに多いのです。本記事は、なぜこの工程が難しく、どこで壊れ、どう上手にこなすかを考えるためのものです。

文書はテキストではない

難しさの根は、人がめったに気づかないあるミスマッチにあります。モデルはテキストの線形な流れ――順番に並んだ一つひとつ――を読みます。文書、とりわけPDFは、そのようには保存されていません。PDFはページ上のどこに印が置かれるかを記述します。このグリフをこの位置に、この線をこの位置に、と。それらの印が段落を成すこと、このブロックが見出しであること、整列したこれらの数字が表であることは、必ずしも記録されていません。視覚的な意味は人の目には明らかでも、素朴なテキスト抽出器には見えないのです。

ですから解析とは、実のところ再構築です。解析器は配置された印を見て、人間が瞬時に見て取る論理構造――読む順序、段落、段組み、見出し、リスト、表――を復元しなければなりません。その再構築がうまくいけば、モデルはきれいで順序の整ったテキストを受け取り、まともに振る舞います。うまくいかなければ、モデルはぐちゃぐちゃの混乱を受け取り、ぐちゃぐちゃの答えを生み出します――そしてその失敗は、実際には一つ上流の解析の問題なのに、モデルの問題のように見えるのです。

簡単なものから過酷なものまでのスペクトル

すべての文書が同じだけ難しいわけではなく、自分の文書がどこに位置するかを知れば、現実的な期待を持てます。

簡単な側にあるのはボーンデジタル（最初からデジタルで作られた）のテキストベースの文書です。ワープロから書き出されたPDF、HTMLページ、プレーンテキストファイル。テキストは本当に存在し、それなりに順序立っており、抽出はおおむね信頼できます。とはいえここでも、複数段組みやサイドバーといったレイアウトの特徴が、本来分けておくべきテキストを織り交ぜてしまい、素朴な抽出器をつまずかせることがあります。

難しい側にあるのはスキャンされた文書やテキストの画像です。撮影された契約書、ファクスされた書式、古い報告書のスキャン。ここにはテキストはまったくなく、画素だけがあり、画像から文字を復元するには光学文字認識（OCR）が必要です。OCRは飛躍的に向上しましたが、質の悪いスキャン、珍しいフォント、手書き、低コントラストには依然として不完全で、その誤りは下流のすべてに静かに伝播します。

過酷な中間に座っているのは、一見単純そうでそうではない文書です。複雑な複数段組みレイアウトのPDF、構造が意味を担う書式、そして何より、表を含むあらゆるもの。現実の文書集合のほとんどはこの3種類の混在であり、だからこそテスト用ファイルを完璧にこなす解析器が、集合全体では苦戦しうるのです。

パイプラインは表で息絶える

表は独立した節に値します。他のどれよりも多くのドキュメントパイプラインを壊すからです。表の意味は、その二次元構造――セルと、その行、その列見出しの関係――に完全に宿っています。それをテキストの線形な流れに平坦化すると、意味は蒸発します。「売上」と「412」と「2019」は、412が2019年の売上だと何かが保っていなければ、無意味な断片です。

素朴な抽出器は、印がたまたま保存されている順に表を読み、数字が見出しから切り離されたごちゃ混ぜをよく生み出します。するとモデルは切り離された値を見て、関係を推測するか、でっち上げます――まさに、システム全体への信頼を損なう、自信満々で間違った答えの典型です。表をうまく扱うとは、ある領域が表であることを検出し、その行と列を復元し、セルを見出しに結びつけ続ける形で表現することです。これは本当に難しく、汎用解析器が最も頻繁に力及ばずとなる場所であり、文書に表が多いなら、期待で済ませず専用の対応を割く価値があります。

アプローチと、それぞれの得意分野

唯一正しいツールはありません。理にかなったアプローチははしごを成しており、文書が要求するところまでだけ登ればよいのです。

• 直接テキスト抽出。 ボーンデジタルのテキストベースのファイルなら、埋め込まれたテキストを直接引き出します。文書が協力的なときは、速く、安く、正確です。常にこれを最初に試し、必要としない文書に重たい仕掛けを持ち出さないこと。
• OCR。 テキストが画素に閉じ込められているとき――スキャンや画像――OCRは避けられません。良いが完璧ではない結果を見込み、品質が元画像の品質を密接に追うことを見込んでください。
• レイアウト認識解析。 複雑なレイアウトや表には、文字だけでなく文書の構造をモデル化するツールが、読む順序や表の関係の保持で著しく勝ります。過小評価されたパイプラインに欠けているのは、たいていこの段です。
• 視覚対応モデル。 ページの画像を直接受け取り、レイアウトも含めてその内容を解釈できるモデルもあります。従来の解析器を打ち負かす厄介な文書で輝きうりますが、コストは高く、あらゆるモデル出力に向けるのと同じ用心が要ります。読み間違えうるので、検証しましょう。

実践的な打ち手は、すべてに一つのツールを選ぶのではなく、文書にアプローチを合わせることです。きれいなデジタル報告書の集まりと、スキャンされた書式の束は別々の扱いを欲しており、両方を一つの道に押し込めば、どちらかが必ず犠牲になります。

チャンク分割：解析の後に来て、解析が決める工程

解析で旅が終わることはまれです。ほとんどのAIドキュメントシステムでは、テキストはその後、検索のためにチャンクへ分割され、その分割の質は、解析が構造を保持したかどうかに完全に依存します。解析器が段落、セクション、表を復元していれば、意味のある境界に沿って分割し、関連する内容をまとめておけます。区別のないテキストの壁を生んでいれば、当てずっぽうに分割するしかなくなります――表を真っ二つにし、見出しをそのセクションから切り離し、文を孤立させて。モデルが生の解析結果を見ないときでさえ解析の質が重要なのは、これが理由です。きれいな解析がきれいなチャンク分割を可能にし、きれいなチャンク分割こそが、検索に正しい文脈を浮かび上がらせます。解析工程のゴミは封じ込められたままにはなりません。後続のすべての工程で複利的に膨らむのです。

検証せよ、失敗は静かだから

ドキュメント解析の最も危険な性質は、その失敗が静かなことです。誤動作するモデルは目立ちます。列を一つ落とし、表をかき乱し、あるセクションを黙って飛ばす解析器は、一見問題なく見える出力を生み出します――誰かが、壊れた入力から作られた答えに基づいて行動するまでは。防御策は、解析器を他のあらゆる信頼できないコンポーネントと同じように扱うことです。元の文書と照らして出力を抜き取り検査する、とりわけ表や複雑なレイアウトで。抽出された値がもっともらしい範囲に収まるか妥当性を確かめる。そして、合わない数字や消えたセクションといった、解析失敗の兆候に目を光らせる。解析の誤りの代償は、解析の誤りではありません。自信ありげに聞こえたから誰も疑わなかった、間違った答えなのです。

まとめ

ドキュメント解析は、どんなドキュメントAIシステムの出来栄えをも静かに左右する、地味な工程です。文書はテキストではなく、再構築されねばならない構造であり、その再構築はきれいなデジタルファイルなら簡単で、スキャンなら難しく、表なら過酷です。すべてに一つのツールを押し付けるのではなく、文書にアプローチを合わせましょう――直接抽出、OCR、レイアウト認識解析、視覚モデル。解析の質は伝播することを忘れずに。きれいな解析はきれいなチャンク分割と良い検索を可能にし、悪い解析は下流のすべてを汚染します。そして出力を検証しましょう。解析は静かに失敗し、自信に満ちた間違った答えは最も高くつく類いだからです。この工程を正しくこなせば、モデルには本当のチャンスがあります。間違えれば、どんなモデルもあなたを救えません。