tika提取html,TIKA内容提取

Tika使用不同的解析器库来提取给解析器的内容。它选择了正确的语法分析器提取给定的文档类型。

解析文件，一般用于Tika外观facade类的parseToString()方法。下面显示的是所涉及分析过程的步骤和这些由Tika的ParsertoString()方法提取。

抽象的分析过程：

最初，当我们传一个文件到Tika，它使用与之适合的类型检测机制和检测文件类型。

一旦文档类型是已知的，它选择从解析器库中合适的解析器。解析器库中包含的类使用外部库。

然后将文档传送到选择将解析的内容，提取文本，并且还抛出了不可读格式异常解析器。

使用Tika内容提取

下面给出的是程序使用Tika facade 类从文件中提取文本：

importjava.io.File;importjava.io.IOException;importorg.apache.tika.Tika;importorg.apache.tika.exception.TikaException;importorg.xml.sax.SAXException;publicclassTikaExtraction{publicstaticvoidmain(finalString[]args)throwsIOException,TikaException{//Assume sample.txt is in your current directoryFilefile=newFile(“sample.txt”);//Instantiating Tika facade classTikatika=newTika();Stringfilecontent=tika.parseToString(file);System.out.println(“Extracted Content: “+filecontent);}}

将以上代码保存为TikaExtraction.java并在命令提示符下运行：

javacTikaExtraction.java

javaTikaExtraction

注意：假设 sample.txt 是具有下列内容。

Hi students welcome to yiibai

它提供了以下的输出：

Extracted Content: Hi students welcome to yiibai

使用Parser接口内容提取

Tika 解析器包提供了使用它可以分析一个文本文档的几个接口和类。下面给出的是org.apache.tika.parser包的框架图。

有几个可用的解析器类，如PDF格式分析器，Mp3Passer，OfficeParser等，逐一分析各自的文件。所有这些类都实现了解析器接口。

CompositeParser

给出的图表显示Tika通用解析器类CompositeParser 主AutoDetectParser。由于CompositeParser类遵循复合设计模式，可以用一组解析器实例作为一个单独的解析器。CompositeParser类也可以访问所有实现解析器接口的类。

AutoDetectParser

这是CompositeParser的子类，它提供了自动类型检测。使用此功能，AutoDetectParser自动发送收到的文件到使用该复合方法适当分析器类。

parse()方法

除了parseToString()，还可以使用分析器接口的parse()方法。该方法的原型如下所示。

下表列出了它接受作为参数的四个对象。

S.No.

对象及描述

1

InputStream stream

包含任何文件的InputStream对象的内容

2

ContentHandler handler

Tika通过文档作为XHTML内容到此处理，此后该文件正在使用SAX API处理。它提供了在一个文件有效的后处理的内容。

3

Metadata metadata

元数据对象是用来既作为源和文件的元数据的目标。

4

ParseContext context

此对象使用在如遇有客户端应用程序想要定制解析过程。

例如：

下面给出一个例子，说明如何使用 parse()方法。

步骤 1：

要使用解析器接口的parse()方法，实例化任何为其提供实现这个接口的类。

也有个别解析器类，如PDFParser，OfficeParser，XMLParser等等。可以使用这些个人文件解析器。或者也可以使用CompositeParser或AutoDetectParser在内部使用的所有解析器类，并提取使用合适的解析器文档的内容。

Parserparser=newAutoDetectParser();(or)Parserparser=newCompositeParser();(or)objectof any individual parsers giveninTikaLibrary

步骤 2：

创建一个处理类的对象。下面给出的是三个内容处理程序：

S.No.

类及描述

1

BodyContentHandler

这个类采用XHTML输出的主体部分，并写入该内容到输出写入或输出流。然后重定向XHTML内容到另一个内容处理程序实例。

2

LinkContentHandler

这个类检测，并挑选XHTML文档的所有H-参考标签和转发那些使用类似网络爬虫工具。

3

TeeContentHandler

这个类可以帮助在同时使用多个工具。

由于我们的目标是要提取的文件的文本内容，实例化BodyContentHandler如下图所示：

BodyContentHandlerhandler=newBodyContentHandler();

步骤  3：

创建的元数据对象，如下所示：

Metadatametadata=newMetadata();

步骤  4：

创建任何输入流对象，并通过您的文件应该被提取到它。

FileInputstream

通过将文件路径作为参数实例化一个文件对象，这个对象传递给的FileInputStream类的构造函数。

注意：传递给文件对象的路径不应包含空格。

使用这些输入流类的问题是，它们不支持随机访问读取，来高效地处理某些文件格式是必需。要解决此问题，Tika提供TikaInputStream。

Filefile=newFile(filepath)FileInputStreaminputstream=newFileInputStream(file);(or)InputStreamstream=TikaInputStream.get(newFile(filename));

步骤 5：

创建一个解析的上下文对象，如下所示：

ParseContextcontext=newParseContext();

步骤 6：

实例化解析器对象，调用parse方法，并通过所有需要的对象，如下面的原型：

parser.parse(inputstream,handler,metadata,context);

下面给出的是程序使用的解析器接口内容提取：

importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importorg.apache.tika.exception.TikaException;importorg.apache.tika.metadata.Metadata;importorg.apache.tika.parser.AutoDetectParser;importorg.apache.tika.parser.ParseContext;importorg.apache.tika.parser.Parser;importorg.apache.tika.sax.BodyContentHandler;importorg.xml.sax.SAXException;publicclassParserExtraction{publicstaticvoidmain(finalString[]args)throwsIOException,SAXException,TikaException{//Assume sample.txt is in your current directoryFilefile=newFile(“sample.txt”);//parse method parametersParserparser=newAutoDetectParser();BodyContentHandlerhandler=newBodyContentHandler();Metadatametadata=newMetadata();FileInputStreaminputstream=newFileInputStream(file);ParseContextcontext=newParseContext();//parsing the fileparser.parse(inputstream,handler,metadata,context);System.out.println(“File content : “+Handler.toString());}}

将以上代码保存为 ParserExtraction.java 并在命令提示符下运行：

javacParserExtraction.java

javaParserExtraction

假设 sample.txt 包含以下内容。

Hi students welcome to yiibai

它提供了以下的输出：

File content : Hi students welcome to yiibai

¥ 我要打赏

纠错/补充

收藏

加啦，易百教程官方技术学习群

注意：建议每个人选自己的技术方向加群，同一个最多限加 3 个群。