利用Minidx Extract-Text Com组件从doc,Xls,Pdf……等读取文本内容VC Demo

By Minidxer | January 10, 2008

《利用Minidx Extract-Text Com组件从Word,Xls,Pdf……等文件中读取文本内容》中具体的说明了Vb.Net中调用Minidx Extract-Text Com组件对Word,Excel,Pdf等各种文件进行文本抽取的用法。结果很多人都发邮件过来询问C++中如何调用（一些邮件会被Gmail判断为垃圾邮件……强烈建议有问题直接在本文后面留言或在这里提问，这样也可以减轻一点我的工作量，不必挨个回复）。抽空作了一个VC的Demo，工程用VS2005创建的，Unicode版本。下面对Demo稍微做一些说明，一些基本原理直接参照《利用Minidx Extract-Text Com组件从Word,Xls,Pdf……等文件中读取文本内容》就可以了，这里不再重复。

●Demo(VC++)源代码从这里下载(相关文档资料分类中的“Doc,Xls,Pdf等文件中抽取文本的Com组件及Demo(VC++)源代码”)

●执行Demo

①、双击run.bat执行，注册Com组件

②、双击demo_vc\release或者demo_vc\debug目录下的demo_vc.exe

③、点“File”，选择对象文件（ex: 从demo_vc\test-data中选择）

④、选中文件，查看抽取文本结果。（下面分别是中日英Word的抽取结果）

注意:抽取文本对象文件需要有读写权限，正在编辑中的文件抽取文本时可能会出错。

●实际调用方法：

①、复制下面三个文件到自己工程的相应目录下

・ExtractText.dll
・ExtractText.h
・ExtractText_i.c

②、在需要的文件中用下面的代码引入

#include “ExtractText.h”
#include “ExtractText_i.c”

③、抽取文本部分代码：

   1:  ITextExtractor *te = NULL;

   2:  // Declare and HRESULT and a pointer to the Simple_ATL interface

   3:  HRESULT            hr;

4:

   5:  // Now we will intilize COM

   6:  hr = CoInitialize(0);

   7:  BSTR fileName = ::SysAllocString(strFileName);

   8:  if(SUCCEEDED(hr))

   9:  {

  10:  hr = CoCreateInstance( CLSID_TextExtractor, NULL, CLSCTX_INPROC_SERVER,

  11:  IID_ITextExtractor, (void**) &te);

12:

  13:  hr = te->ExtractText(fileName, (long)lFileSize, &cval);

  14:  if( cval ) txt_extract_text.SetWindowText(cval);

15:

  16:  hr = te->Release();

  17:  }

  18:  // Uninitialize COM

  19:  CoUninitialize();

当然，也可以通过GetProcAddress的方式导入函数，函数的接口请参照ExtractText.h，LoadLibrary方式的使用方法也很简单，有兴趣的可以自己做着试试看，这里不再重复说明了。同样的，有什么问题可以直接在这里留言或者在Minidx帮助论坛发贴寻找帮助。该模块可用于任何商业和非商业的用途，如果你愿意的话，可以发一个邮件给我告诉我这一模块被用在了你的项目中，那么当你取得成功的时候，我也可以向我的朋友们吹嘘一下，当然这不是必需的，：）

Topics: Minidx相关 | 49 Comments » | 517 views Tags: C++, Com组件, doc, Extract Text, IFilter, indexing service, Minidx, pdf, VC.net, xls, 搜索引擎

49 comments | Add One

sofish - 01/10/2008 at 6:45 pm
有时候这里访问变得很慢…
Minidxer - 01/10/2008 at 7:02 pm
@sofish
国内的国际带宽限制吧。
我这里一直都是很快的……非常快
!CnSoLoer - 01/10/2008 at 8:29 pm
绝对的高手，因为我一点都看不懂，啊哈哈，服务器跟人都在日本？
Minidxer - 01/10/2008 at 8:37 pm
@!CnSoLoer
失败……绝对的失败,呵呵
服务器在美国,Godaddy的，开始的时候拜托朋友们测试过一些国家和地区的访问速度，都说速度很快……
人在东京

@sofish
你那里每次访问这里速度都很慢吗？
sorryle - 01/10/2008 at 9:48 pm
我国内网通的，一直都很快。
!CnSoLoer - 01/10/2008 at 10:06 pm
东京好啊，听同学说日本人从来不穿衣服的，因为丫长这么大还没有见过穿衣服的日本人，啊哈哈
Minidxer - 01/10/2008 at 10:43 pm
@sorryle
网通的国际出口好像比较快,我访问网通的站点速度也不错.

@!CnSoLoer
从来不穿衣服…美女的话当然没问题,dafeipo或者laotaitai，那可让人受不了……
Qipeng Tian - 03/20/2008 at 9:14 am
不晓得windows 2003是否支持，我在xp上测试没问题，但是在windows 2003上开发时，报以下错误

未处理 System.Runtime.InteropServices.COMException
Message=”检索 COM 类工厂中 CLSID 为 {A2083621-FD63-4F37-ABF3-A4A4FEB0EFD4} 的组件时失败，原因是出现以下错误: 80040154。”
Source=”TQP.ExtractText”
ErrorCode=-2147221164
StackTrace:
在 TQPExtractText.MyIFilter..ctor()
在 DataDig.MainFrm.运行ToolStripMenuItem1_Click(Object sender, EventArgs e) 位置 D:\Mike的程序\数据挖掘\DataDig\DataDig\MainFrm.cs:行号 122
在 System.Windows.Forms.ToolStripItem.RaiseEvent(Object key, EventArgs e)
在 System.Windows.Forms.ToolStripMenuItem.OnClick(EventArgs e)
在 System.Windows.Forms.ToolStripItem.HandleClick(EventArgs e)
在 System.Windows.Forms.ToolStripItem.HandleMouseUp(MouseEventArgs e)
在 System.Windows.Forms.ToolStripItem.FireEventInteractive(EventArgs e, ToolStripItemEventType met)
在 System.Windows.Forms.ToolStripItem.FireEvent(EventArgs e, ToolStripItemEventType met)
在 System.Windows.Forms.ToolStrip.OnMouseUp(MouseEventArgs mea)
在 System.Windows.Forms.ToolStripDropDown.OnMouseUp(MouseEventArgs mea)
在 System.Windows.Forms.Control.WmMouseUp(Message& m, MouseButtons button, Int32 clicks)
在 System.Windows.Forms.Control.WndProc(Message& m)
在 System.Windows.Forms.ScrollableControl.WndProc(Message& m)
在 System.Windows.Forms.ToolStrip.WndProc(Message& m)
在 System.Windows.Forms.ToolStripDropDown.WndProc(Message& m)
在 System.Windows.Forms.Control.ControlNativeWindow.OnMessage(Message& m)
在 System.Windows.Forms.Control.ControlNativeWindow.WndProc(Message& m)
在 System.Windows.Forms.NativeWindow.DebuggableCallback(IntPtr hWnd, Int32 msg, IntPtr wparam, IntPtr lparam)
在 System.Windows.Forms.UnsafeNativeMethods.DispatchMessageW(MSG& msg)
在 System.Windows.Forms.Application.ComponentManager.System.Windows.Forms.UnsafeNativeMethods.IMsoComponentManager.FPushMessageLoop(Int32 dwComponentID, Int32 reason, Int32 pvLoopData)
在 System.Windows.Forms.Application.ThreadContext.RunMessageLoopInner(Int32 reason, ApplicationContext context)
在 System.Windows.Forms.Application.ThreadContext.RunMessageLoop(Int32 reason, ApplicationContext context)
在 System.Windows.Forms.Application.Run(Form mainForm)
在 DataDig.Program.Main() 位置 D:\Mike的程序\数据挖掘\DataDig\DataDig\Program.cs:行号 17
在 System.AppDomain.nExecuteAssembly(Assembly assembly, String[] args)
在 System.AppDomain.ExecuteAssembly(String assemblyFile, Evidence assemblySecurity, String[] args)
在 Microsoft.VisualStudio.HostingProcess.HostProc.RunUsersAssembly()
在 System.Threading.ThreadHelper.ThreadStart_Context(Object state)
在 System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
在 System.Threading.ThreadHelper.ThreadStart()
Minidxer - 03/20/2008 at 9:57 am
@Qipeng Tian
看错误信息应该是找不到这个Com组件，上面的第一步注册时是否正常？
pp - 03/25/2008 at 5:06 pm
正在生成代码…
正在编译…
ExtractText_i.c
e:\lab\\ExtractText_i.c(66) : warning C4005: “MIDL_DEFINE_GUID” : 宏重定义
e:\lab\ExtractText_i.c(43) : 参见“MIDL_DEFINE_GUID”的前一个定义
e:\lab\ExtractText_i.c(83) : fatal error C1010: 在查找预编译头指令时遇到意外的文件结尾
在vc2005上测试没有问题，在2003上却冒出这个问题。
不知道哪里没设置好。包含”stdfax.h”也不行。
Minidxer - 03/25/2008 at 5:23 pm
这个错误一般就是没有包含#include “stdafx.h”吧。
cpp文件中都已经 #include “stdafx.h” 还是一样的错误的话，那在 ExtractText_i.c 中也加入试试看。
Minidxer - 03/25/2008 at 5:27 pm
还有一个方法是
工程的 “创建\使用预编译头”属性改为“不使用预编译头”
pp - 03/25/2008 at 10:03 pm
谢谢，vc2003中加入stdafx.h后，ExtractText_i.c(23)：fatal error C1853: “Debug/desktop-search4w.pch”预编译头文件来自编译器的早期版本，或者预编译头为 C++ 而在 C 中使用它(或相反)
是不是vs2003中少了什么设置，ExtarctTetx_i.c这个文件在vs2005中貌似不参加编译的，因为build中没有complie选项，但是在vs2003中却参加了编译。不知是怎么回事。
Minidxer - 03/25/2008 at 10:28 pm
“不使用预编译头”的设置呢？也不可行吗？
这个其实纯粹是编译器上的区别，和Com组件应该没有关系的……
还是不行的话过两天我抽空做一个VS2003的DEMO放出来吧。
Minidxer - 03/29/2008 at 9:34 pm
VS2003的工程请参照：
http://blog.minidx.com/2008/03/29/655.html
pp - 04/2/2008 at 8:37 pm
我在程序中使用抽取文本的com组件在函数中能能够能够使用，因为要多次调用现在我想在一个类中封装使用以减少初始化的开销
ITextExtractor *te = NULL;
HRESULT hr;
hr = CoInitialize(0);

if(SUCCEEDED(hr))
{
hr = CoCreateInstance( CLSID_TextExtractor, NULL, CLSCTX_INPROC_SERVER, IID_ITextExtractor, (void**) &te);
}
被封装进类的构造函数中，hr,te为成员变量
CoUninitialize();
hr = te->Release();
被封装进析构函数中。
但是我在其它成员函数中调用 hr = te->ExtractText(fileName, (long)lFileSize, &cval)；失败，调试的时候te指向一个地址。但是抽取
不了内容，不知为何。
我猜想是不是CoCreateInstance()调用后，te指向的地址是不是变动了，是不是需用重新使用什么queryinterface()函数？还望指教？谢谢！
Minidxer - 04/2/2008 at 9:00 pm
是不是你的封装类中stack和heap问题？
方便的话把你写的这个部分代码让我看看
pp - 04/3/2008 at 9:41 am
CScan::CScan(void)
{
m_pTE = NULL;
m_hr = CoInitialize(0);

if(SUCCEEDED(m_hr))
{
m_hr = CoCreateInstance( CLSID_TextExtractor, NULL, CLSCTX_INPROC_SERVER,IID_ITextExtractor, (void**) &m_pTE);
}
}
CScan::~CScan(void)
{
m_hr =m_pTE->Release();
// Uninitialize COM
CoUninitialize();
}
提取文本的成员函数：
bool CScan::extractText(const tchar* path,char** content)
{
CString strFileName(path);

BSTR fileName = strFileName.AllocSysString();
BSTR cval = NULL; // extracted text
// Now we will intilize COM
m_hr = m_pTE->ExtractText(fileName, (long)1000, &cval);
if (cval)
{
*content = _com_util::ConvertBSTRToString(cval);
SysFreeString(cval);
return true;
}
else return false;
}
调试到m_hr = m_pTE->ExtractText(fileName, (long)1000, &cval)时
cval是空指针。
Minidxer - 04/4/2008 at 8:54 am
问题应该出在CoCreateInstance上吧，CoCreateInstance是系统只保存一个COM实例的时候使用的，并且Com组建只要初始化一次就可以了。创建多个的应该是CoGetClassObject，或者你可以用单一模式/单态模式(Singleton)实现试试看

上面的分析我没有动手实际确认过，所以期待你的反馈。有时间的话我会做一个封装类的Sample发布。
pp - 04/4/2008 at 11:49 am
强烈赞扬老大这种精神。
我就是用的单件模式实现cscan类的。实例通过静态public函数返回
static CScan* getInstance()
{
static CScan INSTANCE;
return &INSTANCE;
}
现在就是说：
bool CScan::extractText(const tchar* path,char** content)
{
CString strFileName(path);
BSTR fileName = strFileName.AllocSysString();
BSTR cval = NULL; // extracted text

m_pTE = NULL;
m_hr = CoInitialize(0);
if(SUCCEEDED(m_hr))
{
m_hr = CoCreateInstance( CLSID_TextExtractor, NULL, CLSCTX_INPROC_SERVER, IID_ITextExtractor, (void**) &m_pTE);
}
m_hr = m_pTE->ExtractText(fileName, (long)1000, &cval);

m_hr =m_pTE->Release();
// Uninitialize COM
CoUninitialize();
if (cval)
{
*content = _com_util::ConvertBSTRToString(cval);
SysFreeString(cval);
return true;
}
else return false;
}
这样是可以成功的，但是由于扫描调用函数太频繁。由于com对象不断创建释放。慢的难以忍受。
所以想一次初始化，重复使用。从道理上讲是可以的，因为dll已经载入到进程内。但是简单把初始话封装到构造和析构函数行不通。问题肯定是出在cocreateInstance()函数身上。可能就是每次调用函数结束，cocreateInstance()返回的函数指针指向的空间被释放了?也就是上述中m_pTE指向的地址被释放了？
不知道有没有其他的api防止这一点。
还请指教。
Minidxer - 04/13/2008 at 11:00 pm
@pp
参考下面的文章吧:

http://blog.minidx.com/2008/04/13/712.html
重复使用并没有问题.
Zuckle8181 - 08/29/2008 at 4:34 pm
我使用它，对eml中的文本信息进行提取，中文效果很好，可是日文，却显示乱码，请问怎么能使日文正常显示
Minidxer - 08/29/2008 at 4:40 pm
@Zuckle8181
显示的时候你是用什么编码显示的？
抽取出来的文本是Unicode编码的，ASCII模式下的话将会是乱码
mybvc - 12/10/2008 at 2:40 pm
你好，我用这个代码可以抽取office系列和文本系列，但不能抽取pdf，请问是什么原因呢？

小弟最近被pdf抽取给难住了，试了很多种方法，pdfbox、itext、xpdf等等，都存在各种问题。承蒙指教，谢谢
Minidxer - 12/10/2008 at 2:46 pm
@mybvc
可能你的机器上没有安装PDF的Ifilter吧
到这里下载就可以了：
http://www.adobe.com/support/downloads/detail.jsp?ftpID=2611
go - 03/3/2009 at 11:56 am
24#一样的问题，用c#实现了pdf的抽取，但是为什么装了PDF的Ifilter以后，您的Minidx File Manager还是无法实现预览呢？
Minidxer - 03/3/2009 at 12:46 pm
@go

该组件是一个COM组件，如文中第一步那样，COM组件是需要注册才可以被调用的。
Minidx File Manager的安装程序中自动执行了注册操作。您可以尝试一下Minidx File Manager中是否可以读取DOC,XLS等文件的文本，如果可以读取DOC而无法读取PDF，那问题应该出在PDF的IFilter中，如果DOC也不可以读取，那可能您执行了卸载该COM组件的操作或者您的系统中注册COM的时候出了什么错误。

如果是PDF的IFilter的问题，尝试着卸载系统中的PDF的IFilter，再重新安装一下应该就可以正常使用了。或者也可以尝试安装其他版本的PDF的IFilter
go - 03/4/2009 at 9:18 am
Minidx File Manager里面的doc，xls文档都可以读的，然后用c#的那个sample试了下（估计也是您写的），是可以读取pdf文档的。怀疑是不是版本问题了
minidxer - 03/4/2009 at 9:54 am
那有可能是两个COM的DLL冲突了。卸载掉Minidx File Manager再重新安装一下试试看~
go - 03/4/2009 at 10:14 am
果然可以了，谢谢。
另外minidx.dat里面是纪录的文件的路径，还是把文件都放进去了阿？
加载到application里的文件删掉了或者路径变了还是能看到的。
minidxer - 03/4/2009 at 10:25 am
二进制数据文件也是登陆到系统中的。 Minidx系统中使用了特殊的压缩算法，存储了二进制文件数据加上索引整体容量也不会很大
go - 03/4/2009 at 10:47 am
是把整个文件都压缩了存储的吗？我试了下把硬盘中的文件删掉了或者移到其他地方，还是可以查看文档内容，也可以用相应的软件打开的
Minidxer - 03/4/2009 at 10:51 am
是的，二进制文件，抽取出来的文本内容等，都分别进行了压缩处理。原文件删除不影响系统中内容的。
go - 03/4/2009 at 12:20 pm
文件压缩好强大阿，只占了很少的空间。

公司让我做的好象只记录路径，用了您这个突然想起这个路径变更的问题。。。
难道要时刻监控这些文件，太没效率了吧。
Minidxer - 03/4/2009 at 12:30 pm
如果仅仅是纪录文件路径的话，可以对磁盘进行映射，一旦发生变动就可以捕捉到，处理效率还是挺高的。
go - 03/4/2009 at 2:11 pm
磁盘映射没做过啊，能不能说下大概的思路？

minidx这个程序里面导入的文件都做了索引吗？检索文件内容好快啊
Minidxer - 03/4/2009 at 2:24 pm
各种开发语言都有自己的实现，Windows系统的话也可以调用系统API，不过没有尝试过，不知道效率怎么样，Windows系统大概下面这几个API可以用吧（没试过，需要确认）。用C或者C++的话自己创建磁盘映射表可能效率更高一些。
FindFirstChangeNotification( )；
FindNextChangeNotification( )；
WaitForSingleObject( )；

minidx对可以提取文本的文件都作了索引
Minidxer - 03/4/2009 at 2:26 pm
忘记说了，原理都是先将磁盘中的文件作一个映射MAP，再监测这一MAP的改变情况
go - 04/1/2009 at 11:54 am
不知道为什么这两天读取pdf内容，关闭项目的时候就会出现”メモリはreadになることができませんでした”，读其他的文档好像就没事阿
Minidxer - 04/1/2009 at 12:18 pm
@go
你用的应该是PDF IFilter 6.0吧， Adobe官方有申明这个版本的IFilter中存在内存释放的问题。
go - 04/1/2009 at 12:24 pm
好像是的，在网上就找到这个版本的下载。您知道有哪个版本可以解决这个问题吗？
Minidxer - 04/1/2009 at 12:27 pm
这个是5.0的地址：
http://download.adobe.com/pub/adobe/acrobat/win/all/ifilter50.exe

这是一篇关于5.0在XP上使用的介绍：
http://www.adobe.com/support/techdocs/327014.html
Minidxer - 04/1/2009 at 12:28 pm
好像最新的8.0也没有这个问题，不过我没有尝试过
go - 04/1/2009 at 3:27 pm
谢谢，之前找了半天就找到6.0的，以为都差不多。
英语不好太不方便了..
Gump - 05/21/2009 at 9:53 am
首先感谢Minidx，这个控件处理速度很快，不过在使用中有些小问题：

对Word中带表格的内容提取有时会漏，有的漏近一半
（word是用MS Office Word2003生成的，其中表格略带格式，如字体大小不一，颜色不一，有换行）。

是否控件中有欠考虑的地方，期待答复^^
Minidxer - 05/21/2009 at 9:24 pm
@Gump
可以做特殊处理,不过目前这个项目基本上已经停滞状态…
Gump - 05/22/2009 at 8:17 am
但是在大量文档中无法判断哪一个Word文档转换会漏，就无法进行特殊处理（除非一个一个打开看，汗…）
Minidxer - 05/22/2009 at 8:48 am
@Gump
呃。。。我的意思是，可以在组件内增加这样的特殊处理，应该不会发生遗漏现象

Trackbacks

利用Minidx Extract-Text Com组件从doc,Xls,Pdf……等读取文本内容VC2003 Demo - 全文检索博客

« 世界各地主流，非主流搜索引擎以及功能性搜索引擎一览

C语言中双字符组(digraph)和三字符组(trigraph)的使用注意事项 »

中文Flex例子

利用Minidx Extract-Text Com组件从doc,Xls,Pdf……等读取文本内容VC Demo

Related Post

Trackbacks

Leave a Comment

Search Posts

赞助商链接

Categories

Archives

Blogroll