جست‌وجوی هوشمند در اسناد فارسی؛ چالش‌ها و راه‌حل‌ها
نیم‌فاصله، «ی» و «ک» عربی و جدول‌های اسکن‌شده؛ تجربه ما از ساخت سامانه پرسش و پاسخ روی آیین‌نامه‌ها و قراردادهای فارسی.
ساخت یک دستیار که به سؤال‌ها درباره اسناد داخلی سازمان جواب بدهد، روی کاغذ ساده است: اسناد را تکه‌تکه می‌کنیم، برای هر تکه بردار معنایی می‌سازیم و موقع پرسش، نزدیک‌ترین تکه‌ها را به مدل می‌دهیم. در فارسی اما چند دام همیشگی وجود دارد.
یکسان‌سازی متن
یک سند ممکن است «ی» و «ك» عربی داشته باشد و سند دیگر فارسی؛ یکی نیم‌فاصله درست دارد و دیگری فاصله کامل. اگر پیش از نمایه‌سازی متن را یکسان نکنیم، جست‌وجو کلمه‌هایی را که برای انسان یکی‌اند، دو کلمه متفاوت می‌بیند.
اسناد اسکن‌شده
بخش بزرگی از بایگانی سازمان‌ها هنوز PDF تصویری است. کیفیت بازشناسی نویسه فارسی به‌خصوص در جدول‌ها پایین است و ما معمولاً یک مرحله بازبینی انسانی روی اسناد مهم می‌گذاریم.
ارجاع به منبع
در محیط‌های حقوقی و مالی، جواب بدون منبع ارزشی ندارد. دستیارهایی که ما می‌سازیم کنار هر پاسخ، شماره ماده یا صفحه سند را نشان می‌دهند تا کاربر بتواند خودش بررسی کند.