این مقاله یک مدل توالی-به-توالی برای تولید متن از داده به نام DM-NLG ارائه می‌دهد تا متن زبان طبیعی را از ورودی‌های ساختار یافته غیرزبانی تولید کند. به طور خاص، با افزودن یک ماژول حافظه پویا به مدل توالی-به-توالی مبتنی بر توجه، می تواند اطلاعاتی را که منجر به تولید کلمات خروجی قبلی شده است را ذخیره کرده و از آن برای تولید کلمه بعدی استفاده کند. به این ترتیب، بخش رمزگشای مدل از تمام تصمیمات قبلی آگاه است و در نتیجه از تولید کلمات تکراری یا مفاهیم ناقص معنایی جلوگیری می‌شود. برای بهبود کیفیت جملات تولید شده توسط رمزگشای DM-NLG، یک مرحله پس‌پردازش با استفاده از مدل‌های زبان پیش‌آموزش‌شده انجام می‌شود.

مولد متن پیشنهادی در این مقاله بر اساس معماری انکودر-رمزگشا توالی-به-توالی است. بخش انکودر مدل که توسط RNN ساخته شده است، MR={x0, x1, . . . , xL} را به عنوان ورودی دریافت می‌کند و آن را به بردارهای پنهان تبدیل می‌کند. بردارهای پنهان انکودر توسط مکانیزم توجه برای تولید بردار زمینه استفاده می‌شوند و حالت پنهان نهایی برای مقداردهی اولیه حالت پنهان رمزگشا استفاده می‌شود. از آنجایی که مولد متن باید بتواند تمام اطلاعات ورودی لازم را در متن خروجی تولید شده بیان کند، ما پیشنهاد می‌کنیم که از حافظه پویا در کنار مدل توالی-به-توالی استفاده کنیم. در این مدل جدید که آن را DM-NLG نامگذاری کرده‌ایم، توکن‌های خروجی {w0, w1, . . . , wN} توسط رمزگشا بر اساس محتوای سلول حافظه تولید می‌شوند. پس از تولید هر توکن، محتوای سلول حافظه به روز می‌شود. در نهایت، به عنوان مرحله پس پردازش، جملات تولید شده به یک مدل زبان پیش‌آموزش‌شده دقیق داده می‌شوند تا کیفیت آنها بهبود یابد.

برای اثبات کارآمدی مدل DM-NLG، آزمایشاتی را روی پنج مجموعه داده مختلف انجام دادیم و مشاهده کردیم که مدل پیشنهادی ما در مقایسه با مدل‌های پیشرفته، قادر به کاهش 50 درصدی نرخ خطای اسلات و 10 درصدی بهبود BLEU است.

جزییات این مقاله را در آدرس زیر می‌توانید مطالعه بفرمایید:

https://www.cambridge.org/core/journals/natural-language-engineering/article/improving-semantic-coverage-of-datatotext-generation-model-using-dynamic-memory-networks/47BE9DFF4E7288E2FBBE0D08154FE1E9