أداة إحصاء أوزان تكرار الكلمات في المستندات

تحليل توزيع تكرار الكلمات في المستندات النصية دفعةً واحدة، مع دعم حساب أوزان TF-IDF وBM25

وضع التنفيذ في المتصفح: تُعالج بياناتك في متصفحك ولا تُرفع إلى الخادم.

السرعة والاستقرار: تعتمد سرعة المعالجة على جهازك ومتصفحك. للأعمال الدفعية الكبيرة، قد يكون إصدار سطح المكتب أكثر استقرارًا.

جارٍ تحميل الأداة، يرجى الانتظار...

إذا تعذر تحميل الأداة عبر الإنترنت أو تشغيلها، جرّب أداة سطح المكتب. https://tools.yikeaigc.com/

استخدام الأداة

العودة إلى الإصدار القديم

يتوفر إصدار سطح مكتب بميزات أقوى وأكثر استقرارًا. فتح إصدار سطح المكتب

يرجى اختيار النص وضبط معلمات التحليل قبل البدء. للتجربة السريعة، حمّل بيانات نموذجية؛ في الملفات المجمعة تُعرض أول 20 فقط، وسيتم تحليلها كلها.

1اختر طريقة الإدخال

2إضافة ملفات نصية

انقر لاختيار ملفات أو اسحبها هنا

يدعم TXT وTEXT وMD وCSV وSRT وLOG. تُقرأ الملفات وتُحلَّل داخل المتصفح.

2لصق النص

لم يتم إدخال نص بعد.

2تحميل مثال

ستستبدل البيانات النموذجية المحتوى المحدد حاليًا.

3حالة المحتوى المحدد

عدد المستندات0

الحجم التقديري0 KB

بانتظار اختيار النص

أضف ملفات TXT أو الصق نصًا أو حمّل بيانات نموذجية أولًا.

1قواعد التقسيم

طريقة تقطيع الصينية

الحد الأدنى لطول الكلمة

طول الكلمة الصينية المركبة

2خوارزمية الترجيح

إحصاء تكرار الكلماتإحصاء الإجمالي وتغطية المستندات TF-IDFتقييم تمييز الكلمة في النصوص BM25درجة وزن مع تصحيح طول المستند كثافة الكلمات المفتاحيةإخراج نسبة التكرار والتغطية

3معلمات BM25

معلمة التشبع K1

معلمة تطبيع الطول B

القيم الشائعة: K1 نحو 1.2-2.0، وB نحو 0.75. تؤثر القيم في ترتيب درجات BM25.

4تصفية وفرز

عدد النتائج المعروضة

الفرز الافتراضي

تصفية كلمات الوقفتصفية الأدوات الشائعة والكلمات قليلة المعلومات الاحتفاظ بالأرقامالاحتفاظ بالسنوات والمعرّفات والمبالغ وغيرها تمييز حالة الأحرف الإنجليزيةمناسب لتحليل أسماء العلم إخراج تقرير لكل مستندتصدير الملفات دفعةً بأسمائها الأصلية

5قاموس مخصص

كلمات مخصصة للاحتفاظ بها (واحدة في كل سطر)

كلمات توقف مخصصة (واحدة لكل سطر)

1تأكيد المهمة

بانتظار بدء التحليل

بعد التأكد من صحة الملف والإعدادات، انقر بدء التحليل. أبقِ الصفحة مفتوحة أثناء المعالجة.

2تقدم المعالجة

التقدم 0%

بانتظار البدء...

لا توجد نتائج تحليل بعد. أكمل الخطوات السابقة وابدأ التحليل أولاً.

التعليمات

تعليمات استخدام البرنامج

اختيار محتوى النص: انقر على "اختيار ملف" لاستيراد ملفات نصية دفعةً واحدة مثل TXT وMD وCSV وSRT وLOG، ويمكنك أيضًا التبديل إلى "لصق النص" لإدخال المحتوى مباشرةً؛ وعند الحاجة إلى تجربة سير العمل يمكن تحميل بيانات نموذجية.
تأكيد قائمة الملفات: بعد اختيار الملفات دفعةً واحدة، تعرض الواجهة أول 20 ملفًا، بينما تظهر بقية الملفات على شكل عدد، وستشارك جميعها فعليًا في المعالجة عند التحليل.
تعيين قواعد تقسيم الكلمات: اختر طريقة تقطيع الكلمات الصينية، والحد الأدنى لطول الكلمة، وطول الكلمات المركبة الصينية؛ إذا كانت لديك مصطلحات ثابتة خاصة بمجال معيّن، يمكنك إدخال كلمة واحدة في كل سطر ضمن "الكلمات المخصصة المحفوظة".
تكوين خوارزمية الأوزان:
- إحصاء تكرار الكلمات: إحصاء عدد مرات ظهور الكلمات، وعدد المستندات التي تغطيها، وكثافة الكلمات المفتاحية.
- وزن TF-IDF: تقييم قدرة الكلمة على التمييز وفقًا لتكرار الكلمة وتكرار المستند العكسي.
- وزن BM25: حساب درجة الصلة من خلال الجمع بين تكرار الكلمة، وتكرار المستند، وطول المستند.
ضبط خيارات التصفية: يمكن تفعيل تصفية كلمات التوقف، والاحتفاظ بالأرقام، والتمييز بين الأحرف الإنجليزية الكبيرة والصغيرة، مع تعيين عدد النتائج المعروضة وطريقة الفرز الافتراضية.
حفظ الإعدادات: انقر على "حفظ الإعدادات" للاحتفاظ بالمعلمات الشائعة، وسيتم استعادتها تلقائيًا عند فتح الأداة في المرة القادمة؛ وعند الحاجة إلى إعادة التكوين يمكنك النقر على "استعادة الافتراضي".
بدء التحليل: بعد الانتقال إلى صفحة "بدء التحليل"، انقر على "بدء التحليل والانتقال إلى الخطوة التالية"، وستقوم الأداة بقراءة النص، وتقسيم الكلمات، وإحصاء تكرار الكلمات، وحساب الأوزان.
عرض النتائج وتنزيلها: بعد اكتمال التحليل، يمكنك البحث عن الكلمات المفتاحية في جدول النتائج وتنزيل نتائج CSV الحالية؛ وبالنسبة للملفات المجمعة يمكن تنزيل حزمة ZIP مضغوطة، وسيتم تصدير تقرير المستند الواحد باسم الملف الأصلي، أما الملفات ذات الأسماء المتكررة فستتم إضافة أرقام إليها تلقائيًا للتمييز بينها.

الأسئلة الشائعة

جواب: يناسب TF-IDF العثور على الكلمات التي تميّز الموضوع بشكل أفضل ضمن مجموعة من المستندات. عندما تظهر كلمة معيّنة بكثرة في المستند الحالي، لكنها تظهر نادرًا في المستندات الأخرى، فإنها تحصل عادةً على قيمة TF-IDF أعلى.

جواب: يمكن اعتبار BM25 طريقة شائعة لحساب الصلة في سيناريوهات استرجاع المعلومات. فهي تضيف تشبّع تكرار الكلمات وتطبيع طول المستند إلى أساس تكرار الكلمات وتكرار المستند العكسي، مما يجعلها أنسب لمقارنة أوزان الكلمات المفتاحية في مستندات ذات أطوال مختلفة.

ج: يمكن ضبط المحتوى الصيني العادي على 2-3 أحرف؛ إذا كان النص يحتوي على الكثير من المصطلحات المتخصصة أو أسماء المنتجات أو الكلمات المفتاحية طويلة الذيل، فيمكن ضبطه على 2-4 أحرف، وإضافة المفردات المهمة إلى كلمات الاحتفاظ المخصصة.

ج: عادةً ما تكون كلمات الإيقاف كلمات عالية التكرار لكنها منخفضة القيمة المعلوماتية مثل «الـ، و، في، نحن، يمكن». بعد تصفيتها، يصبح جدول النتائج أكثر قدرة على عرض كلمات الموضوع ومصطلحات الأعمال وإشارات الكلمات المفتاحية.

ج: ستتضمن حزمة ZIP جدولًا إجماليًا للمدونة وتقارير للمستندات الفردية. ستحافظ تقارير المستندات الفردية قدر الإمكان على اسم الملف الأصلي، مثل “文档A.csv”؛ وإذا وُجدت أسماء مكررة، فسيتم إنشاء أسماء تلقائيًا مثل “文档A_1.csv” و“文档A_2.csv”.

ج: تشير كثافة الكلمات المفتاحية إلى نسبة ظهور كلمة معينة ضمن نطاق الإحصاء الحالي. تعني الكثافة الأعلى أن الكلمة تظهر بشكل متكرر، لكن يجب الحكم عليها مع TF-IDF وBM25 ونسبة تغطية المستندات لتجنب اعتبار الكلمات الشائعة كلمات موضوعية بالخطأ.