كيف تحذف الصفوف المكررة من ملف CSV

أزل الصفوف المكررة من ملف CSV واحد مباشرة داخل متصفحك من دون رفع الملف، حتى 500 MB. تم التحقق من هذه السعة المنشورة على خمسة أنواع مختلفة من الملفات، ثلاث مرات لكل نوع، للتأكد من صحة النتائج (15 تشغيلًا إجمالًا).

شمل هذا التحقق 15 تشغيلًا خمسة أشكال من الملفات: بيانات عادية، وملفات فيها قيم كثيرة ومختلفة في أعمدة المطابقة، وقيم مطابقة طويلة، وصفوف عريضة جدًا، وبيانات كثيرة التكرار مع خيار الاحتفاظ بآخر ظهور. شُغّل كل شكل ثلاث مرات وتحققت صحة الناتج في كل مرة. كانت أصعب حالة بحجم 500 MiB هي الملف الذي يحتوي على عدد كبير من قيم المطابقة المختلفة: استغرقت تشغيلاته الثلاثة 43.1 و57.9 و85.7 دقيقة واحتاجت إلى نحو 1.472 GiB من مساحة التخزين المؤقتة على جهازك. هذه القياسات تدعم الحد الحالي الظاهر في صفحة الأداة، لكن هذا النوع من الملفات قد يستغرق وقتًا طويلًا ويحتاج إلى مساحة فارغة كافية على القرص.

تتسلل الصفوف المكررة إلى تصديرات CSV لأسباب عادية: نموذج أُرسل مرتين، أو مهمة مزامنة عملت مرتين، أو تصدير جدول بيانات تضمَّن نفس السجل من نظامين مصدر مختلفين. قبل أن تثق بملف للاستيراد، تحتاج إلى إزالة التكرارات — بشكل صحيح، وليس فقط الحالات المتطابقة الواضحة.

التكرار الدقيق مقابل التكرار المنطقي

التكرار الدقيق هو صف يطابق صفاً آخر تماماً في كل حقل. من السهل اكتشاف هذا النوع. التكرار المنطقي أصعب قليلاً: صفان يمثّلان نفس السجل الواقعي لكنهما يختلفان قليلاً، مثل نفس العميل برقمي هاتف مختلفين أو نفس المنتج بخطأ إملائي في الاسم.

تحديد ما يُعدّ «نفس السجل» قرار تجاري، لا تقني — يعتمد على العمود أو تركيبة الأعمدة التي تحدد بشكل موثوق كياناً فريداً في بياناتك.

اختيار أعمدة المطابقة

عندما لا يكون أي عمود واحد موثوقاً بمفرده، طابِق على تركيبة — مثل الاسم مع تاريخ الميلاد، أو الشركة مع عنوان الفوترة. المطابقة بتركيبة واسعة جداً تنتج إيجابيات خاطئة؛ والمطابقة بتركيبة ضيقة جداً تترك تكرارات حقيقية وراءها.

ما الذي يُعدّ تكراراً

تُعامِل الأداة صفين كمكررين فقط عندما يكون لكل عمود مفتاح محدد نفس القيمة المقصوصة. تُتجاهل المسافات في بداية أو نهاية خلية المفتاح، لذا فإن صفين يختلفان فقط بالمسافات المحيطة لا يزالان تكراراً. لا يتم تطبيع حالة الأحرف وعلامات الترقيم داخل الخلية — «Acme Corp» و«acme corp.» مفتاحان مختلفان.

عندما تختار أكثر من عمود مفتاح، يتطابق صفان فقط عندما يتطابق كل عمود محدد. الحد الحالي للحجم 500 MB لكل ملف. تبقى المهمة على جهازك — لا يُرفع شيء.

1. 01

   ارفع ملف CSV واحداً.

   اختر الملف الذي يحتوي على الصفوف المكررة. لا يُرفع شيء — يُقرأ الملف ويُعالج في متصفحك.

2. 02

   اختر عموداً واحداً أو أكثر لمطابقة التكرارات.

   اختر الأعمدة التي تحدد معاً سجلاً فريداً، مثل البريد الإلكتروني وحده، أو الشركة مع اسم جهة الاتصال. اختيار العمود الخاطئ يُلقي خطأ تحليل بدلاً من إنتاج نتيجة خاطئة بصمت.

3. 03

   احتفظ بالظهور الأول أو الأخير.

   الاحتفاظ بالأول يحافظ على الصف الذي ظهر أولاً في الملف. الاحتفاظ بالأخير يحافظ على أحدث إدخال. اختر ما يطابق كيفية فرز ملفك وأي نسخة تحمل البيانات التي تثق بها.

4. 04

   راجع مجموعات التكرار والمعاينة المنظَّفة.

   تُظهر الأداة عدد مجموعات التكرار التي تم العثور عليها ومعاينة للملف المنظَّف قبل التنزيل. هذه هي اللحظة للتأكُّد من أن قاعدة المفتاح طابقت ما كنت تنوي.

5. 05

   نزِّل الملف المنظَّف أو الصفوف المحذوفة.

   يُنشأ كلا الملفين: أحدهما مع إزالة التكرارات والآخر مع كل ما تمت تصفيته. لا يُعدَّل الملف المصدر أبداً.

الاحتفاظ بالأول أم الأخير؟

بمجرد تجميع التكرارات، تحتاج إلى قاعدة لتحديد النسخة التي تبقى.

إذا كانت النسخ المكررة تحتوي على قيم مختلفة، يشرح دليل الاحتفاظ بأول تكرار أو آخره كيف يؤثر ترتيب الصفوف الحالي في تحديد النسخة التي ستبقى.

1. 01

   الاحتفاظ بالأول

   يحافظ على الصف الذي ظهر أولاً — مفيد عندما يكون الملف مرتباً من الأقدم إلى الأحدث وتريد السجل الأصلي.

2. 02

   الاحتفاظ بالأخير

   يحافظ على أحدث إدخال — مفيد عندما تمثِّل الصفوف اللاحقة تصحيحات أو تحديثات.

3. 03

   المراجعة يدوياً

   إذا لم تناسب أي قاعدة حالتك، افحص مجموعات التكرار قبل اتخاذ القرار. قد تتجاهل قاعدة تلقائية بيانات جيدة بصمت.

احتفظ دائماً بالصفوف المحذوفة

عملية إزالة التكرارات المسؤولة لا تحذف الصفوف فحسب — بل تُصدِّر ما تمت إزالته إلى جانب الملف المنظَّف، حتى تتمكن من التحقق من القرار واسترجاع صف إذا كانت قاعدة المطابقة أكثر عدوانية مما ينبغي. يستخدم ملف الصفوف المحذوفة نفس ترتيب الأعمدة ونفس الفاصل الخاص بالمصدر، حتى يمكن فتحه أو إعادة دمجه دون مزيد من العمل. إذا تمت إزالة صف عن طريق الخطأ، انسخه من ذلك الملف بدلاً من إعادة تشغيل التنظيف على مصدر جديد.