data.py

import json
from collections import defaultdict

# ================= 配置区域 =================
# 在这里修改你的文件路径
FILE_PATH = 'part_of_train.jsonl'

# 在这里修改档位（步长）
# 例如：设置 100，统计区间就是 0-100, 100-200...
# 例如：设置 50， 统计区间就是 0-50, 50-100...
BIN_STEP = 100  
# ===========================================

# 用于存储分布数据的字典
distribution = defaultdict(int)
total_count = 0
max_len = 0

print(f"正在读取文件: {FILE_PATH} ...")
print(f"当前统计档位: {BIN_STEP}")

try:
    with open(FILE_PATH, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                if "instruction" in data and isinstance(data["instruction"], str):
                    text_len = len(data["instruction"])
                    
                    # 更新最大长度
                    if text_len > max_len:
                        max_len = text_len
                    
                    # 核心逻辑：计算该长度属于哪个档位
                    # 例如长度 152，步长 100 -> 152 // 100 = 1 -> 1 * 100 = 100 (即 100-200 区间)
                    range_start = (text_len // BIN_STEP) * BIN_STEP
                    
                    distribution[range_start] += 1
                    total_count += 1
                    
            except json.JSONDecodeError:
                continue # 忽略解析错误的行

    # --- 结果输出 ---
    if total_count > 0:
        print("\n" + "="*60)
        print(f"{'长度区间':<15} | {'数量':<8} | {'占比 (%)':<10} | {'分布图'}")
        print("-" * 60)

        # 对区间进行排序，从 0 开始直到最大区间
        # 我们使用 range 生成所有可能的区间，即使某个区间数量为 0 也显示，这样分布更直观
        # 如果尾部太长（比如中间空了很多），可以改用 sorted(distribution.keys()) 只显示有数据的区间
        
        # 为了防止 7000 长度导致打印太长，如果区间超过 50 个，我们只打印有数据的区间
        max_range_start = (max_len // BIN_STEP) * BIN_STEP
        possible_bins = range(0, max_range_start + BIN_STEP, BIN_STEP)
        
        # 决定遍历方式：如果总分组太多，只显示有数据的；否则显示连续的
        if len(possible_bins) > 50:
            print("(区间较多，仅显示有数据的区间)")
            keys_to_show = sorted(distribution.keys())
        else:
            keys_to_show = possible_bins

        for start in keys_to_show:
            end = start + BIN_STEP
            count = distribution[start]
            percentage = (count / total_count) * 100
            
            # 简易柱状图：每 2% 一个 # 号，防止图形太长
            bar = "#" * int(percentage // 2) 
            if percentage > 0 and len(bar) == 0:
                bar = "|" # 即使很少也显示一点点

            # 格式化输出
            range_str = f"[{start}-{end})"
            print(f"{range_str:<15} | {count:<8} | {percentage:6.2f}%    | {bar}")

        print("="*60)
        print(f"统计完成。总有效数据: {total_count} 条，最大长度: {max_len}")
        
    else:
        print("未找到有效数据。")

except FileNotFoundError:
    print(f"错误: 找不到文件 {FILE_PATH}")