วิธีการทำงาน
หน้านี้อธิบายว่าเราทำอะไรกับข้อมูลก่อนแสดงผล และที่สำคัญกว่านั้นคือ อะไรที่เราไม่ทำ
การค้นหาภาษาไทย
ภาษาไทยไม่มีช่องว่างระหว่างคำ ระบบค้นหาของพอร์ทัลต้นทางจึงใช้ไม่ได้จริง — ค้นคำว่า “สถานีตำรวจ” บน data.go.th ได้ผลลัพธ์สองหมื่นกว่ารายการ ซึ่งเกือบทั้งหมดไม่เกี่ยวข้อง เราตัดคำด้วย Intl.Segmenter ของ Node แล้วสร้างดัชนี full-text แยกน้ำหนักตามส่วน (ชื่อเรื่องสำคัญกว่าคำอธิบาย) พร้อมสำรองด้วยการเทียบความคล้าย (trigram) เมื่อการตัดคำพลาด ตัวตัดคำยังรวมคำประสมบางคำไว้ด้วยกัน เช่น “ตำรวจนครบาล” ซึ่งเป็นข้อจำกัดที่เรารู้ตัว ไม่ใช่ปัญหาที่แก้แล้ว
พุทธศักราชกับคริสต์ศักราช
ข้อมูลไทยปนกันทั้ง พ.ศ. และ ค.ศ. บางครั้งอยู่ในคอลัมน์เดียวกัน เราเก็บทุกอย่างเป็น ค.ศ. ในฐานข้อมูล แล้วแปลงกลับเป็น พ.ศ. เฉพาะตอนแสดงผลภาษาไทย ปีที่มากกว่าสองพันสี่ร้อยถือว่าเป็น พ.ศ. และลบห้าร้อยสี่สิบสาม ข้อมูลที่วันที่ต้นทางเสียหายจากการแปลงผิดของต้นทางเองจะถูกนับและข้าม ไม่ใช่เดาแล้วแก้ให้
ข้อมูลซ้ำ
data.go.th ดึงข้อมูลจาก GD Catalog มาอีกที ชุดข้อมูลจำนวนมากจึงปรากฏสองที่ เราจับคู่ด้วยรหัส harvest ของ CKAN ก่อน จากนั้นจึงเทียบ URL ของไฟล์ การเทียบด้วยชื่อเรื่องอย่างเดียวจะเข้าคิวให้คนตรวจ ไม่รวมอัตโนมัติ เพราะชุดข้อมูลรายปีมักใช้ชื่อเดียวกันทุกปี ตัวเลขรวมทุกหน้าจะนับเฉพาะรายการที่ไม่ใช่ตัวซ้ำ
การจับคู่จังหวัด
เราจับคู่พิกัดกับจังหวัดด้วยการตรวจว่าจุดนั้นอยู่ในขอบเขตจังหวัดจริง ไม่ใช่การหาจังหวัดที่จุดศูนย์กลางใกล้ที่สุด วิธีหาศูนย์กลางใกล้ที่สุดให้ผลผิดในพื้นที่ชายขอบ เช่น จุดในเชียงใหม่ตอนใต้อยู่ใกล้ศูนย์กลางลำพูนมากกว่าศูนย์กลางเชียงใหม่ ความผิดพลาดแบบนี้ไม่แสดงอาการ ตัวเลขรายจังหวัดจะดูสมเหตุสมผลทั้งที่ผิด
สิ่งที่เราไม่เก็บ
ประกาศล้มละลายของบุคคลธรรมดาในราชกิจจานุเบกษาถูกนับแต่ไม่ถูกจัดเก็บ — เรารายงานจำนวนได้โดยไม่ต้องสร้างดัชนีค้นหาชื่อและที่อยู่ของผู้ที่ล้มละลายเมื่อยี่สิบปีก่อน จากเอกสารที่นำเข้า มีมากกว่าสี่แสนฉบับที่ถูกกันออกด้วยเหตุนี้ สถิติอาชญากรรมของสำนักงานตำรวจแห่งชาติเก็บถึงระดับจังหวัดเท่านั้น ระดับอำเภอและตำบลไม่ถูกจัดเก็บ เพราะจำนวนคดีน้อย ๆ ในตำบลเล็ก ๆ ระบุตัวบุคคลได้
ข้อมูลจัดซื้อจัดจ้าง
ไฟล์ต้นทางของ ACT Ai รวมผู้ชนะหลายรายไว้ในแถวเดียวโดยไม่มีตัวคั่น ทั้งชื่อ เลขทะเบียน และราคา ทำให้ราคาที่ได้กลายเป็นตัวเลขมหาศาลที่ไม่มีความหมาย เราจึงนับเฉพาะแถวที่เลขทะเบียนเป็นตัวเลขสิบสามหลักพอดี และราคาไม่เกินสองหมื่นล้านบาท แถวที่เหลือยังเก็บไว้และรายงานจำนวน แต่ไม่นำมารวมยอด เราไม่พยายามแยกตัวเลขที่ติดกันกลับ เพราะไม่มีวิธีแยกที่ถูกต้องแน่นอน
ข้อมูล OpenStreetMap
ข้อมูลจาก OpenStreetMap ใช้สัญญาอนุญาต ODbL ซึ่งมีเงื่อนไข share-alike ที่อาจส่งต่อไปยังฐานข้อมูลที่นำไปรวม เราจึงเก็บข้อมูลนี้ไว้ในตารางแยกต่างหาก และเชื่อมโยงกับข้อมูลอื่นเฉพาะตอนแสดงผล ไม่บันทึกผลการเชื่อมกลับลงตารางอื่น
สิ่งที่ยังขาด
ระบบ e-GP ของกรมบัญชีกลางที่เผยแพร่ผ่าน data.go.th หยุดอัปเดตแล้ว และ PDMO ที่เคยเป็นแหล่งข้อมูลหนี้สาธารณะที่จัดรูปแบบดีที่สุดก็เข้าถึงไม่ได้ ทั้งสองยังอยู่ในรายการแหล่งข้อมูลพร้อมสถานะว่าไม่สำเร็จ ข้อมูลรายจ่ายจริงเคยเป็นช่องว่างที่ใหญ่ที่สุดของเว็บไซต์นี้ ตอนนี้เติมแล้ว: หน้างบประมาณแสดงทั้งงบที่ตั้งไว้และเงินที่เบิกจ่ายจริงจากระบบ GFMIS ตั้งแต่ปีงบ 2559 เป็นต้นมา สิ่งที่ยังไม่มี: ข้อมูลระดับรายการของสัญญาจัดซื้อจัดจ้างหลังปี 2566 เรามียอดรวมรายปีจากระบบ e-GP โดยตรง แต่ข้อมูลรายสัญญายังหยุดอยู่ที่ปี 2566 ตามชุดข้อมูลของ ACT Ai
ดูเพิ่มเติม: แหล่งข้อมูล · สถานะระบบ · สัญญาอนุญาต