Interesting Warnings About Power Law Distributions

I've wondered about some data that might be distributed according to a certain power law and I found these two links to be informative: So You Think You Have a Power Law — Well Isn't That Special? and Power-law distributions in empirical data.

The abstract of the paper in the second link reads:

Power-law distributions occur in many situations of scientific interest and have significant consequences for our understanding of natural and man-made phenomena. Unfortunately, the detection and characterization of power laws is complicated by the large fluctuations that occur in the tail of the distribution -- the part of the distribution representing large but rare events -- and by the difficulty of identifying the range over which power-law behavior holds. Commonly used methods for analyzing power-law data, such as least-squares fitting, can produce substantially inaccurate estimates of parameters for power-law distributions, and even in cases where such methods return accurate answers they are still unsatisfactory because they give no indication of whether the data obey a power law at all. Here we present a principled statistical framework for discerning and quantifying power-law behavior in empirical data. Our approach combines maximum-likelihood fitting methods with goodness-of-fit tests based on the Kolmogorov-Smirnov statistic and likelihood ratios. We evaluate the effectiveness of the approach with tests on synthetic data and give critical comparisons to previous approaches. We also apply the proposed methods to twenty-four real-world data sets from a range of different disciplines, each of which has been conjectured to follow a power-law distribution. In some cases we find these conjectures to be consistent with the data while in others the power law is ruled out.

Two Laws That More People Should Know About

I knew about them when I was in my early 20's and I wished I had known about them earlier.

The first is Zipf's law, which "...states that given some corpus of natural language utterances, the frequency of any word is inversely proportional to its rank in the frequency table. Thus the most frequent word will occur approximately twice as often as the second most frequent word, which occurs twice as often as the fourth most frequent word, etc."

It's a special case of the general power law distribution which many natural phenomena seem to exhibit.

The other law is Benford's law, which "...states that in lists of numbers from many real-life sources of data, the leading digit is 1 almost one third of the time, and larger numbers occur as the leading digit with less and less frequency as they grow in magnitude, to the point that 9 is the first digit less than one time in twenty. This is based on the observation that real-world measurements are generally distributed logarithmically, thus the logarithm of a set of real-world measurements is generally distributed uniformly."

Benford's law is applicable to "... a wide variety of figures, including electricity bills, street addresses, stock prices, population numbers, death rates, lengths of rivers, physical and mathematical constants, and processes described by power laws (which are very common in nature). "

Benford's law is also used successfully to detect accounting frauds, scientific frauds, electoral frauds, and other types of frauds. Just google for "fraud detection benford" and you will see a lot of examples.

จำนวนครั้งที่คนมาอ่านกระทู้เก่าพันทิพเป็น Power Law?

ผมมาดูว่ากระทู้เก่าๆจาก Pantip.com ที่ Atriumtech.com เก็บไว้มีคนมาอ่านมากไหม เลยไปดูข้อมูลย้อนกลับไปประมาณ 4 อาทิตย์ แล้วลองเอาจำนวนครั้งที่อ่าน และลำดับที่มา plot ดูแล้วได้รูปนี้:

แกนตั้งคือจำนวนครั้งที่กระทู้ถูกอ่าน แกนนอนคือลำดับของกระทู้ (ลำดับที่ 1 คืออ่านมากสุด)

ปรากฎว่าเวลา plot แบบ log-log แล้วดูเหมือนว่าลำดับต้นๆ (1-300) จะเรียงเป็น(ประมาณ)เส้นตรง แปลว่าจำนวนครั้งที่อ่านจะประมาณเท่ากับ ลำดับที่ ยกกำลังอะไรบางอย่างที่เป็นลบ

ผมไม่รู้เหมือนกันว่ามีเหตุผลอะไรหรือเปล่าที่ทำให้เกิดข้อมูลแบบนี้ แต่ Power-law เกิดบ่อยๆในปรากฎการณ์หลายๆแบบ และนี่อาจเป็นอีกตัวอย่างหนึ่ง

จำนวนครั้งที่คนมาอ่านกระทู้เก่าพันทิพเป็น Power Law? (ภาค 2)

ผมเก็บข้อมูลเพิ่มเติมหลังจากการทดลองครั้งที่แล้ว โดยข้อมูลใหม่อยู่ที่นี่

Plot ของเดือนนี้เป็นอย่างนี้:

เปรียบเทียบกับเดือนที่แล้ว (สีน้ำเงินคือเดือนที่แล้ว) พบว่า slope ตรงกลางๆ จะคล้ายๆกัน:

จำนวนครั้งการอ่านของเดือนนี้มากกว่าเดือนที่แล้วจึงทำให้สีแดงอยู่ข้างบน รวมถึงจำนวนกระทู้ที่ถูกอ่านของเดือนนี้ก็มากกว่าเดือนที่แล้ว (5,458  กระทู้  vs.  3,782 กระทู้) ทำให้สีแดงออกไปทางขวามือมากกว่า

ไว้ผมจะรอดูอีกสักเดือนแล้วเปรียบเทียบอีกที

เดาส่วนแบ่งตลาดโน๊ตบุ๊ก

ผมชอบดูโบรชัวร์ราคาอุปกรณ์คอมพิวเตอร์ แล้ววันนี้มีคนแนะนำให้เข้าไปที่ ClubNotebook.com ที่มีคนรวบรวมโบรชัวร์งาน Commartไว้ให้แล้ว ปรากฎว่ามีกระดานข่าวที่หน้าตาเป็นแบบนี้:





ผมเลยคิดว่าถ้าสัดส่วนผู้ใช้คอมพิวเตอร์แต่ละยี่ห้อที่เข้ามากระดานข่าว เป็นสัดส่วนประมาณเท่าๆกันในทุกยี่ห้อ เราสามารถเดาส่วนแบ่งตลาดของแต่ละยี่ห้อได้ Assumption นี้จะผิดถ้าผู้ใช้บางยี่ห้อเข้ามาที่กระดานข่าวมากกว่ายี่ห้ออื่น เช่นปัญหาเยอะจนต้องมาบ่นมากๆ ถ้า Assumption ไม่ผิดนัก นี่คือลำดับส่วนแบ่งตลาดโดยประมาณ:



สองคอลัมน์สุดท้ายเป็นตัวประมาณส่วนแบ่ง (แบบหยาบๆ โดยการอนุมานจากจำนวนกระทู้ หรือคำตอบ)
ส่วนแบ่งดูเหมือนจะแจกแจงแบบ Power-law distribution

แล้วไว้ผมจะหาข้อมูลอื่นๆมาดูว่าการเดาแบบนี้ใกล้ความจริงแค่ไหน

--- - ---- - ----- ----------
P.S.

1. ถ้าต้องการของทน แนะนำให้ใช้ ThinkPad ของ IBM/Lenovo (ทน ประกัน 3 ปีเป็นส่วนใหญ่ ศูนย์บริการดี)
2. ถ้าต้องการของเท่ห์ & สวย แนะนำ Mac (สวย ไม่โฉ่งฉ่างแบบหลายๆยี่ห้อ)
3. ควรซื้อประกันเพิ่มเป็น 3 ปี ถ้าประกันไม่ถึง เนื่องจากอาจจะเสียหลัง 1 ปี ถ้าอยู่นอกประกันจะซ่อมแพงมาก
4. ไม่ควรซื้อของถูกที่สุด

Another Sign That The US Is Becoming A Third World Country...

A third-world country with the military power to destroy human civilization, that is.

I read an interesting interview by a former UN weapon inspector (and an alleged spy) about the US-Middle East situation. A few excerpts are shown below with my highlight in red:

On the plan to attack Iran without any good reason:

That’s why when I speak of Iran, I say be careful of falling into the trap of nonproliferation, disarmament, weapons of mass destruction; this is a smokescreen. The Bush administration does not have policy of disarmament vis-a-vis Iran. They do have a policy of regime change. If we had a policy of disarmament, we would have engaged in unilateral or bilateral discussions with the Iranians a long time ago. But we put that off the table because we have no desire to resolve the situation we use to facilitate the military intervention necessary to achieve regime change. It’s the exact replay of the game plan used for Iraq, where we didn’t care what Saddam did, what he said, what the weapons inspectors found. We created the perception of a noncompliant Iraq, and we stuck with that perception, selling that perception until we achieved our ultimate objective, which was invasion that got rid of Saddam. With Iran, we are creating the perception of a noncompliant Iran, a threatening Iran. It doesn’t matter what the facts are. Now that we have successfully created that perception, the Bush administration will move forward aggressively until it achieves its ultimate objective, which is regime change.

On general population ignorance:

What is it about Americans that allows them to get so bent out of shape when you start questioning the government in a time of war?

I’ll say ignorance. How many Americans have read the Constitution and know the Constitution, live the Constitution, breathe the Constitution, define their existence as Americans by the Constitution? Very few. And so what happens is, Americans have no concept of what citizenship is, what it is they’re supposed to serve. Many Americans have become so addicted to a lifestyle that I say they’re better consumers than they are citizens. And it’s these consumers who have wrapped themselves in a cocoon of comfort and who have basically abrogated their responsibilities of citizenship to the government, and as long as the government keeps them waddling down the path to prosperity, they don’t want to rock the boat. And they will go out and attack those who do rock the boat—those who challenge authority.

If you read the Constitution, you’ll be struck by the first words: “We the people of the United States.” And yet it sickens me where Americans will say, in the name of security, they will give up their constitutional rights. Warrantless wiretapping—it’s against the law! This is the sort of issue that should bring Americans streaming into the streets, saying, “Not on my watch.” If your definition of patriotism is blind subservience to governmental authority, then you’ve just defined those Germans who supported Hitler, the Italians who supported Mussolini.

Looking at the bright side, Thailand can catch up with the US if we succeed in firing and jailing crooks that rob our countries like Bush/Blair/Berlusconi rob theirs. China might even be more democratic than the US within this century!