<div dir="ltr">Apologies John,<div><br></div><div>I misunderstood you and got worried - we are on the same page.</div><div><br></div><div>Thanks for clarifying.</div><div><br></div><div>           Jacob</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 24, 2021 at 10:40 AM John Gennari <<a href="mailto:gennari@uw.edu">gennari@uw.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    <p><br>
    </p>
    <p>No, no no. I don't want to delete the table either!!</p>
    <p>There are now two copies of the table in the paper. I just meant
      that we'll eventually delete the older out-of-order table. <br>
    </p>
    <p>-jhg</p>
    <p><br>
    </p>
    <div>On 5/24/2021 1:32 AM, Jacob Barhak
      wrote:<br>
    </div>
    <blockquote type="cite">
      
      <div dir="ltr">And John,
        <div><br>
        </div>
        <div>One more important thing,</div>
        <div><br>
        </div>
        <div>You mentioned deleting the table. I strongly object. Please
          keep the table in the paper - it's ok to have sections,yet the
          table is not a repetition, it is a necessary quick summary for
          those readers who do not have time to read the entire paper.
          In one table we summarize the issues and the potential
          solutions, so please do keep it - you can rephrase the text
          there, yet I think that it is important just like the image we
          have.</div>
        <div><br>
        </div>
        <div>Hopefully you now see the importance. </div>
        <div><br>
        </div>
        <div>           Jacob</div>
      </div>
      <br>
      <div class="gmail_quote">
        <div dir="ltr" class="gmail_attr">On Mon, May 24, 2021 at 3:07
          AM Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" target="_blank">jacob.barhak@gmail.com</a>> wrote:<br>
        </div>
        <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
          <div dir="ltr">Thanks John,
            <div><br>
            </div>
            <div>Since you decided to work on the version you started
              from integration, I repeat my request to secure the
              document and only allow editing by permission from you.</div>
            <div><br>
            </div>
            <div>This means that people will have to use their accounts
              to view the content of comments and make edits and you
              will need to to approve each and every person in the list
              to edit by sharing the document with them, yet it also
              means that you will be able to trace back edits to source
              - also it will prevent malicious acts - remember that all
              the links to the document are public so anyone can
              potentially edit without restriction and google docs does
              not allow removal of a version. So I ask you to
              secure this. Not that there is a high chance of anything
              bad happening, yet I witnessed malicious changes in the
              past and securing the document is relatively easy - only a
              few clicks for you in the share options. </div>
            <div><br>
            </div>
            <div>Also, should people add themselves to the sections they
              want? You missed some of the communications in the email
              list - for example I wanted to be added in sections 2,.9,
              10. I have some text that I want to be kept and I do want
              to contribute new text following new developments to one
              of the sections. I looked at what Eric did to section 10
              and it seems the content I am interested in being kept is
              still there, so I have no issues there I see now, yet this
              section was reduced in size and I have not traced back to
              original contributions, so I am not sure about what else
              was eliminated and still want to keep an eye on it in the
              future - this is why it is important that people declare
              the sections they have interest in - to help you trace
              back their contributions and those were not necessarily
              made in a way that is easily detected by the original
              author - there was a lot of moving around of text from
              original contribution. </div>
            <div><br>
            </div>
            <div>You mentioned section 3.8 - You merged 3 sub sections
              into this new section when you changed the order. Those
              were written by many people - it is hard to trace back all
              contributions, yet this section has many important ideas.
              I can recognize contributions by 
              John Rice, Jonathan Karr, and myself at the first part
              before subsections yet I am not sure about text under the
              "Evaluating Model Credibility" and "Model Validation
              Barriers" subtitles. If I recall correctly, and I may be
              mistaken, a lot of  the text under "Evaluating Model
              Credibility" is from Jonathan Karr with some text from
              James Glazier. Yet I am pretty sure there were several
              other contributors and to my regret I am not sure who they
              were without going through revisions of the original
              versions. Perhaps since we did not suggest a solution to
              "Model Validation Barriers"   this section should be
              moved  to an open questions section or an appendix at the
              end - yet I really do not recall who originally wrote the
              text there so I cannot verify with that person what they
              prefer. Note that those contributions can be traced back
              in time to see who added what text - yet this process is
              time consuming - I did this once when I assembled the
              combined version and it was a time sink. I understand your
              desire to compress the section, yet I also know it will be
              difficult to be honest to all contributors unless they
              identify themselves - one possible way is that
              contributors identify themselves through references they
              recognize adding. 
              Please let me know what you think should be done in that
              section the way you assembled it - I am reluctant to make
              edits unless contributors help trace back their
              contributions.  Yet it is important do keep the first part
              of this section intact as much as possible - it has
              important concepts. I personally am interested keeping the
              paragraph about ensemble models - I think this is an
              important glimpse to the future.</div>
            <div><br>
            </div>
            <div>So John, do you want us to write our own names at the
              top of each section we have interest in, or do you intend
              to trace back contributions and manage those?</div>
            <div><br>
            </div>
            <div>Yet please do secure the document. I know it seems
              harmless, yet I will personally feel much easier if you
              do.</div>
            <div><br>
            </div>
            <div>                  Jacob</div>
            <div><br>
            </div>
            <div><br>
            </div>
            <div><br>
            </div>
          </div>
          <br>
          <div class="gmail_quote">
            <div dir="ltr" class="gmail_attr">On Mon, May 24, 2021 at
              1:14 AM John Gennari <<a href="mailto:gennari@uw.edu" target="_blank">gennari@uw.edu</a>>
              wrote:<br>
            </div>
            <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
              All:<br>
              <br>
              We've all now had a week to work on (or at least think
              about) the paper <br>
              and the emails that have been sent around. As I listed on
              Monday, we're <br>
              suggesting a re-ordering of the 12 (or 13?) challenges,
              and for each <br>
              challenge, we are trying to assign a point person. That
              person doesn't <br>
              need to be solely responsible for the content in the
              subsection (other <br>
              authors can certainly chime in), but the point person(s)
              can act as a <br>
              gatekeeper for consistency, length considerations,
              inclusion of ideas, etc.<br>
              <br>
              The challenge (as usual) is to actually get some writing
              done. (Of <br>
              course, I'm just as guilty as others, having done not much
              of this either.)<br>
              <br>
              Over the last week, I saw some nice contributions by
              Alexander Kulesza <br>
              (thank you!), so I've added his name to the author list.
              Otherwise, all <br>
              I saw was some editing and some additions by Hana D and a
              few thoughts <br>
              by James G.<br>
              <br>
              I also wanted to highlight that we have one section (the
              12th <br>
              challenge,  on model applications and real-world use)
              without a point <br>
              person.<br>
              <br>
              I did go ahead and re-order the sections in the order
              listed in my email <br>
              of May 17. This means that I also re-ordered (and
              numbered) the rows in <br>
              Table 1. Because there were comments attached to some of
              these table <br>
              rows, I also left the old table in the document.
              Obviously, we'll delete <br>
              this table once folk are satisfied that their ideas have
              been <br>
              incorporated or at least discussed by the group.<br>
              <br>
              Similarly, there are now two copies of the 12 sections --
              once in the <br>
              new order and with numbers, and then again in the old
              order.<br>
              <br>
              In the new ordering, I've listed the point person (or
              persons) at the <br>
              beginning, and I also have a few notes about the sections.
              Since there <br>
              are a couple of sections that I am the point person for,
              these will be <br>
              my "homework". I did want to highlight that section 3.8
              (on model <br>
              validity and credibility) needs to be significantly
              reduced. One way to <br>
              do this might be to move some of this content earlier,
              into the <br>
              introduction, or perhaps into "reproducibility crisis"
              section.<br>
              <br>
              Hoping this email inspires some folk to do some writing.
              I'll keep <br>
              plugging away at "my" sections. The document is in the
              same location: <br>
              <a href="https://docs.google.com/document/d/1VvyP3YZQdQYjj8DFKOpQ4pn_0pdDGgiT/edit?ts=60a294c2" rel="noreferrer" target="_blank">https://docs.google.com/document/d/1VvyP3YZQdQYjj8DFKOpQ4pn_0pdDGgiT/edit?ts=60a294c2</a><br>
              <br>
              -John G.<br>
              <br>
              <br>
              <br>
            </blockquote>
          </div>
        </blockquote>
      </div>
    </blockquote>
  </div>

</blockquote></div>